WO2023112480A1 - 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 - Google Patents

固体撮像素子、撮像装置、および、固体撮像素子の制御方法 Download PDF

Info

Publication number
WO2023112480A1
WO2023112480A1 PCT/JP2022/039216 JP2022039216W WO2023112480A1 WO 2023112480 A1 WO2023112480 A1 WO 2023112480A1 JP 2022039216 W JP2022039216 W JP 2022039216W WO 2023112480 A1 WO2023112480 A1 WO 2023112480A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
signal
pixels
effective
shielded
Prior art date
Application number
PCT/JP2022/039216
Other languages
English (en)
French (fr)
Inventor
吉満 塩谷
拓也 三上
隆夫 小西
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to JP2023567574A priority Critical patent/JPWO2023112480A1/ja
Priority to DE112022005993.1T priority patent/DE112022005993T5/de
Priority to CN202280080869.4A priority patent/CN118355670A/zh
Publication of WO2023112480A1 publication Critical patent/WO2023112480A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Definitions

  • This technology relates to solid-state imaging devices. More specifically, the present invention relates to a solid-state imaging device that corrects dark current noise in pixel signals, an imaging apparatus, and a control method for a solid-state imaging device.
  • the conventional technology described above attempts to correct linear dark current noise that occurs within the effective pixel area.
  • the conventional technology described above cannot sufficiently remove nonlinear dark current noise caused by local variations in dark current within the effective pixel area. Therefore, there is a problem that the image quality of the image data is degraded due to the nonlinear noise.
  • This technology was created in view of this situation, and aims to improve the image quality of image data in a solid-state image sensor in which effective pixels are arranged.
  • a first aspect of the present technology includes a pixel array section in which a plurality of effective pixels that are not shielded from light are arranged; is driven to generate an analog signal corresponding to the amount of exposure as an effective pixel signal, and a specific pixel among the plurality of effective pixels is driven to generate an analog signal corresponding to the dark current as an additional light-shielded pixel signal. and a signal processing unit for correcting the effective pixel signal using the additional light-shielded pixel signal, and a control method thereof. This has the effect of removing non-linear noise.
  • the pixel array section includes a large pixel block in which 10 effective pixels sharing the floating diffusion layer are arranged, and 8 effective pixels sharing the floating diffusion layer are arranged. Octa pixel blocks. As a result, non-linear noise is removed from the effective pixel signals in the deca pixel block and the octa pixel block.
  • a first analog-to-digital converter for converting the effective pixel signals from the effective pixels in the deca pixel block into digital signals;
  • a second analog-to-digital converter for converting the effective pixel signal into a digital signal may be further provided. This brings about the effect of improving the conversion speed.
  • the drive unit drives the effective pixels in the deca pixel block as the specific pixels, and the second analog-to-digital converter converts the effective pixel signal and the additional light-shielded pixel into Each of the signals may be converted into digital signals. This brings about the effect of suppressing a decrease in the frame rate.
  • the pixel array section includes a predetermined number of pixel blocks in which a plurality of effective pixels sharing a floating diffusion layer are arranged, and the driving section controls part of the pixel blocks. Effective pixels may be driven as the specific pixels. This provides the effect of removing non-linear noise from effective pixel signals in the pixel block.
  • the driving section may generate image data by controlling the driving of the specific pixels and the remaining effective pixels in the pixel array section. This brings about the effect of improving the image quality of the image data.
  • the driving section may generate image data by controlling all effective pixels and the specific pixels in the pixel array section to be driven. This brings about the effect of suppressing a decrease in the frame rate.
  • the pixel array section is divided into a predetermined number of correction areas, and the signal processing section uses the additional light-shielded pixel signals of the specific pixels in the correction area to correct the correction area.
  • An effective pixel signal correcting section may be provided for correcting the effective pixel signal of the effective pixel in. This brings about an effect that the effective pixel signal is corrected for each correction area.
  • the signal processing section may further include an effective pixel signal correction section that holds the effective pixel signal. This provides an effect that the effective pixel signal is corrected by the additional shaded pixel signal in the current frame.
  • the pixel array section further includes a light-shielded pixel
  • the signal processing section corrects the additional light-shielded pixel signal using a light-shielded pixel signal from the light-shielded pixel.
  • a correction unit may be further provided, and the effective pixel signal correction unit may correct the effective pixel signal using the corrected additional light-shielded pixel signal and the light-shielded pixel signal. This brings about the effect of removing the horizontal sweeping noise.
  • a second aspect of the present technology is a pixel array unit in which a plurality of effective pixels that are not shielded from light are arranged, and an effective pixel signal is obtained by driving each of the plurality of effective pixels to generate an analog signal corresponding to the exposure amount. and driving a specific pixel among the plurality of effective pixels to generate an analog signal corresponding to the dark current as an additional light-shielded pixel signal;
  • the imaging apparatus includes a signal processing section that corrects effective pixel signals, and a recording section that records image data in which the corrected effective pixel signals are arranged. This brings about the effect of improving the image quality of the image data.
  • FIG. 6 is a timing chart showing an example of a state of a solid-state image sensor at the time of converting an effective pixel signal and an EOPB signal into a digital signal in a 1st embodiment of this art.
  • 6 is a timing chart showing an example of a pixel driving method when reading effective pixel signals according to the first embodiment of the present technology
  • 6 is a timing chart showing an example of a pixel driving method when reading out an EOPB signal according to the first embodiment of the present technology
  • It is a flow chart which shows an example of operation of a solid-state image sensing device in a 1st embodiment of this art. It is an example of the top view of the pixel array part in a 2nd embodiment of this art.
  • AD Analog to Digital
  • FIG. 7 is a graph showing an example of black level average values for each horizontal coordinate in a comparative example and the first modification of the second embodiment of the present technology; It is an example of the top view of the pixel array part in the 2nd modification of the 2nd embodiment of this art.
  • 1 is a block diagram showing a schematic configuration example of a vehicle control system
  • FIG. FIG. 4 is an explanatory diagram showing an example of an installation position of an imaging unit;
  • First Embodiment Example of generating an additional light-shielded pixel signal for a specific pixel
  • Second Embodiment Example of generating an additional light-shielded pixel signal for a specific pixel in a Quad Bayer array
  • FIG. 1 is a block diagram showing a configuration example of an imaging device 100 according to the first embodiment of the present technology.
  • This imaging device 100 is a device for capturing image data, and includes a solid-state imaging device 200 , a control section 110 and a recording section 120 .
  • a digital camera or an electronic device (smartphone, personal computer, etc.) having an imaging function is assumed.
  • the solid-state imaging device 200 generates image data (that is, frames) by photoelectric conversion, and includes a driving section 210, a pixel array section 220, a reading section 230, a reference signal generating section 240, a timing control section 250, and a signal processing section. 260.
  • the control unit 110 controls the solid-state imaging device 200 to capture frames.
  • the control unit 110 supplies imaging control signals including, for example, a vertical synchronization signal to the solid-state imaging device 200 .
  • the recording unit 120 records frames.
  • the vertical synchronization signal is a signal indicating the timing of imaging, and a periodic signal with a constant frequency (such as 60 Hz) is used as the vertical synchronization signal.
  • a plurality of pixels are arranged in a two-dimensional grid in the pixel array section 220 of the solid-state imaging device 200 .
  • the driving section 210 drives the pixel array section 220 to output pixel signals to the reading section 230 .
  • the reading unit 230 performs AD conversion processing and CDS (Correlated Double Sampling) processing on each pixel signal.
  • the reading unit 230 supplies the frame in which the processed signals are arranged to the signal processing unit 260 .
  • the signal processing unit 260 performs various image processing such as dark correction processing and demosaicing processing on the frame.
  • the signal processing unit 260 supplies the processed frame to the recording unit 120 .
  • the reference signal generation section 240 generates the reference signal RMP by DA (Digital to Analog) conversion of the signal from the timing control section 250 .
  • a sawtooth ramp signal for example, is used as the reference signal, and a DAC (Digital to Analog Converter), for example, is used as the reference signal generator 240 .
  • the reference signal generator 240 supplies the generated reference signal RMP to the reader 230 .
  • the timing control section 250 controls the operation timings of the drive section 210 , the reference signal generation section 240 and the reading section 230 in synchronization with the vertical synchronization signal from the control section 110 .
  • the imaging device 100 records frames
  • the frames may be transmitted to the outside of the imaging device 100.
  • an external interface is additionally provided for transmitting frames.
  • the imaging device 100 may display frames.
  • a display section is further provided.
  • FIG. 2 is an example of a plan view of the pixel array section 220 according to the first embodiment of the present technology.
  • a plurality of light-shielded pixels 390 and a plurality of non-light-shielded effective pixels 221 are arranged in a two-dimensional lattice.
  • the light-shielding pixels 390 are also called OPB (Optical Black) pixels.
  • Each of the effective pixels 221 receives visible light of one of R (Red), G (Green), and B (Blue) colors and photoelectrically converts it.
  • Effective pixels 221 that receive R, G, and B are hereinafter referred to as "R pixels,” “G pixels,” and “B pixels.”
  • R pixels R pixels
  • G pixels G pixels
  • B pixels B pixels
  • “Gr” indicates G pixels arranged in a row including R pixels
  • “Gb” indicates G pixels arranged in a row including B pixels.
  • the pixel array section 220 includes a predetermined number of pixel blocks in which a plurality of effective pixels 221 are arranged.
  • a deca pixel block 300 and an octa pixel block 350 are arranged.
  • Ten G pixels are arranged in the deca pixel block 300 and share a floating diffusion layer (not shown).
  • Octa-pixel block 350 is arranged with 8 R pixels or 8 B pixels, which share a floating diffusion layer.
  • areas surrounded by thick dotted lines indicate deca pixel blocks 300 or octa pixel blocks 350 .
  • deca pixel blocks 300 and octa pixel blocks 350 are alternately arranged in the horizontal and vertical directions, respectively.
  • G pixels are arranged at 10 positions, excluding both ends of the second row, out of 12 positions of 3 rows ⁇ 4 columns.
  • the shape of the deca pixel block 300 can also be expressed as a shape obtained by rotating the letter "H" by 90 degrees.
  • R pixels or B pixels are arranged at eight positions out of 12 positions of 3 rows ⁇ 4 columns, excluding both ends of the first row and the third row.
  • Octa pixel block 350 can also be described as cross-shaped.
  • each of deca-pixel block 300 and octa-pixel block 350 adjacent pairs of pixels in the same row, such as pixels 221 - 1 and 221 - 2 , share microlenses 222 .
  • a subsequent circuit can obtain a phase difference from the pixel signals of these pixels and perform phase difference AF (Auto Focus) for detecting an in-focus position from the phase difference.
  • phase difference AF Auto Focus
  • the light-shielded pixels 390 are arranged around the effective pixel area in which the effective pixels 221 are arranged. For example, a predetermined number of columns of light-shielded pixels 390 are arranged on the left and right sides of the effective pixel area. In the figure, three columns of light-shielded pixels 390 are arranged on each of the left and right sides of the effective pixel area. However, the light-shielding pixel 390 on the right side is omitted in FIG. Note that the positions of the light-shielded pixels 390 are not limited to those illustrated in FIG. For example, a predetermined number of rows of light-shielded pixels 390 can be arranged on at least one of the upper side and the lower side of the effective pixel area. Also, the light-shielding pixels 390 can be arranged on at least one of the left and right sides and the upper and lower sides of the effective pixel area.
  • the drive unit 210 (not shown) drives the light-shielded pixels 390 to generate analog pixel signals corresponding to the dark current as OPB signals.
  • OPB signal is an example of the light-shielded pixel signal described in the claims.
  • the driving unit 210 drives each of the effective pixels 221 to generate analog pixel signals corresponding to the exposure amount as effective pixel signals. Furthermore, the driving unit 210 drives a specific pixel among the plurality of effective pixels 221 to generate an analog pixel signal corresponding to the dark current as an EOPB (Extra Optical Black) signal. In other words, certain pixels among the effective pixels 221 generate the EOPB signal in addition to the effective pixel signal, and the remaining pixels generate only the effective pixel signal.
  • the former effective pixels are hereinafter referred to as "EOPB pixels".
  • gray Gb pixels indicate EOPB pixels. Note that the EOPB signal is an example of the additional light-shielded pixel signal described in the claims.
  • FIG. 3 is a diagram showing an example of a correction area according to the first embodiment of the present technology.
  • gray G pixels indicate EOPB pixels.
  • the pixel array section 220 is divided into a plurality of correction regions such as correction regions 401 and 402 .
  • the area surrounded by thick lines indicates the correction area.
  • the correction area 401 includes two pixel blocks and the shaded pixels 390 on the left side of those blocks. Effective pixel signals of the effective pixels 221 in the correction area 401 are corrected by OPB signals of the light-shielded pixels 390 in the area. A correction area line-symmetrical to the correction area 401 is arranged on the right side of the effective pixel area.
  • the correction area 402 includes four pixel blocks. Two EOPB pixels are arranged in the correction area 402 . In the figure, gray G pixels indicate EOPB pixels.
  • the effective pixel signals of the effective pixels 221 in the correction area 402 are corrected by the EOPB signals of the EOPB pixels in the area and the OPB signals of the light shielded pixels 390 on the left and right sides.
  • correction area is not limited to the shape and size illustrated in the figure, and the shape and size can be arbitrarily changed as necessary.
  • the driving section 210 can drive a plurality of adjacent pixels of the same color to generate a signal obtained by adding the pixel signals. This process is called binning.
  • FIG. 4 is a diagram showing an example of image data obtained when binning is performed according to the first embodiment of the present technology.
  • the figure shows image data when two pixels adjacent in the horizontal direction are added.
  • Binning can improve the SN (Signal to Noise ratio) ratio and sensitivity.
  • SN Signal to Noise ratio
  • phase difference cannot be obtained, so phase difference AF cannot be performed.
  • the drive unit 210 adds two pixels, the number of additions is not limited to two pixels. Up to 10 G pixels in the deca pixel block 300 can be added. The R or B pixels in octa pixel block 350 can add up to 8 pixels.
  • FIG. 5 is a circuit diagram showing a configuration example of the deca pixel block 300 according to the first embodiment of the present technology.
  • This deca pixel block 300 includes photoelectric conversion elements 311 to 320 , transfer transistors 321 to 330 , reset transistor 341 , floating diffusion layer 342 , amplification transistor 343 and selection transistor 344 .
  • Each of the photoelectric conversion elements 311 to 320 generates charges by photoelectric conversion.
  • the transfer transistor 321 transfers charges from the photoelectric conversion element 311 to the floating diffusion layer 342 in accordance with the transfer signal TRGd1 from the driving section 210 .
  • the transfer transistors 322 to 330 transfer charges from the photoelectric conversion elements 312 to 320 to the floating diffusion layer 342 according to the transfer signals TRGd2 to TRGd10 from the driving section 210.
  • the reset transistor 341 initializes the floating diffusion layer 342 in accordance with the reset signal RST from the driving section 210 .
  • the floating diffusion layer 342 accumulates charges and generates a voltage corresponding to the amount of charges.
  • the amplification transistor 343 amplifies the voltage of the floating diffusion layer 342 .
  • the selection transistor 344 outputs the analog signal amplified by the amplification transistor 343 to the vertical signal line according to the selection signal SEL from the driving section 210 .
  • pixel array unit 220 when EOPB pixels are arranged in a column of a certain deca pixel block 300, if that column is the n-th (n is an integer) column, two vertical signal lines 307-n and 308-n are used. Books are wired. Half of the deca pixel blocks 300 in a column (eg odd numbered) are connected to vertical signal lines 307-n and the rest are connected to vertical signal lines 308-n.
  • the effective pixel signal of the effective pixel in the deca pixel block 300 be Vin_deca.
  • the EOPB pixels among the effective pixels generate the EOPB signal in addition to the effective pixel signal Vin_deca.
  • the EOPB signal be Vin_EOPB.
  • the level of the pixel signal when the floating diffusion layer 342 is initialized is hereinafter referred to as "P-phase level” or “reset level”.
  • the level of the pixel signal when the charge is transferred to the floating diffusion layer 342 is hereinafter referred to as "D-phase level” or “signal level”.
  • FIG. 6 is a circuit diagram showing one configuration example of the octa pixel block 350 according to the first embodiment of the present technology.
  • This octa pixel block 350 includes photoelectric conversion elements 361 to 368 , transfer transistors 371 to 378 , reset transistor 381 , floating diffusion layer 382 , amplification transistor 383 and selection transistor 384 .
  • the circuit configuration of the octa pixel block 350 is the same as the deca pixel block 300 illustrated in FIG. 5, except that there are eight photoelectric conversion elements and eight transfer transistors. That is, eight pixels in octa-pixel block 350 share floating diffusion layer 382 .
  • a vertical signal line 309-n is wired for each column of the octa pixel block 350, and an effective pixel signal Vin_octa is transmitted.
  • FIG. 7 is a circuit diagram showing a configuration example of the light shielding pixel 390 according to the first embodiment of the present technology.
  • This light-shielded pixel 390 includes a photoelectric conversion element 391 , a transfer transistor 392 , a reset transistor 393 , a floating diffusion layer 394 , an amplification transistor 395 and a selection transistor 396 .
  • the circuit configuration of the light-shielded pixel 390 is the same as the deca pixel block 300 illustrated in FIG. 5 except that the floating diffusion layer 394 is not shared by a plurality of pixels.
  • a vertical signal line 306-n is wired for each column of light-shielded pixels 390, and an OPB signal Vin_OPB is transmitted.
  • FIG. 8 is a block diagram showing a configuration example of the reading unit 230 according to the first embodiment of the present technology.
  • the reading unit 230 includes multiplexers 231 and 232 and ADCs (Analog to Digital Converters) 233 , 234 and 235 .
  • ADCs Analog to Digital Converters
  • a vertical signal line 306-n is wired for each column of light-shielded pixels 390.
  • Vertical signal lines 307-n and 309-n are wired for each column of pixel blocks in which no EOPB pixels are arranged.
  • the deca pixel block 300 is connected to the vertical signal line 307-n
  • the octa pixel block 350 is connected to the vertical signal line 309-n.
  • Vertical signal lines 307-n, 308-n and 309-n are wired for each column of pixel blocks in which EOPB pixels are arranged.
  • Half of the deca pixel blocks 300 in a column are connected to the vertical signal line 307-n, and the other half are connected to the vertical signal line 308-n.
  • the ADC 233 is arranged for each column of the light-shielded pixels 390 .
  • ADCs 234 and 235 are arranged for each column of pixel blocks.
  • Multiplexers 231 and 232 are arranged for each column of pixel blocks in which EOPB pixels are arranged.
  • the ADC 233 converts the analog OPB signal Vin_OPB from the vertical signal line 306-n into a digital signal.
  • the ADC 234 converts the analog effective pixel signal Vin_deca from the vertical signal line 307-n into a digital signal. Also, in that column, the ADC 234 converts the analog effective pixel signal Vin_octa from the vertical signal line 309-n into a digital signal.
  • the multiplexer 231 connects either of the vertical signal lines 307-n and 308-n to the ADC 234 under the control of the timing control section 250.
  • multiplexer 232 connects any of vertical signal lines 307-n, 308-n and 309-n to ADC 235 under the control of timing control section 250.
  • FIG. The ADC 234 converts the valid pixel signal Vin_deca from the multiplexer 231 into a digital signal.
  • the ADC 235 converts the effective pixel signal Vin_octa or the EOPB signal Vin_EOPB from the multiplexer 232 into a digital signal.
  • a pixel signal after AD conversion (effective pixel signal, OPB signal or EOPB signal) is supplied to the signal processing section 260 .
  • the ADC 235 also includes capacitors 236 and 237, a comparator 238, and a counter 239, for example.
  • the circuit configurations of ADCs 233 and 234 are similar to ADC 235 .
  • the reference signal RMP from the reference signal generator 240 and the analog signal from the corresponding column are input to the comparator 238 via the capacitors 236 and 237 .
  • Comparator 238 compares the signals and provides the comparison result to counter 239 .
  • the counter 239 counts the count value over the period until the comparison result is inverted. This counter 239 outputs a digital signal indicating the count value.
  • the counter 239 down-counts (or up-counts) the count value when converting the P-phase level (reset level), and up-counts (or down-counts) when converting the D-phase level (signal level). do. This makes it possible to implement CDS processing for obtaining the difference between the P-phase level and the D-phase level. Note that the counter 239 can be configured to perform only one of up-counting and down-counting, and the CDS processing can be performed by a subsequent circuit.
  • ADCs are arranged for each column of pixel blocks, the configuration is not limited to this.
  • One ADC may be arranged for each column of the pixel block, or three or more ADCs may be arranged for each column.
  • FIG. 9 is a block diagram showing a configuration example of the signal processing unit 260 according to the first embodiment of the present technology.
  • the signal processing unit 260 includes a pixel signal selection unit 261 , a left and right OPB average value calculation unit 263 , an EOPB signal correction unit 264 , and an EOPB average value calculation unit 265 for each region.
  • the signal processing unit 260 further includes an EOPB average value holding unit 266 for each region, a normalization unit 267 , a correction value calculation unit for each region 268 and an effective pixel signal correction unit 269 .
  • the pixel signal selection unit 261 selects the EOPB signal and the OPB signal from among the AD-converted pixel signals from the readout unit 230 and supplies them to the EOPB signal correction unit 264 and the left and right OPB average value calculation unit 263 . Also, the pixel signal selection unit 261 selects an effective pixel signal and supplies it to the effective pixel signal correction unit 269 .
  • the left and right OPB average value calculation unit 263 calculates the average value of OPB signals on the left and right sides of each row of the correction region.
  • the average value of the OPB signals for 6 rows is calculated.
  • the left and right OPB average value calculation unit 263 supplies the average value calculated for the correction region of the i-th row to the EOPB signal correction unit 264 and the correction value calculation unit 268 for each region as HOPB_AVE i .
  • i is an integer from 1 to I.
  • I is the number of lines in the correction area.
  • the EOPB signal correction unit 264 corrects the EOPB signal using the average value HOPB_AVE i of the OPB signal. For example, a process of subtracting the corresponding average value HOPB_AVE i from the EOPB signal is executed as the correction process. As a result, it is possible to remove the cross-border noise of the EOPB pixels.
  • the EOPB signal correction unit 264 supplies the corrected EOPB signal to the EOPB average value calculation unit 265 for each area.
  • the EOPB average value calculation unit 265 for each area calculates the average value of the corrected EOPB signal in each correction area.
  • the region-by-region EOPB average value calculation unit 265 supplies the region-by-region EOPB average value holding unit 266 as EOPB_AVE ij , which is the average value calculated for the correction region in the i-th row and the j-th column.
  • j is an integer from 1 to J.
  • J is the number of columns in the correction area.
  • the region-by-region EOPB average value holding unit 266 holds the average value EOPB_AVE ij for each correction region.
  • I ⁇ J average values EOPB_AVE ij are held.
  • the average value EOPB_AVE ij calculated for a certain frame is held until the next frame is captured.
  • the normalization unit 267 normalizes the average value EOPB_AVE ij . For example, Min-Max normalization with a maximum value of 1 and a minimum value of 0 is executed. The normalization unit 267 supplies the average value EOPB_AVE ij normalized from 0 to 1 to the correction value calculation unit 268 for each region as the correction coefficient cij .
  • the correction value calculation unit 268 for each region calculates a correction value for each correction region using the correction coefficient c ij obtained from the previous frame and the average value HOPB_AVE i of the OPB signal of the current frame. .
  • the correction value calculation unit 268 for each region supplies the calculated correction value Dij to the effective pixel signal correction unit 269 .
  • the effective pixel signal correction unit 269 corrects the effective pixel signal of the current frame using the correction value Dij . For example, a process of subtracting the correction value Dij from the effective pixel signal in the correction area of the i-th row and the j-th column is executed as the correction process.
  • the image data (frame) in which the corrected effective pixel signals are arranged is output to the recording unit 120 .
  • the EOPB signal correction unit 264 can also correct the EOPB signal by linearly interpolating the black level corresponding to the column of the correction area from the average value of the OPB signal on the left side and the average value of the OPB signal on the right side. can.
  • the correction value calculation unit 268 for each region multiplies the linearly interpolated value by the correction coefficient cij to obtain the correction value.
  • the EOPB signal of the current frame can be used to correct the effective pixel signal of the current frame.
  • the average EOPB_AVE ij for M (M is an integer) rows of the correction area is held in the EOPB average value holding unit 266 for each area.
  • an effective pixel signal holding unit 262 (memory or the like) is required to hold effective pixel signals until correction values for M rows are calculated.
  • the signal processing unit 260 when using the method of obtaining the correction coefficient by normalizing the average value EOPB_AVE ij of the entire area of the previous frame, the signal processing unit 260 performs correction that reflects the nonlinear noise tendency of the entire area. It can be carried out. However, if noise occurs with low correlation between the previous frame and the current frame, the noise may not be removed.
  • FIG. 11 is a diagram showing an example of the state of the solid-state imaging device 200 when converting effective pixel signals into digital signals according to the first embodiment of the present technology.
  • nth column of pixel blocks for example, octa pixel block 350-1, deca pixel block 300-1, octa pixel block 350-2, and deca pixel block 300-2 are arranged.
  • EOPB pixels are arranged in the deca pixel blocks 300-1 and 300-2. Also, the deca pixel block 300-1 is connected to the vertical signal line 307-n, and the deca pixel block 300-2 is connected to the vertical signal line 308-n. Octa pixel blocks 350-1 and 350-2 are connected to vertical signal line 309-n.
  • the driving section 210 sequentially drives the first to eighth effective pixels in the octa pixel block 350-1 to generate the effective pixel signal Vin_octa. Pixels surrounded by thick lines in the figure indicate pixels to be driven. At the same time, the driving section 210 sequentially drives the first to eighth effective pixels in the deca pixel block 300-1 to generate the effective pixel signal Vin_deca.
  • the multiplexer 231 connects the vertical signal line 307-n to the ADC 234, and the ADC 234 converts the effective pixel signal Vin_deca into a digital signal.
  • the multiplexer 232 connects the vertical signal line 309-n to the ADC 235, which converts the effective pixel signal Vin_octa into a digital signal.
  • FIG. 12 is a diagram showing an example of the state of the solid-state imaging device 200 when converting the effective pixel signal and the EOPB signal into digital signals according to the first embodiment of the present technology.
  • the driving section 210 drives the ninth effective pixel in the deca pixel block 300-1 to generate the effective pixel signal Vin_deca.
  • the octa pixel block 350-1 has 8 pixels, if there is no EOPB pixel, there is no AD conversion target of the ADC 235, and the processing capacity of the ADC 235 becomes redundant.
  • the driving section 210 drives the effective pixels in the deca pixel block 300-2 as EOPB pixels to generate the EOPB signal Vin_EOPB.
  • Multiplexer 232 connects vertical signal line 308-n to ADC 235, which converts EOPB signal Vin_EOPB to a digital signal.
  • the AD conversion of the EOPB signals of the EOPB pixels in the deca pixel block 300-1 is performed at the same time as the AD conversion of the 9th and 10th effective pixel signals in the deca pixel block 300-2.
  • the EOPB signal is AD-converted using the surplus processing capacity of the ADC 235, so the frame rate can be maintained at the same level as when the EOPB signal is not generated.
  • the pixel array section 220 has a plurality of effective pixels that are not shielded from light.
  • the driving unit 210 controls each of the plurality of effective pixels to generate an analog signal corresponding to the amount of exposure as an effective pixel signal, and drives the EOPB pixel among the plurality of effective pixels to generate an analog signal corresponding to the dark current.
  • a signal is generated as an EOPB signal.
  • the signal processing unit 260 corrects the effective pixel signal (that is, dark correction) using the OPB signal and the EOPB signal. By performing dark correction using the EOPB signal in the effective pixel area as well, it is possible to correct black shifts locally occurring in the effective pixel area.
  • the pixel array section 220 includes a deca pixel block 300 in which ten effective pixels sharing the floating diffusion layer are arranged, and an octa pixel block 350 in which eight effective pixels sharing the floating diffusion layer are arranged. include.
  • the driving section 210 drives the effective pixels in the deca pixel block 300 as EOPB pixels.
  • the ADC 234 converts effective pixel signals from effective pixels in the deca pixel block 300 into digital signals.
  • the ADC 235 converts each of the effective pixel signals from the effective pixels in the octa pixel block 350 and the EOPB signals from the EOPB pixels in the deca pixel block 300 into digital signals.
  • the ADC 234 is an example of a first analog-to-digital converter described in the claims
  • the ADC 235 is an example of a second analog-to-digital converter described in the claims.
  • FIG. 13 is a timing chart showing an example of a pixel driving method when reading effective pixel signals according to the first embodiment of the present technology.
  • the reading unit 230 can read the rows of the pixel block in units of two rows. Assume that the exposure start timing of two rows is T1, and the exposure end timing is T3.
  • the transfer transistor and reset transistor in the pixel block to be read are controlled to be on. This allows the charge in the floating diffusion layer to escape and eliminates the influence of blooming.
  • the ADC 234 sequentially AD-converts effective pixel signals of ten G pixels in the deca pixel block 300-1 to be read out in synchronization with the horizontal synchronization signal.
  • "G1" to "G10” indicate the first to tenth G pixels.
  • the ADC 235 sequentially AD-converts effective pixel signals of eight R pixels (or B pixels) in the octa pixel block 350-1 to be read in synchronization with the horizontal synchronization signal.
  • R1" to “R8” indicate the first to eighth R pixels.
  • the driving section 210 supplies the reset signal RST_1 to the octa pixel block 350-1 over the pulse period from timing T10 to initialize the floating diffusion layer of that block.
  • the reference signal generator 240 gradually lowers the reference signal RMP during the period from timing T11 to T12 immediately after that. During this period, the P-phase level (reset level) of the effective pixel signal is AD-converted.
  • the driving section 210 supplies the transfer signal TRG_1_1 to the octa pixel block 350-1 over the pulse period from timing T13 to transfer the charge of the first R pixel to the floating diffusion layer.
  • the reference signal generator 240 gradually lowers the reference signal RMP during the period from timing T14 to T15 immediately after that. During this period, the D-phase level (signal level) of the effective pixel signal is AD-converted.
  • the reading unit 230 performs CDS processing to obtain the difference between the P-phase level and the D-phase level, and outputs effective pixel signals after the processing.
  • FIG. 14 is a timing chart showing an example of a pixel driving method when reading out the EOPB signal according to the first embodiment of the present technology. While the ADC 234 AD converts the ninth and tenth G pixels in the deca pixel block 300-1, the ADC 235 AD converts the EOPB signals of two EOPB pixels in the deca pixel block 300-2.
  • the driving section 210 supplies the reset signal RST_2 to the deca pixel block 300-2 over the pulse period from timing T20 to initialize the floating diffusion layer of that block.
  • the reference signal generator 240 gradually lowers the reference signal RMP during the period from timing T21 to timing T22 immediately after that. During this period, the P-phase level (reset level) of the EOPB signal is AD-converted.
  • the reference signal generator 240 gradually lowers the reference signal RMP during the period from timing T24 to timing T25. During this period, the D-phase level (signal level) of the EOPB signal is AD-converted. No transfer signal is supplied to the deca pixel block 300-2 between timing T22 and timing T24.
  • the EOPB pixel can generate an EOPB signal equivalent to the OPB signal of the light-shielded pixel 390, regardless of whether the light is shielded.
  • the EOPB pixels are arranged within the deca pixel block 300
  • the EOPB pixels can also be arranged within the octa pixel block 350 .
  • the ADC 235 cannot AD-convert the EOPB signal while the ADC 234 is AD-converting the 9th and 10th effective pixel signals, resulting in a decrease in frame rate.
  • FIG. 15 is a flow chart showing an example of the operation of the solid-state imaging device 200 according to the first embodiment of the present technology. The operation of this solid-state imaging device 200 is started, for example, when a predetermined application for capturing a frame is executed.
  • the reading unit 230 in the solid-state imaging device 200 AD-converts each pixel signal (step S901). For each row of the correction area, the signal processing unit 260 calculates the average value of the OPB signals on the left and right sides of that row (step S902), and corrects the EOPB signal based on the average value (step S903). For each correction region, the signal processing unit 260 calculates the average value of the corrected EOPB signal in that region (step S904) and normalizes them (step S905).
  • the signal processing unit 260 calculates a correction value for each correction region (step S906), and corrects the effective pixel signal using the correction value (step S907).
  • the solid-state imaging device 200 performs various processes as necessary, and ends the operation for imaging.
  • steps S901 to S907 are repeatedly executed in synchronization with the vertical synchronization signal.
  • the solid-state imaging device 200 corrects the effective pixel signal using the EOPB signal from the EOPB pixel among the effective pixels.
  • the image quality of the image data can be improved by correcting the black misalignment that naturally occurs.
  • Second Embodiment> In the first embodiment described above, the deca pixel block 300 and the octa pixel block 350 are arranged in the pixel array section 220, but pixel blocks other than these can be arranged in the pixel array section 220 as well.
  • the pixel array section 220 of the third embodiment differs from that of the first embodiment in that pixel blocks each consisting of four pixels are arranged.
  • FIG. 16 is an example of a plan view of the pixel array section 220 according to the second embodiment of the present technology.
  • the pixel array section 220 of the second embodiment differs from the first embodiment in that pixel blocks 301 are arranged in place of the deca pixel blocks 300 and octa pixel blocks 350 .
  • pixel block 301 4 pixels of the same color are arranged in 2 rows ⁇ 2 columns sharing a floating diffusion layer.
  • pixel blocks 301 made up of Gb pixels and pixel blocks 301 made up of B pixels are alternately arranged.
  • pixel blocks 301 made up of Gr pixels and pixel blocks 301 made up of R pixels are alternately arranged in the horizontal direction.
  • Such an array is called a Quad Bayer array.
  • the arrangement of the pixel array section 220 is not limited to the quad Bayer arrangement in which four pixels are arranged for each pixel block. It is also possible to arrange 5 pixels or more per pixel block (eg, 9 pixels in 3 rows ⁇ 3 columns).
  • the circuit configuration of the pixel block 301 is the same as the circuit configurations illustrated in FIGS. 5 and 6, except that the number of pixels is different.
  • EOPB pixels are arranged at predetermined positions within the pixel block 301 consisting of R pixels and at predetermined positions within the pixel block 301 consisting of Gr pixels.
  • gray pixels indicate EOPB pixels.
  • FIG. 17 is a block diagram showing a configuration example of the reading unit 230 according to the second embodiment of the present technology.
  • Readout portion 230 of the second embodiment differs from that of the first embodiment in that multiplexers 231 and 232 are not arranged.
  • FIG. 18 is a diagram for explaining a pixel driving method according to the second embodiment of the present technology.
  • a shows an example of a frame imaged for the first time within a 1 V period for imaging one combined frame
  • b in the same figure shows an example of a frame imaged for the second time within that period.
  • the period of the vertical synchronization signal is set as the length of the 1V period.
  • Two frames are captured within a 1 V period.
  • the drive unit 210 causes half of the EOPB pixels to generate the EOPB signal and the remaining EOPB pixels to generate the effective pixel signal.
  • the driving unit 210 causes the EOPB pixels that generated the EOPB signals in the first frame to generate effective pixel signals, and causes the remaining EOPB pixels to generate the EOPB signals.
  • gray pixels indicate pixels that generate the EOPB signal.
  • EOPB pixels are also arranged in row 7, and these pixels produce valid pixel signals.
  • the driving section 210 causes the two R pixels and the two Gr pixels in the seventh row to generate the EOPB signal, and the remaining effective pixels to generate effective pixel signals. Let The EOPB pixels in the third row produce valid pixel signals.
  • the signal processing unit 260 performs dark correction and synthesis of two frames. As illustrated in the figure, the driving unit 210 generates a frame by controlling the driving of the EOPB pixels and the remaining effective pixels.
  • FIG. 19 is a diagram for explaining the effect of correction in the comparative example.
  • a configuration in which dark correction is performed using only the OPB signal without using the EOPB signal is assumed as a comparative example.
  • a in the figure shows an example of the pixel array section 220 of the comparative example.
  • b is a graph showing an example of noise intensity and correction value for each column when local noise does not occur.
  • c is a graph showing an example of noise intensity and correction value for each column when local noise occurs.
  • light-shielded pixels 390 are arranged on the left and right sides of the effective pixel area, but no EOPB pixels are arranged within the effective pixel area.
  • the vertical axes of b and c in the figure indicate noise intensity or correction value, and the horizontal axis indicates horizontal coordinates.
  • a solid line indicates the noise intensity for each column, and a dotted line indicates the correction value.
  • Black circles indicate OPB signals.
  • FIG. 20 is a diagram for explaining the effect of correction in the second embodiment of the present technology.
  • a in the figure shows an example of the pixel array section 220 of the second embodiment.
  • b is a graph showing an example of noise intensity and correction value for each column when local noise does not occur.
  • c is a graph showing an example of noise intensity and correction value for each column when local noise occurs.
  • the light-shielding pixels 390 are arranged on the left and right sides of the effective pixel area, and the EOPB pixels are arranged within the effective pixel area.
  • the vertical axes of b and c in the figure indicate noise intensity or correction value, and the horizontal axis indicates horizontal coordinates.
  • a solid line indicates the noise intensity for each column, and a dotted line indicates the correction value.
  • a black circle indicates an OPB signal or an EOPB signal.
  • the EOPB pixel signal makes the tendency of the noise and the correction value closer. . Therefore, unlike the comparative example, dark correction sufficiently removes noise. Thereby, the image quality of image data can be improved more than the comparative example.
  • the image quality can be improved in the quad Bayer array solid-state imaging device 200 .
  • FIG. 21 is a diagram for explaining a driving method up to the fourth AD conversion in the first modification of the second embodiment of the present technology.
  • a indicates a pixel to be AD-converted for the first time
  • b in the figure indicates a pixel to be AD-converted for the second time.
  • c indicates a pixel to be AD-converted for the third time
  • d in the figure indicates a pixel to be AD-converted for the fourth time.
  • the readout unit 230 when the readout unit 230 reads out 2 rows per pixel block (in other words, 4 rows per pixel) within a 1V period, the number of pixels per column is 8 pixels. will perform eight AD conversions.
  • the reading unit 230 further performs AD conversion of the EOPB signal for two pixels within the 1 V period, and performs AD conversion 10 times in total. .
  • the reading unit 230 AD-converts those pixel signals.
  • the thick-framed pixels indicate pixels that output pixel signals.
  • a gray pixel indicates a pixel that outputs an EOPB signal.
  • the drive unit 210 causes the pixels in the second and fourth columns of the fourth row to output the EOPB signal, and the pixels in the second and fourth columns of the eighth row. to output effective pixel signals.
  • the driving unit 210 applies effective pixel signals to the pixels in the 4th row, the 1st and 3rd columns and the 8th row, the pixels in the 1st and 3rd columns. output.
  • the driving unit 210 applies effective pixel signals to the pixels in the 1st and 3rd columns of the 3rd row and the pixels in the 1st and 3rd columns of the 7th row. output.
  • FIG. 22 is a diagram for explaining a driving method up to the eighth AD conversion in the first modification of the second embodiment of the present technology.
  • a indicates a pixel to be AD-converted for the fifth time
  • b in the figure indicates a pixel to be AD-converted for the sixth time
  • c indicates a pixel to be AD-converted for the seventh time
  • d in the figure indicates a pixel to be AD-converted for the eighth time.
  • the driving unit 210 converts the pixels in the second and fourth columns of the third row and the pixels in the second and fourth columns of the seventh row to to output effective pixel signals.
  • the drive unit 210 outputs the EOPB signal to the pixels of the second row and the fourth column, and causes the pixels of the sixth row and the second and fourth columns to output the EOPB signal. to output effective pixel signals.
  • the driving unit 210 causes the pixels in the second row, the second column and the fourth column to output effective pixel signals, and the pixels in the sixth row, the second column and the fourth column. Cause the pixel to output the EOPB signal.
  • the driving section 210 applies effective pixel signals to the pixels in the first and third columns of the second row and the pixels in the first and third columns of the sixth row. output.
  • FIG. 23 is a diagram for explaining a driving method up to the tenth AD conversion in the first modification of the second embodiment of the present technology.
  • a indicates a pixel to be AD-converted for the ninth time
  • b in the figure indicates a pixel to be AD-converted for the tenth time.
  • the driving unit 210 converts the pixels in the first and third columns of the first row and the pixels in the first and third columns of the fifth row to to output effective pixel signals.
  • the driving unit 210 applies effective pixel signals to pixels in the first row, second and fourth columns, and to pixels in the fifth row, second and fourth columns. output.
  • two rows are AD-converted in pixel block units.
  • the remaining rows are AD-converted by similar control to generate a frame.
  • the drive unit 210 in the first modification of the second embodiment generates a frame by controlling all effective pixels and EOPB pixels. Since it is not necessary to generate two frames within the 1V period, the frame rate can be improved more than in the second embodiment.
  • FIG. 24 is a diagram showing an example of the correction area 401 in the first modified example of the second embodiment of the present technology. As illustrated in the figure, the effective pixel area is divided into a plurality of rectangular correction areas 401 . A predetermined number of EOPB pixels are arranged in each correction area 401 . In the figure, gray pixels indicate EOPB pixels.
  • FIG. 25 is a graph showing an example of black level average values for each horizontal coordinate in the comparative example and the first modified example of the second embodiment of the present technology.
  • a is a graph showing an example of black level average values for each horizontal coordinate in a comparative example in which light-shielded pixels 390 are arranged on the left and right sides and no EOPB pixels are arranged.
  • b is a graph showing an example of black level average values for each horizontal coordinate in the first modified example of the second embodiment.
  • the vertical axis in the figure indicates the average value of the black level
  • the horizontal axis indicates the horizontal coordinate.
  • black circles indicate average values obtained from pixel signals.
  • the black level average value at the left end and the black level average value at the right end are obtained from the light shielded pixels 390 on the left and right sides. Since only two points, the left end and the right end, can be obtained as the average value, the correction values for the coordinates between them are linearly interpolated from the values of the left end and the right end, for example. In this comparative example, noise that varies linearly between the left end and the right end can be removed, but noise that varies non-linearly cannot be removed.
  • a plurality of average values are obtained between the left end and the right end, as exemplified by b in FIG.
  • the number of times of AD conversion within the 1V period is reduced compared to the second embodiment, so that the frame rate can be improved. can be done.
  • the signal processing unit 260 corrects the effective pixel signal using the OPB signal and the EOPB signal. It must be placed within the array section 220 .
  • the solid-state imaging device 200 in the second modification of the second embodiment differs from the first embodiment in that the light-shielded pixels 390 are eliminated and effective pixel signals are corrected using only the EOPB signal.
  • FIG. 26 is an example of a plan view of the pixel array section 220 in the second modified example of the second embodiment of the present technology.
  • the pixel array section 220 of the second modification of the second embodiment differs from that of the first embodiment in that the light shielding pixels 390 are not arranged.
  • FIG. 27 is a block diagram showing one configuration example of the signal processing unit 260 in the second modified example of the second embodiment of the present technology.
  • the signal processing unit 260 of the second modification of the second embodiment does not include the left and right OPB average value calculation unit 263, the EOPB signal correction unit 264, the normalization unit 267, and the correction value calculation unit 268 for each region. is different from the configuration of the first embodiment illustrated in FIG.
  • the signal processing unit 260 of the second modification of the second embodiment corrects the effective pixel signal of the current frame using the EOPB signal of the previous frame.
  • an effective pixel signal holding unit 262 may be added to the signal processing unit 260 shown in FIG. 27, similar to the configuration shown in FIG.
  • FIG. 28 is a diagram for explaining the effect of correction in the second modified example of the second embodiment of the present technology.
  • Reference numeral a in FIG. 11 shows an example of the pixel array section 220 of the second modified example of the second embodiment.
  • b is a graph showing an example of noise intensity and correction value for each column when local noise does not occur.
  • c is a graph showing an example of noise intensity and correction value for each column when local noise occurs.
  • the light-shielding pixels 390 on the left and right sides of the effective pixel area are eliminated, as illustrated by a in FIG. This makes it possible to increase the number of pixels or the light receiving area per pixel, facilitating the increase in the number of pixels or the increase in sensitivity.
  • the vertical axes of b and c in the figure indicate noise intensity or correction value, and the horizontal axis indicates horizontal coordinates.
  • a solid line indicates the noise intensity for each column, and a dotted line indicates the correction value.
  • Black circles indicate EOPB signals.
  • the EOPB pixel signal makes the tendency of the noise and the correction value closer. . Therefore, the noise is sufficiently removed by the relative dark correction.
  • the number of light-shielded pixels 390 is reduced, so that it is easy to increase the number of pixels or increase the sensitivity.
  • the technology (the present technology) according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure can be realized as a device mounted on any type of moving body such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, and robots. may
  • FIG. 29 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • a vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an inside information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio/image output unit 12052, and an in-vehicle network I/F (interface) 12053 are illustrated.
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the driving system control unit 12010 includes a driving force generator for generating driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism to adjust and a brake device to generate braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices equipped on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, winkers or fog lamps.
  • body system control unit 12020 can receive radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 12020 receives the input of these radio waves or signals and controls the door lock device, power window device, lamps, etc. of the vehicle.
  • the vehicle exterior information detection unit 12030 detects information outside the vehicle in which the vehicle control system 12000 is installed.
  • the vehicle exterior information detection unit 12030 is connected with an imaging section 12031 .
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image of the exterior of the vehicle, and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of received light.
  • the imaging unit 12031 can output the electric signal as an image, and can also output it as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or non-visible light such as infrared rays.
  • the in-vehicle information detection unit 12040 detects in-vehicle information.
  • the in-vehicle information detection unit 12040 is connected to, for example, a driver state detection section 12041 that detects the state of the driver.
  • the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 detects the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing off.
  • the microcomputer 12051 calculates control target values for the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and controls the drive system control unit.
  • a control command can be output to 12010 .
  • the microcomputer 12051 realizes the functions of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, or vehicle lane deviation warning. Cooperative control can be performed for the purpose of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, or vehicle lane deviation warning. Cooperative control can be performed for the purpose of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, or vehicle
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, etc. based on the information about the vehicle surroundings acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, so that the driver's Cooperative control can be performed for the purpose of autonomous driving, etc., in which vehicles autonomously travel without depending on operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the information detection unit 12030 outside the vehicle.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the vehicle exterior information detection unit 12030, and performs cooperative control aimed at anti-glare such as switching from high beam to low beam. It can be carried out.
  • the audio/image output unit 12052 transmits at least one of audio and/or image output signals to an output device capable of visually or audibly notifying the passengers of the vehicle or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
  • FIG. 30 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the imaging unit 12031 has imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided at positions such as the front nose of the vehicle 12100, the side mirrors, the rear bumper, the back door, and the upper part of the windshield in the vehicle interior, for example.
  • An image pickup unit 12101 provided in the front nose and an image pickup unit 12105 provided above the windshield in the passenger compartment mainly acquire images in front of the vehicle 12100 .
  • Imaging units 12102 and 12103 provided in the side mirrors mainly acquire side images of the vehicle 12100 .
  • An imaging unit 12104 provided in the rear bumper or back door mainly acquires an image behind the vehicle 12100 .
  • the imaging unit 12105 provided above the windshield in the passenger compartment is mainly used for detecting preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
  • FIG. 30 shows an example of the imaging range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided in the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided in the side mirrors, respectively
  • the imaging range 12114 The imaging range of an imaging unit 12104 provided in the rear bumper or back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera composed of a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 determines the distance to each three-dimensional object within the imaging ranges 12111 to 12114 and changes in this distance over time (relative velocity with respect to the vehicle 12100). , it is possible to extract, as the preceding vehicle, the closest three-dimensional object on the course of the vehicle 12100, which runs at a predetermined speed (for example, 0 km/h or more) in substantially the same direction as the vehicle 12100. can. Furthermore, the microcomputer 12051 can set the inter-vehicle distance to be secured in advance in front of the preceding vehicle, and perform automatic brake control (including following stop control) and automatic acceleration control (including following start control). In this way, cooperative control can be performed for the purpose of automatic driving in which the vehicle runs autonomously without relying on the operation of the driver.
  • automatic brake control including following stop control
  • automatic acceleration control including following start control
  • the microcomputer 12051 converts three-dimensional object data related to three-dimensional objects to other three-dimensional objects such as motorcycles, ordinary vehicles, large vehicles, pedestrians, and utility poles. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into those that are visible to the driver of the vehicle 12100 and those that are difficult to see. Then, the microcomputer 12051 judges the collision risk indicating the degree of danger of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, an audio speaker 12061 and a display unit 12062 are displayed. By outputting an alarm to the driver via the drive system control unit 12010 and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not the pedestrian exists in the captured images of the imaging units 12101 to 12104 .
  • recognition of a pedestrian is performed by, for example, a procedure for extracting feature points in images captured by the imaging units 12101 to 12104 as infrared cameras, and performing pattern matching processing on a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian.
  • the audio image output unit 12052 outputs a rectangular outline for emphasis to the recognized pedestrian. is superimposed on the display unit 12062 . Also, the audio/image output unit 12052 may control the display unit 12062 to display an icon or the like indicating a pedestrian at a desired position.
  • the technology according to the present disclosure can be applied to the imaging unit 12031 among the configurations described above.
  • the imaging device 100 in FIG. 1 can be applied to the imaging unit 12031 .
  • the present technology can also have the following configuration.
  • a pixel array section in which a plurality of effective pixels that are not shielded from light are arranged; Control for driving each of the plurality of effective pixels to generate an analog signal corresponding to the amount of exposure as an effective pixel signal, and driving a specific pixel among the plurality of effective pixels to additionally shield an analog signal corresponding to the dark current.
  • a driving unit that controls the generation of pixel signals; and a signal processing unit that corrects the effective pixel signal using the additional light-shielded pixel signal.
  • the pixel array section a deca pixel block in which 10 effective pixels sharing a floating diffusion layer are arranged;
  • the solid-state imaging device according to (1) above including an octa pixel block in which eight effective pixels sharing a floating diffusion layer are arranged.
  • (3) a first analog-to-digital converter that converts the effective pixel signals from the effective pixels in the deca pixel block into digital signals;
  • the drive unit drives the effective pixels in the deca pixel block as the specific pixels;
  • the pixel array section includes a predetermined number of pixel blocks in which a plurality of effective pixels sharing a floating diffusion layer are arranged;
  • the drive section generates image data by controlling all effective pixels and the specific pixels in the pixel array section.
  • the pixel array unit is divided into a predetermined number of correction areas; From (1) above, the signal processing unit includes an effective pixel signal correction unit that corrects the effective pixel signal of the effective pixel in the correction area using the additional light-shielded pixel signal of the specific pixel in the correction area.
  • the signal processing section further includes an effective pixel signal correcting section that holds the effective pixel signal.
  • the pixel array section further includes a light-shielding pixel;
  • the signal processing unit is an additional light-shielded pixel signal correction unit that corrects the additional light-shielded pixel signal using the light-shielded pixel signal from the light-shielded pixel;
  • (11) a pixel array section in which a plurality of effective pixels that are not shielded from light are arranged; Control for driving each of the plurality of effective pixels to generate an analog signal corresponding to the amount of exposure as an effective pixel signal, and driving a specific pixel among the plurality of effective pixels to additionally shield an analog signal corresponding to the dark current.
  • a driving unit that controls the generation of pixel signals; a signal processing unit that corrects the effective pixel signal using the additional light-shielded pixel signal; and a recording unit for recording image data in which the corrected effective pixel signals are arranged.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

有効画素が配列された固体撮像素子において、画像データの画質を向上させる。　画素アレイ部には、遮光されていない複数の有効画素が配列される。駆動部は、複数の有効画素のそれぞれを駆動して露光量に応じたアナログ信号を有効画素信号として生成させる制御と複数の有効画素のうち特定画素を駆動して暗電流に応じたアナログ信号を追加遮光画素信号として生成させる制御とを行う。信号処理部は、追加遮光画素信号を用いて有効画素信号を補正する。

Description

固体撮像素子、撮像装置、および、固体撮像素子の制御方法
　本技術は、固体撮像素子に関する。詳しくは、画素信号の暗電流ノイズを補正する固体撮像素子、撮像装置、および、固体撮像素子の制御方法に関する。
　近年、固体撮像素子の高感度化の要求が高まっており、その要求に応じる際には画素信号を増幅するときのゲインを高くする制御が行われている。ただし、ゲインを高くするほど、暗部の黒ズレが増幅され、黒浮きや黒沈みが生じるおそれがある。そこで、有効画素領域の周囲に遮光画素を配置し、その遮光画素の画素信号を用いて有効画素の画素信号を補正する補正方法が提案されている（例えば、特許文献１参照。）。
特開２０１２－１１４７８２号公報
　上述の従来技術では、有効画素領域内で生じる線形の暗電流ノイズの補正を図っている。しかしながら、上述の従来技術では、有効画素領域内の局所的な暗電流の変動による非線形の暗電流ノイズを十分に除去することができない。このため、非線形のノイズにより画像データの画質が低下してしまうという問題がある。
　本技術はこのような状況に鑑みて生み出されたものであり、有効画素が配列された固体撮像素子において、画像データの画質を向上させることを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、遮光されていない複数の有効画素が配列された画素アレイ部と、上記複数の有効画素のそれぞれを駆動して露光量に応じたアナログ信号を有効画素信号として生成させる制御と上記複数の有効画素のうち特定画素を駆動して暗電流に応じたアナログ信号を追加遮光画素信号として生成させる制御とを行う駆動部と、上記追加遮光画素信号を用いて上記有効画素信号を補正する信号処理部とを具備する固体撮像素子、および、その制御方法である。これにより、非線形のノイズが除去されるという作用をもたらす。
　また、この第１の側面において、上記画素アレイ部は、浮遊拡散層を共有する１０個の有効画素が配列されたデカ画素ブロックと、浮遊拡散層を共有する８個の有効画素が配列されたオクタ画素ブロックとを含むものであってもよい。これにより、デカ画素ブロックやオクタ画素ブロック内の有効画素信号から非線形のノイズが除去されるという作用をもたらす。
　また、この第１の側面において、上記デカ画素ブロック内の上記有効画素からの上記有効画素信号をデジタル信号に変換する第１のアナログデジタル変換器と、上記オクタ画素ブロック内の上記有効画素からの上記有効画素信号をデジタル信号に変換する第２のアナログデジタル変換器とをさらに具備してもよい。これにより、変換速度が向上するという作用をもたらす。
　また、この第１の側面において、上記駆動部は、上記デカ画素ブロック内の上記有効画素を上記特定画素として駆動し、上記第２のアナログデジタル変換器は、上記有効画素信号と上記追加遮光画素信号とのそれぞれをデジタル信号に変換してもよい。これにより、フレームレートの低下が抑制されるという作用をもたらす。
　また、この第１の側面において、上記画素アレイ部は、浮遊拡散層を共有する複数の有効画素が配列された所定数の画素ブロックを含み、上記駆動部は、上記画素ブロック内の一部の有効画素を上記特定画素として駆動してもよい。これにより、画素ブロック内の有効画素信号から非線形のノイズが除去されるという作用をもたらす。
　また、この第１の側面において、上記駆動部は、上記画素アレイ部内の上記特定画素と残りの有効画素とを駆動する制御により画像データを生成させてもよい。これにより、画像データの画質が向上するという作用をもたらす。
　また、この第１の側面において、上記駆動部は、上記画素アレイ部内の全ての有効画素と上記特定画素とを駆動する制御により画像データを生成させてもよい。これにより、フレームレートの低下が抑制されるという作用をもたらす。
　また、この第１の側面において、上記画素アレイ部は、所定数の補正領域に分割され、上記信号処理部は、上記補正領域内の上記特定画素の上記追加遮光画素信号を用いて上記補正領域内の有効画素の上記有効画素信号を補正する有効画素信号補正部を備えてもよい。これにより、補正領域ごとに有効画素信号が補正されるという作用をもたらす。
　また、この第１の側面において、上記信号処理部は、上記有効画素信号を保持する有効画素信号補正部をさらに備えてもよい。これにより、現在のフレーム内の追加遮光画素信号により有効画素信号が補正されるという作用をもたらす。
　また、この第１の側面において、上記画素アレイ部は、遮光画素をさらに含み、上記信号処理部は、上記遮光画素からの遮光画素信号を用いて上記追加遮光画素信号を補正する追加遮光画素信号補正部をさらに備え、上記有効画素信号補正部は、上記補正された追加遮光画素信号と上記遮光画素信号とを用いて上記有効画素信号を補正してもよい。これにより、横引きノイズが除去されるという作用をもたらす。
　また、本技術の第２の側面は、遮光されていない複数の有効画素が配列された画素アレイ部と、上記複数の有効画素のそれぞれを駆動して露光量に応じたアナログ信号を有効画素信号として生成させる制御と上記複数の有効画素のうち特定画素を駆動して暗電流に応じたアナログ信号を追加遮光画素信号として生成させる制御とを行う駆動部と、上記追加遮光画素信号を用いて上記有効画素信号を補正する信号処理部と、上記補正された有効画素信号を配列した画像データを記録する記録部とを具備する撮像装置である。これにより、画像データの画質が向上するという作用をもたらす。
本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の第１の実施の形態における画素アレイ部の平面図の一例である。 本技術の第１の実施の形態における補正領域の一例を示す図である。 本技術の第１の実施の形態におけるビニングを行った際に得られる画像データの一例を示す図である。 本技術の第１の実施の形態におけるデカ画素ブロックの一構成例を示す回路図である。 本技術の第１の実施の形態におけるオクタ画素ブロックの一構成例を示す回路図である。 本技術の第１の実施の形態における遮光画素の一構成例を示す回路図である。 本技術の第１の実施の形態における読出部の一構成例を示すブロック図である。 本技術の第１の実施の形態における信号処理部の一構成例を示すブロック図である。 本技術の第１の実施の形態における有効画素信号をバッファリングする際の信号処理部の一構成例を示すブロック図である。 本技術の第１の実施の形態における有効画素信号をデジタル信号に変換する際の固体撮像素子の状態の一例を示す図である。 本技術の第１の実施の形態における有効画素信号およびＥＯＰＢ信号をデジタル信号に変換する際の固体撮像素子の状態の一例を示す図である。 本技術の第１の実施の形態における有効画素信号を読み出す際の画素の駆動方法の一例を示すタイミングチャートである。 本技術の第１の実施の形態におけるＥＯＰＢ信号を読み出す際の画素の駆動方法の一例を示すタイミングチャートである。 本技術の第１の実施の形態における固体撮像素子の動作の一例を示すフローチャートである。 本技術の第２の実施の形態における画素アレイ部の平面図の一例である。 本技術の第２の実施の形態における読出部の一構成例を示すブロック図である。 本技術の第２の実施の形態における画素の駆動方法を説明するための図である。 比較例における補正の効果を説明するための図である。 本技術の第２の実施の形態における補正の効果を説明するための図である。 本技術の第２の実施の形態の第１の変形例における４回目のＡＤ（Analog to Digital）変換までの駆動方法を説明するための図である。 本技術の第２の実施の形態の第１の変形例における８回目のＡＤ変換までの駆動方法を説明するための図である。 本技術の第２の実施の形態の第１の変形例における１０回目のＡＤ変換までの駆動方法を説明するための図である。 本技術の第２の実施の形態の第１の変形例における補正領域の一例を示す図である。 比較例と本技術の第２の実施の形態の第１の変形例とにおける水平座標ごとの黒レベル平均値の一例を示すグラフである。 本技術の第２の実施の形態の第２の変形例における画素アレイ部の平面図の一例である。 本技術の第２の実施の形態の第２の変形例における信号処理部の一構成例を示すブロック図である。 本技術の第２の実施の形態の第２の変形例における補正の効果を説明するための図である。 車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（特定画素に追加の遮光画素信号を生成させる例）
　２．第２の実施の形態（クアッドベイヤー配列において特定画素に追加の遮光画素信号を生成させる例）
　３．移動体への応用例
　＜１．第１の実施の形態＞
　［撮像装置の構成例］
　図１は、本技術の第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、画像データを撮像するための装置であり、固体撮像素子２００、制御部１１０および記録部１２０を備える。撮像装置１００として、デジタルカメラや、撮像機能を有する電子装置（スマートフォンやパーソナルコンピュータなど）が想定される。
　固体撮像素子２００は、光電変換により画像データ（すなわち、フレーム）を生成するものであり、駆動部２１０、画素アレイ部２２０、読出部２３０、参照信号生成部２４０、タイミング制御部２５０および信号処理部２６０を備える。
　制御部１１０は、固体撮像素子２００を制御してフレームを撮像させるものである。この制御部１１０は、例えば、垂直同期信号などを含む撮像制御信号を固体撮像素子２００に供給する。記録部１２０は、フレームを記録するものである。
　ここで、垂直同期信号は、撮像のタイミングを示す信号であり、一定の周波数（６０ヘルツなど）の周期信号が垂直同期信号として用いられる。
　固体撮像素子２００において画素アレイ部２２０には、複数の画素が二次元格子状に配列される。駆動部２１０は、画素アレイ部２２０を駆動して画素信号を読出部２３０に出力させるものである。
　読出部２３０は、画素信号のそれぞれに対して、ＡＤ変換処理やＣＤＳ（Correlated Double Sampling）処理を行うものである。この読出部２３０は、処理後の信号を配列したフレームを信号処理部２６０に供給する。
　信号処理部２６０は、フレームに対してダーク補正処理やデモザイク処理などの各種の画像処理を行うものである。この信号処理部２６０は、処理後のフレームを記録部１２０に供給する。
　参照信号生成部２４０は、タイミング制御部２５０からの信号をＤＡ（Digital to Analog）変換することにより、参照信号ＲＭＰを生成するものである。参照信号として、例えば、のこぎり波状のランプ信号が用いられ、参照信号生成部２４０として、例えば、ＤＡＣ（Digital to Analog Converter）が用いられる。参照信号生成部２４０は、生成した参照信号ＲＭＰを読出部２３０に供給する。
　タイミング制御部２５０は、制御部１１０からの垂直同期信号に同期して駆動部２１０、参照信号生成部２４０および読出部２３０のそれぞれの動作タイミングを制御するものである。
　なお、撮像装置１００は、フレームを記録しているが、そのフレームを撮像装置１００の外部に送信してもよい。この場合には、フレームを送信するための外部インターフェースがさらに設けられる。また、撮像装置１００は、フレームを表示してもよい。この場合には表示部がさらに設けられる。
　［画素アレイ部の構成例］
　図２は、本技術の第１の実施の形態における画素アレイ部２２０の平面図の一例である。画素アレイ部２２０には、遮光された複数の遮光画素３９０と、遮光されていない複数の有効画素２２１とが二次元格子状に配列される。同図において黒色の画素は、遮光画素３９０を示す。遮光画素３９０は、ＯＰＢ（OPtical Black）画素とも呼ばれる。
　有効画素２２１のそれぞれは、Ｒ(Red)、Ｇ(Green)およびＢ(Blue)のいずれかの色の可視光を受光し、光電変換する。Ｒ、ＧおよびＢのそれぞれを受光する有効画素２２１を、以下、「Ｒ画素」、「Ｇ画素」および「Ｂ画素」と称する。また、「Ｇｒ」は、Ｒ画素を含む行に配列されたＧ画素を示し、「Ｇｂ」は、Ｂ画素を含む行に配列されたＧ画素を示す。
　また、画素アレイ部２２０は、それぞれに複数の有効画素２２１が配列された所定数の画素ブロックを含む。
　例えば、画素ブロックとして、デカ画素ブロック３００とオクタ画素ブロック３５０との２種類が配列される。デカ画素ブロック３００には、１０個のＧ画素が配列され、これらは、浮遊拡散層（不図示）を共有する。オクタ画素ブロック３５０には、８個のＲ画素、または、８個のＢ画素が配列され、これらは浮遊拡散層を共有する。同図において、太い点線で囲まれた領域は、デカ画素ブロック３００またはオクタ画素ブロック３５０を示す。同図に例示するように、デカ画素ブロック３００およびオクタ画素ブロック３５０は、水平方向および垂直方向のそれぞれにおいて、交互に配列される。
　デカ画素ブロック３００においては、３行×４列の１２個の位置から、２行目の両端を除いた１０個の位置にＧ画素が配置される。デカ画素ブロック３００の形状は、アルファベットの「Ｈ」を９０度回転させた形状と表現することもできる。
　オクタ画素ブロック３５０においては、３行×４列の１２個の位置から、１行目および３行目のそれぞれの両端を除いた８個の位置にＲ画素またはＢ画素が配置される。オクタ画素ブロック３５０は、十字形状と表現することもできる。
　また、デカ画素ブロック３００およびオクタ画素ブロック３５０のそれぞれにおいて、画素２２１－１および２２１－２などの同じ行の隣接する一対の画素は、マイクロレンズ２２２を共有する。後段の回路は、これらの画素の画素信号から位相差を取得し、その位相差から合焦位置を検出する位相差ＡＦ（Auto Focus）を行うことができる。
　遮光画素３９０は、有効画素２２１が配列された有効画素領域の周囲に配列される。例えば、有効画素領域の左側と右側とに所定数の列の遮光画素３９０が配列される。同図においては、有効画素領域の左側と右側とのそれぞれに３列の遮光画素３９０が配列されている。ただし、右側の遮光画素３９０は、同図では省略されている。なお、遮光画素３９０の位置は、同図に例示したものに限定されない。例えば、有効画素領域の上側と下側との少なくとも一方に所定数の行の遮光画素３９０を配列することもできる。また、有効画素領域の左側および右側と、上側および下側の少なくとも一方とに遮光画素３９０を配列することもできる。
　駆動部２１０（不図示）は、遮光画素３９０を駆動して暗電流に応じたアナログの画素信号をＯＰＢ信号として生成させる。なお、ＯＰＢ信号は、特許請求の範囲に記載の遮光画素信号の一例である。
　また、駆動部２１０は、有効画素２２１のそれぞれを駆動して、露光量に応じたアナログの画素信号を有効画素信号として生成させる。さらに、駆動部２１０は、複数の有効画素２２１のうち特定の画素を駆動し、暗電流に応じたアナログの画素信号をＥＯＰＢ（Extra OPtical Black）信号として生成させる。言い換えると、有効画素２２１のうち特定の画素は、有効画素信号に加えてＥＯＰＢ信号を生成し、残りの画素は有効画素信号のみを生成する。前者の有効画素を以下、「ＥＯＰＢ画素」と称する。同図において、灰色のＧｂ画素は、ＥＯＰＢ画素を示す。なお、ＥＯＰＢ信号は、特許請求の範囲に記載の追加遮光画素信号の一例である。
　図３は、本技術の第１の実施の形態における補正領域の一例を示す図である。同図において、灰色のＧ画素は、ＥＯＰＢ画素を示す。画素アレイ部２２０は、補正領域４０１および４０２などの複数の補正領域に分割される。同図において、太線で囲まれた領域は、補正領域を示す。
　補正領域４０１は、２つの画素ブロックと、それらのブロックの左側の遮光画素３９０とを含む。この補正領域４０１内の有効画素２２１の有効画素信号は、その領域内の遮光画素３９０のＯＰＢ信号により補正される。補正領域４０１と線対称の補正領域は、有効画素領域の右側に配置される。
　補正領域４０２は、４つの画素ブロックを含む。また、補正領域４０２には、２つのＥＯＰＢ画素が配置される。同図において、灰色のＧ画素は、ＥＯＰＢ画素を示す。この補正領域４０２内の有効画素２２１の有効画素信号は、その領域内のＥＯＰＢ画素のＥＯＰＢ信号と、左側および右側のそれぞれの遮光画素３９０のＯＰＢ信号とにより補正される。
　なお、補正領域は、同図に例示した形状やサイズに限定されず、必要に応じて、形状やサイズを任意に変更することができる。
　ここで、駆動部２１０は、隣接する同色の複数の画素を駆動して、それらの画素信号を加算した信号を生成させることができる。この処理は、ビニングと呼ばれる。
　図４は、本技術の第１の実施の形態におけるビニングを行った際に得られる画像データの一例を示す図である。同図は、水平方向において隣接する２画素を加算させた場合の画像データを示す。ビニングによりＳＮ（Signal to Noise ratio）比および感度を向上させることができる。ただし、水平方向において隣接する２画素を加算させた場合、位相差が得られなくなるため、位相差ＡＦを行うことができなくなる。
　なお、駆動部２１０は、２画素を加算させているが、加算数は２画素に限定されない。デカ画素ブロック３００内のＧ画素は、１０画素まで加算することができる。オクタ画素ブロック３５０内のＲ画素またはＢ画素は、８画素まで加算することができる。
　［デカ画素ブロックの構成例］
　図５は、本技術の第１の実施の形態におけるデカ画素ブロック３００の一構成例を示す回路図である。このデカ画素ブロック３００は、光電変換素子３１１乃至３２０と、転送トランジスタ３２１乃至３３０と、リセットトランジスタ３４１、浮遊拡散層３４２、増幅トランジスタ３４３および選択トランジスタ３４４とを備える。
　光電変換素子３１１乃至３２０のそれぞれは、光電変換により電荷を生成するものである。転送トランジスタ３２１は、駆動部２１０からの転送信号ＴＲＧｄ１に従って、光電変換素子３１１から浮遊拡散層３４２へ電荷を転送するものである。同様に、転送トランジスタ３２２乃至３３０は、駆動部２１０からの転送信号ＴＲＧｄ２乃至ＴＲＧｄ１０に従って、光電変換素子３１２乃至３２０から浮遊拡散層３４２へ電荷を転送する。
　リセットトランジスタ３４１は、駆動部２１０からのリセット信号ＲＳＴに従って浮遊拡散層３４２を初期化するものである。浮遊拡散層３４２は、電荷を蓄積し、電荷量に応じた電圧を生成するものである。増幅トランジスタ３４３は、浮遊拡散層３４２の電圧を増幅するものである。選択トランジスタ３４４は、駆動部２１０からの選択信号ＳＥＬに従って、増幅トランジスタ３４３により増幅されたアナログ信号を垂直信号線に出力するものである。
　画素アレイ部２２０において、あるデカ画素ブロック３００の列内にＥＯＰＢ画素が配置される場合、その列を第ｎ（ｎは、整数）列とすると、垂直信号線３０７－ｎおよび３０８－ｎの２本が配線される。列内のデカ画素ブロック３００の半分（奇数番目など）は、垂直信号線３０７－ｎに接続され、残りは、垂直信号線３０８－ｎに接続される。
　一方、デカ画素ブロック３００の列内にＥＯＰＢ画素が配置されない場合、その列に垂直信号線３０７－ｎの１本が配線される。
　デカ画素ブロック３００内の有効画素の有効画素信号をＶｉｎ＿ｄｅｃａとする。また、有効画素のうちＥＯＰＢ画素は、有効画素信号Ｖｉｎ＿ｄｅｃａに加えてＥＯＰＢ信号を生成する。ＥＯＰＢ信号をＶｉｎ＿ＥＯＰＢとする。
　同図に例示したように、デカ画素ブロック３００内の１０画素は、浮遊拡散層３４２を共有する。また、上述の回路構成において、浮遊拡散層３４２を初期化したときの画素信号のレベルを以下、「Ｐ相レベル」または「リセットレベル」と称する。また、浮遊拡散層３４２に電荷を転送した際の画素信号のレベルを以下、「Ｄ相レベル」または「信号レベル」と称する。
　［オクタ画素ブロックの構成例］
　図６は、本技術の第１の実施の形態におけるオクタ画素ブロック３５０の一構成例を示す回路図である。このオクタ画素ブロック３５０は、光電変換素子３６１乃至３６８と、転送トランジスタ３７１乃至３７８と、リセットトランジスタ３８１、浮遊拡散層３８２、増幅トランジスタ３８３および選択トランジスタ３８４とを備える。
　オクタ画素ブロック３５０の回路構成は、光電変換素子および転送トランジスタのそれぞれが８個である点以外は、図５に例示したデカ画素ブロック３００と同様である。すなわち、オクタ画素ブロック３５０内の８画素は、浮遊拡散層３８２を共有する。
　また、オクタ画素ブロック３５０の列ごとに、垂直信号線３０９－ｎが配線され、有効画素信号Ｖｉｎ＿ｏｃｔａが伝送される。
　［遮光画素の構成例］
　図７は、本技術の第１の実施の形態における遮光画素３９０の一構成例を示す回路図である。この遮光画素３９０は、光電変換素子３９１、転送トランジスタ３９２、リセットトランジスタ３９３、浮遊拡散層３９４、増幅トランジスタ３９５および選択トランジスタ３９６を備える。遮光画素３９０の回路構成は、浮遊拡散層３９４を複数の画素で共有しない点以外は、図５に例示したデカ画素ブロック３００と同様である。また、遮光画素３９０の列ごとに、垂直信号線３０６－ｎが配線され、ＯＰＢ信号Ｖｉｎ＿ＯＰＢが伝送される。
　［読出部の構成例］
　図８は、本技術の第１の実施の形態における読出部２３０の一構成例を示すブロック図である。この読出部２３０は、マルチプレクサ２３１および２３２と、ＡＤＣ（Analog to Digital Converter）２３３、２３４および２３５とを備える。
　画素アレイ部２２０には、遮光画素３９０の列ごとに垂直信号線３０６－ｎが配線される。また、ＥＯＰＢ画素が配置されない画素ブロックの列ごとに垂直信号線３０７－ｎおよび３０９－ｎが配線される。これらのうち垂直信号線３０７－ｎにデカ画素ブロック３００が接続され、垂直信号線３０９－ｎにオクタ画素ブロック３５０が接続される。また、ＥＯＰＢ画素が配置された画素ブロックの列ごとに垂直信号線３０７－ｎ、３０８－ｎおよび３０９－ｎが配線される。垂直信号線３０７－ｎに列内の半分のデカ画素ブロック３００が接続され、残りの半分は垂直信号線３０８－ｎに接続される。
　また、ＡＤＣ２３３は、遮光画素３９０の列ごとに配置される。ＡＤＣ２３４および２３５は、画素ブロックの列ごとに配置される。マルチプレクサ２３１および２３２は、ＥＯＰＢ画素が配置された画素ブロックの列ごとに配置される。
　ＡＤＣ２３３は、垂直信号線３０６－ｎからのアナログのＯＰＢ信号Ｖｉｎ＿ＯＰＢをデジタル信号に変換する。
　ＯＰＢ画素が配置されない画素ブロックの列において、ＡＤＣ２３４は、垂直信号線３０７－ｎからのアナログの有効画素信号Ｖｉｎ＿ｄｅｃａをデジタル信号に変換する。また、その列において、ＡＤＣ２３４は、垂直信号線３０９－ｎからのアナログの有効画素信号Ｖｉｎ＿оｃｔａをデジタル信号に変換する。
　また、ＯＰＢ画素が配置された画素ブロックの列において、マルチプレクサ２３１は、タイミング制御部２５０の制御に従って、垂直信号線３０７－ｎおよび３０８－ｎのいずれかをＡＤＣ２３４に接続する。その列において、マルチプレクサ２３２は、タイミング制御部２５０の制御に従って、垂直信号線３０７－ｎ、３０８－ｎおよび３０９－ｎのいずれかをＡＤＣ２３５に接続する。ＡＤＣ２３４は、マルチプレクサ２３１からの有効画素信号Ｖｉｎ＿ｄｅｃａをデジタル信号に変換する。また、ＡＤＣ２３５は、マルチプレクサ２３２からの有効画素信号Ｖｉｎ＿оｃｔａまたはＥＯＰＢ信号Ｖｉｎ＿ＥＯＰＢをデジタル信号に変換する。
　ＡＤ変換後の画素信号（有効画素信号、ＯＰＢ信号またはＥＯＰＢ信号）は、信号処理部２６０へ供給される。
　また、ＡＤＣ２３５は、例えば、容量２３６および２３７と、コンパレータ２３８と、カウンタ２３９とを備える。ＡＤＣ２３３および２３４の回路構成は、ＡＤＣ２３５と同様である。
　コンパレータ２３８には、容量２３６および２３７を介して、参照信号生成部２４０からの参照信号ＲＭＰと、対応する列からのアナログ信号とが入力される。コンパレータ２３８は、それらの信号を比較し、比較結果をカウンタ２３９に供給する。
　カウンタ２３９は、比較結果が反転するまでの期間に亘って計数値を計数するものである。このカウンタ２３９は、計数値を示すデジタル信号を出力する。
　ここで、カウンタ２３９は、Ｐ相レベル（リセットレベル）を変換する際に計数値をダウンカウント（またはアップカウント）し、Ｄ相レベル（信号レベル）を変換する際にアップカウント（またはダウンカウント）する。これにより、Ｐ相レベルとＤ相レベルとの差分を求めるＣＤＳ処理を実現することができる。なお、カウンタ２３９は、アップカウントおよびダウンカウントの一方のみを行い、ＣＤＳ処理を後段の回路が行う構成とすることもできる。
　なお、画素ブロックの列ごとに２つのＡＤＣを配置しているが、この構成に限定されない。画素ブロックの列ごとに１個のＡＤＣを配置してもよいし、列ごとに３つ以上のＡＤＣを配置してもよい。ＡＤＣの個数を増やすことにより、ＡＤ変換の速度を増大させ、フレームレートを向上させることができる。
　［信号処理部の構成例］
　図９は、本技術の第１の実施の形態における信号処理部２６０の一構成例を示すブロック図である。この信号処理部２６０は、画素信号選択部２６１、左右ＯＰＢ平均値演算部２６３、ＥＯＰＢ信号補正部２６４、領域毎ＥＯＰＢ平均値演算部２６５を備える。また、信号処理部２６０は、領域毎ＥＯＰＢ平均値保持部２６６、正規化部２６７、領域毎補正値演算部２６８および有効画素信号補正部２６９をさらに備える。
　画素信号選択部２６１は、読出部２３０からのＡＤ変換後の画素信号のうちＥＯＰＢ信号およびＯＰＢ信号を選択して、ＥＯＰＢ信号補正部２６４および左右ＯＰＢ平均値演算部２６３に供給するものである。また、画素信号選択部２６１は、有効画素信号を選択して有効画素信号補正部２６９に供給する。
　左右ＯＰＢ平均値演算部２６３は、補正領域の行ごとに、その行の左側および右側のＯＰＢ信号の平均値を演算するものである。図３に例示した範囲の補正領域を設定する場合、補正領域の行ごとに６行の遮光画素３９０が配列されるため、６行分のＯＰＢ信号の平均値が演算される。
　左右ＯＰＢ平均値演算部２６３は、第ｉ行の補正領域について演算した平均値をＨＯＰＢ＿ＡＶＥｉとしてＥＯＰＢ信号補正部２６４および領域毎補正値演算部２６８に供給する。ここで、ｉは、１乃至Ｉの整数とする。Ｉは、補正領域の行数である。
　ＥＯＰＢ信号補正部２６４は、ＯＰＢ信号の平均値ＨＯＰＢ＿ＡＶＥｉを用いてＥＯＰＢ信号を補正するものである。例えば、ＥＯＰＢ信号から、対応する平均値ＨＯＰＢ＿ＡＶＥｉを減算する処理が補正処理として実行される。これにより、ＥＯＰＢ画素の横引きノイズを除去することができる。ＥＯＰＢ信号補正部２６４は、補正後のＥＯＰＢ信号を領域毎ＥＯＰＢ平均値演算部２６５に供給する。
　領域毎ＥＯＰＢ平均値演算部２６５は、補正領域ごとに、その領域内の補正後のＥＯＰＢ信号の平均値を演算するものである。領域毎ＥＯＰＢ平均値演算部２６５は、第ｉ行、第ｊ列の補正領域について演算した平均値をＥＯＰＢ＿ＡＶＥｉｊとして領域毎ＥＯＰＢ平均値保持部２６６に供給する。ここで、ｊは、１乃至Ｊの整数とする。Ｊは、補正領域の列数である。
　領域毎ＥＯＰＢ平均値保持部２６６は、補正領域ごとの平均値ＥＯＰＢ＿ＡＶＥｉｊを保持するものである。画素アレイ部２２０内の補正領域の総数がＩ×Ｊ個である場合、Ｉ×Ｊ個の平均値ＥＯＰＢ＿ＡＶＥｉｊが保持される。あるフレームについて算出された平均値ＥＯＰＢ＿ＡＶＥｉｊは、次のフレームが撮像されるまで保持される。
　正規化部２６７は、平均値ＥＯＰＢ＿ＡＶＥｉｊを正規化するものである。例えば、最大値を１とし、最小値を０とするＭｉｎ－Ｍａｘ　ｎｏｒｍａｌｉｚａｔｉｏｎが実行される。正規化部２６７は、０乃至１に正規化した平均値ＥＯＰＢ＿ＡＶＥｉｊを補正係数ｃｉｊとして領域毎補正値演算部２６８に供給する。
　領域毎補正値演算部２６８は、前のフレームから得られた補正係数ｃｉｊと、現在のフレームのＯＰＢ信号の平均値ＨＯＰＢ＿ＡＶＥｉとを用いて、補正領域ごとの補正値を演算するものである。第ｉ行、第ｊ列の補正領域の補正値Ｄｉｊは、例えば、次の式により演算される。
　　Ｄｉｊ＝ＨＯＰＢ＿ＡＶＥｉ×ｃｉｊ
　領域毎補正値演算部２６８は、演算した補正値Ｄｉｊを有効画素信号補正部２６９に供給する。
　有効画素信号補正部２６９は、補正値Ｄｉｊを用いて、現在のフレームの有効画素信号を補正するものである。例えば、第ｉ行、第ｊ列の補正領域内の有効画素信号から、補正値Ｄｉｊを減算する処理が補正処理として実行される。補正後の有効画素信号を配列した画像データ（フレーム）は、記録部１２０へ出力される。
　なお、ＥＯＰＢ信号補正部２６４は、左側のＯＰＢ信号の平均値と右側のＯＰＢ信号の平均値とから、補正領域の列に対応する黒レベルを線形補間した値により、ＥＯＰＢ信号を補正することもできる。この場合、領域毎補正値演算部２６８は、線形補間した値に補正係数ｃｉｊを乗算して補正値を求める。
　画素アレイ部２２０内のＥＯＰＢ画素の画素数が多いほど、高周波数成分のシェーディングを除去しやすくなるが、読み出す画素数が多くなるためフレームレートが低下する。逆にＥＯＰＢ画素の画素数が少ないほど、面内傾向のあるシェーディングなどのノイズの除去が困難になるが、読み出す画素数が少なくなるフレームレートの低下量は小さくなる。
　また、前のフレームのＥＯＰＢ信号を用いて、現在のフレームの有効画素信号を補正することにより、有効画素信号を保持するメモリが不要となる。
　なお、現在のフレームのＥＯＰＢ信号を用いて現在のフレームの有効画素信号を補正することもできる。この場合、例えば、補正領域のＭ（Ｍは、整数）行分の平均値ＥＯＰＢ＿ＡＶＥｉｊが領域毎ＥＯＰＢ平均値保持部２６６に保持される。また、図１０に例示するように、Ｍ行分の補正値が演算されるまで、有効画素信号を保持しておく有効画素信号保持部２６２（メモリなど）が必要となる。
　図９に例示したように、前のフレームの全領域の平均値ＥＯＰＢ＿ＡＶＥｉｊを正規化して補正係数を求める方法を用いる場合、信号処理部２６０は、全領域の非線形のノイズ傾向を反映した補正を行うことができる。ただし、前のフレームと現在のフレームとの間の相関が小さいノイズが生じた場合、そのノイズが除去されないおそれがある。
　一方、図１０に例示したように、現在のフレームのＭ行分の平均値ＥＯＰＢ＿ＡＶＥｉｊを正規化して補正係数を求める方法を用いる場合、前のフレームと現在のフレームとの間の相関が小さいノイズを除去することができる。ただし、全領域の非線形のノイズ傾向を反映させることができないため、垂直方向のシェーディング補正が限定的となる。
　図１１は、本技術の第１の実施の形態における有効画素信号をデジタル信号に変換する際の固体撮像素子２００の状態の一例を示す図である。画素ブロックの第ｎ列において、例えば、オクタ画素ブロック３５０－１、デカ画素ブロック３００－１、オクタ画素ブロック３５０－２、および、デカ画素ブロック３００－２が配列されたものとする。
　また、デカ画素ブロック３００－１および３００－２にＥＯＰＢ画素が配置されるものとする。また、デカ画素ブロック３００－１は、垂直信号線３０７－ｎに接続され、デカ画素ブロック３００－２は垂直信号線３０８－ｎに接続される。オクタ画素ブロック３５０－１および３５０－２は、垂直信号線３０９－ｎに接続される。
　駆動部２１０は、オクタ画素ブロック３５０－１内の１番目から８番目までの有効画素を順に駆動し、有効画素信号Ｖｉｎ＿оｃｔａを生成させる。同図において太線で囲まれた画素は、駆動対象の画素を示す。同時に駆動部２１０は、デカ画素ブロック３００－１内の１番目から８番目までの有効画素を順に駆動し、有効画素信号Ｖｉｎ＿ｄｅｃａを生成させる。
　マルチプレクサ２３１は、垂直信号線３０７－ｎをＡＤＣ２３４に接続し、ＡＤＣ２３４は、有効画素信号Ｖｉｎ＿ｄｅｃａをデジタル信号に変換する。マルチプレクサ２３２は、垂直信号線３０９－ｎをＡＤＣ２３５に接続し、ＡＤＣ２３５は、有効画素信号Ｖｉｎ＿оｃｔａをデジタル信号に変換する。
　図１２は、本技術の第１の実施の形態における有効画素信号およびＥＯＰＢ信号をデジタル信号に変換する際の固体撮像素子２００の状態の一例を示す図である。駆動部２１０は、デカ画素ブロック３００－１内の９番目の有効画素を駆動し、有効画素信号Ｖｉｎ＿ｄｅｃａを生成させる。一方、オクタ画素ブロック３５０－１は８画素であるため、ＥＯＰＢ画素が無い場合、ＡＤＣ２３５のＡＤ変換対象が無くなり、ＡＤＣ２３５の処理能力に余剰が生じてしまう。
　そこで、駆動部２１０は、デカ画素ブロック３００－２内の有効画素をＥＯＰＢ画素として駆動し、ＥＯＰＢ信号Ｖｉｎ＿ＥＯＰＢを生成させる。マルチプレクサ２３２は、垂直信号線３０８－ｎをＡＤＣ２３５に接続し、ＡＤＣ２３５は、ＥＯＰＢ信号Ｖｉｎ＿ＥＯＰＢをデジタル信号に変換する。
　なお、デカ画素ブロック３００－１内のＥＯＰＢ画素のＥＯＰＢ信号のＡＤ変換は、デカ画素ブロック３００－２内の９番目、１０番目の有効画素信号のＡＤ変換時に実行される。
　同図に例示したように、ＡＤＣ２３５の処理能力の余剰を利用してＥＯＰＢ信号をＡＤ変換するため、ＥＯＰＢ信号を生成しない場合とフレームレートを同一に維持することができる。
　図１１および図１２に例示したように、画素アレイ部２２０には、遮光されていない複数の有効画素が配列される。駆動部２１０は、複数の有効画素のそれぞれを駆動して露光量に応じたアナログ信号を有効画素信号として生成させる制御と、複数の有効画素のうちＥＯＰＢ画素を駆動して暗電流に応じたアナログ信号をＥＯＰＢ信号として生成させる制御とを行う。信号処理部２６０は、ＯＰＢ信号およびＥＯＰＢ信号を用いて有効画素信号の補正（すなわち、ダーク補正）を行う。有効画素領域内のＥＯＰＢ信号も用いてダーク補正を行うことにより、有効画素領域内で局所的に生じる黒ズレを補正することができる。
　また、画素アレイ部２２０は、浮遊拡散層を共有する１０個の有効画素が配列されたデカ画素ブロック３００と、浮遊拡散層を共有する８個の有効画素が配列されたオクタ画素ブロック３５０とを含む。駆動部２１０は、デカ画素ブロック３００内の有効画素をＥＯＰＢ画素として駆動する。
　また、ＡＤＣ２３４は、デカ画素ブロック３００内の有効画素からの有効画素信号をデジタル信号に変換する。ＡＤＣ２３５は、オクタ画素ブロック３５０内の有効画素からの有効画素信号とデカ画素ブロック３００内のＥＯＰＢ画素からのＥＯＰＢ信号とのそれぞれをデジタル信号に変換する。なお、ＡＤＣ２３４は、特許請求の範囲に記載の第１のアナログデジタル変換器の一例であり、ＡＤＣ２３５は、特許請求の範囲に記載の第２のアナログデジタル変換器の一例である。
　図１３は、本技術の第１の実施の形態における有効画素信号を読み出す際の画素の駆動方法の一例を示すタイミングチャートである。前述したように、画素ブロックの列ごとに、２つのＡＤＣが配置されているため、読出部２３０は、画素ブロックの行を２行単位で読み出すことができる。ある２行の露光開始タイミングをＴ１とし、露光終了タイミングをＴ３とする。
　露光開始時には、読出し対象の画素ブロック内の転送トランジスタおよびリセットトランジスタがオン状態に制御される。これにより、浮遊拡散層の電荷を逃がして、ブルーミングの影響を除外することができる。
　タイミングＴ３の直前のタイミングＴ２からタイミングＴ３までの間に、ＡＤＣ２３４は、読出し対象のデカ画素ブロック３００－１内の１０個のＧ画素の有効画素信号を水平同期信号に同期して順にＡＤ変換する。同図において、「Ｇ１」乃至「Ｇ１０」は、１番目から１０番目までのＧ画素を示す。
　また、ＡＤＣ２３５は、読出し対象のオクタ画素ブロック３５０－１内の８個のＲ画素（またはＢ画素）の有効画素信号を順に水平同期信号に同期して順にＡＤ変換する。同図において、「Ｒ１」乃至「Ｒ８」は、１番目から８番目までのＲ画素を示す。
　水平同期信号の周期内において、駆動部２１０は、タイミングＴ１０からパルス期間に亘ってリセット信号ＲＳＴ＿１をオクタ画素ブロック３５０－１に供給し、そのブロックの浮遊拡散層を初期化する。その直後のタイミングＴ１１からＴ１２までの期間内に参照信号生成部２４０は、参照信号ＲＭＰを徐々に低下させる。この期間内に、有効画素信号のＰ相レベル（リセットレベル）がＡＤ変換される。
　そして、駆動部２１０は、タイミングＴ１３からパルス期間に亘って転送信号ＴＲＧо１＿１をオクタ画素ブロック３５０－１に供給し、１番目のＲ画素の電荷を浮遊拡散層に転送させる。その直後のタイミングＴ１４からＴ１５までの期間内に参照信号生成部２４０は、参照信号ＲＭＰを徐々に低下させる。この期間内に、有効画素信号のＤ相レベル（信号レベル）がＡＤ変換される。読出部２３０は、Ｐ相レベルとＤ相レベルとの差分を求めるＣＤＳ処理を行い、処理後の有効画素信号を出力する。
　図１４は、本技術の第１の実施の形態におけるＥＯＰＢ信号を読み出す際の画素の駆動方法の一例を示すタイミングチャートである。ＡＤＣ２３４がデカ画素ブロック３００－１内の９番目、１０番目のＧ画素をＡＤ変換している間に、ＡＤＣ２３５は、デカ画素ブロック３００－２内の２つのＥＯＰＢ画素のＥＯＰＢ信号をＡＤ変換する。
　水平同期信号の周期内において、駆動部２１０は、タイミングＴ２０からパルス期間に亘ってリセット信号ＲＳＴ＿２をデカ画素ブロック３００－２に供給し、そのブロックの浮遊拡散層を初期化する。その直後のタイミングＴ２１からＴ２２までの期間内に参照信号生成部２４０は、参照信号ＲＭＰを徐々に低下させる。この期間内に、ＥＯＰＢ信号のＰ相レベル（リセットレベル）がＡＤ変換される。
　そして、タイミングＴ２４からＴ２５までの期間内に参照信号生成部２４０は、参照信号ＲＭＰを徐々に低下させる。この期間内に、ＥＯＰＢ信号のＤ相レベル（信号レベル）がＡＤ変換される。タイミングＴ２２とタイミングＴ２４との間において、デカ画素ブロック３００－２へ転送信号は供給されない。
　同図に例示したように、転送トランジスタをオフ状態にすることより、ＥＯＰＢ画素は、遮光されていないに関わらず、遮光画素３９０のＯＰＢ信号に相当するＥＯＰＢ信号を生成することができる。
　なお、ＥＯＰＢ画素をデカ画素ブロック３００内に配置しているが、ＥＯＰＢ画素をオクタ画素ブロック３５０内に配置することもできる。ただし、この場合は、ＡＤＣ２３４が９番目、１０番目の有効画素信号をＡＤ変換中に、ＡＤＣ２３５がＥＯＰＢ信号をＡＤ変換することができなくなるため、フレームレートが低下してしまう。
　図１５は、本技術の第１の実施の形態における固体撮像素子２００の動作の一例を示すフローチャートである。この固体撮像素子２００の動作は、例えば、フレームを撮像するための所定のアプリケーションが実行されたときに開始される。
　固体撮像素子２００内の読出部２３０は、画素信号のそれぞれをＡＤ変換する（ステップＳ９０１）。信号処理部２６０は、補正領域の行ごとに、その行の左側および右側のＯＰＢ信号の平均値を演算し（ステップＳ９０２）、その平均値によりＥＯＰＢ信号を補正する（ステップＳ９０３）。信号処理部２６０は、補正領域ごとに、その領域内の補正後のＥＯＰＢ信号の平均値を演算し（ステップＳ９０４）、それらを正規化する（ステップＳ９０５）。
　そして、信号処理部２６０は、補正領域ごとの補正値を演算し（ステップＳ９０６）、その補正値により有効画素信号を補正する（ステップＳ９０７）。ステップＳ９０７の後に、固体撮像素子２００は、必要に応じて各種の処理を行い、撮像のための動作を終了する。
　なお、複数枚の画像を連続して撮像する場合は、垂直同期信号に同期して、ステップＳ９０１乃至Ｓ９０７が繰り返し実行される。
　このように、本技術の第１の実施の形態によれば、固体撮像素子２００は、有効画素のうちＥＯＰＢ画素からのＥＯＰＢ信号を用いて有効画素信号を補正するため、有効画素領域内で局所的に生じる黒ズレを補正し、画像データの画質を向上させることができる。
　＜２．第２の実施の形態＞
　上述の第１の実施の形態では、デカ画素ブロック３００とオクタ画素ブロック３５０とを画素アレイ部２２０に配列していたが、これら以外の画素ブロックを画素アレイ部２２０に配列することもできる。この第３の実施の形態の画素アレイ部２２０は、４画素からなる画素ブロックを配列した点において第１の実施の形態と異なる。
　図１６は、本技術の第２の実施の形態における画素アレイ部２２０の平面図の一例である。この第２の実施の形態の画素アレイ部２２０は、デカ画素ブロック３００およびオクタ画素ブロック３５０の代わりに、画素ブロック３０１を配列した点において第１の実施の形態と異なる。
　画素ブロック３０１には、浮遊拡散層を共有する２行×２列の同色の４画素が配列される。水平方向において、Ｇｂ画素からなる画素ブロック３０１とＢ画素からなる画素ブロック３０１とが交互に配列される。あるいは、水平方向において、Ｇｒ画素からなる画素ブロック３０１とＲ画素からなる画素ブロック３０１とが交互に配列される。このような配列は、クアッドベイヤー配列と呼ばれる。
　なお、画素アレイ部２２０の配列は、画素ブロックごとに４画素を配置するクアッドベイヤー配列に限定されない。画素ブロックごとに５画素以上（３行×３列の９画素など）を配置することもできる。
　画素ブロック３０１の回路構成は、画素数が異なる点以外は、図５や図６に例示した回路構成と同様である。
　また、例えば、Ｒ画素からなる画素ブロック３０１内の所定位置と、Ｇｒ画素かならなる画素ブロック３０１内の所定位置とにＥＯＰＢ画素が配置される。同図において、灰色の画素は、ＥＯＰＢ画素を示す。
　図１７は、本技術の第２の実施の形態における読出部２３０の一構成例を示すブロック図である。この第２の実施の形態の読出部２３０は、マルチプレクサ２３１および２３２が配置されない点において第１の実施の形態と異なる。
　図１８は、本技術の第２の実施の形態における画素の駆動方法を説明するための図である。同図におけるａは、１枚の合成フレームを撮像するための１Ｖ期間内において１回目に撮像されるフレームの一例を示し、同図におけるｂは、その期間内において２回目に撮像されるフレームの一例を示す。１Ｖ期間の長さとして、例えば、垂直同期信号の周期が設定される。
　１Ｖ期間内において、２枚のフレームが撮像される。駆動部２１０は、１枚目のフレームにおいて、ＥＯＰＢ画素の半分にＥＯＰＢ信号を生成させ、残りのＥＯＰＢ画素に有効画素信号を生成させる。そして、駆動部２１０は、２枚目のフレームにおいて、１枚目でＥＯＰＢ信号を生成させたＥＯＰＢ画素に有効画素信号を生成させ、残りのＥＯＰＢ画素にＥＯＰＢ信号を生成させる。同図において、灰色の画素はＥＯＰＢ信号を生成する画素を示す。
　例えば、同図におけるａに例示するように、８行×８列の領域に着目した場合、駆動部２１０は、第３行の２個のＲ画素と２個のＧｒ画素とにＥＯＰＢ信号を生成させ、残りの有効画素に有効画素信号を生成させる。第７行にもＥＯＰＢ画素が配列されるが、これらの画素は、有効画素信号を生成する。
　そして、同図におけるｂに例示するように、駆動部２１０は、第７行の２個のＲ画素と２個のＧｒ画素とにＥＯＰＢ信号を生成させ、残りの有効画素に有効画素信号を生成させる。第３行のＥＯＰＢ画素は、有効画素信号を生成する。
　信号処理部２６０は、ダーク補正と、２枚のフレームの合成とを行う。同図に例示するように、駆動部２１０は、ＥＯＰＢ画素と、残りの有効画素とを駆動する制御によりフレームを生成させる。
　図１９は、比較例における補正の効果を説明するための図である。ＥＯＰＢ信号を用いず、ＯＰＢ信号のみを用いてダーク補正を行う構成を比較例として想定する。同図におけるａは、比較例の画素アレイ部２２０の一例を示す。同図におけるｂは、局所的なノイズが生じない場合の列ごとのノイズ強度、補正値の一例を示すグラフである。同図におけるｃは、局所的なノイズが生じた場合の列ごとのノイズ強度、補正値の一例を示すグラフである。
　同図におけるａに例示するように、比較例において、有効画素領域の左右に遮光画素３９０は配置されるが、有効画素領域内にＥＯＰＢ画素は配置されない。
　同図におけるｂおよびｃの縦軸は、ノイズ強度または補正値を示し、横軸は、水平座標を示す。また、実線は、列ごとのノイズ強度を示し、点線は、補正値を示す。黒丸は、ＯＰＢ信号を示す。
　同図におけるｂに例示するように、局所的なノイズが生じず、行内において各列のノイズ強度が一定の場合を想定する。比較例では、左右のＯＰＢ信号の平均値が各列の補正値として用いられるため、補正値も一定となり、ノイズと補正値との傾向が同程度になる。このため、ダーク補正によりノイズが十分に除去される。
　しかし、同図におけるｃに例示するように局所的なノイズが生じ、行内において、各列のノイズ強度が非線形に変動する場合、一定の補正値では、ノイズと補正値との傾向が異なるものになる。このため、ノイズを除去することができなくなる。
　図２０は、本技術の第２の実施の形態における補正の効果を説明するための図である。同図におけるａは、第２の実施の形態の画素アレイ部２２０の一例を示す。同図におけるｂは、局所的なノイズが生じない場合の列ごとのノイズ強度、補正値の一例を示すグラフである。同図におけるｃは、局所的なノイズが生じた場合の列ごとのノイズ強度、補正値の一例を示すグラフである。
　同図におけるａに例示するように、第２の実施の形態では、有効画素領域の左右に遮光画素３９０は配置され、有効画素領域内にＥＯＰＢ画素が配置される。
　同図におけるｂおよびｃの縦軸は、ノイズ強度または補正値を示し、横軸は、水平座標を示す。また、実線は、列ごとのノイズ強度を示し、点線は、補正値を示す。黒丸は、ＯＰＢ信号またはＥＯＰＢ信号を示す。
　同図におけるｂに例示するように、局所的なノイズが生じず、行内において各列のノイズ強度が一定の場合、ノイズと補正値との傾向が同程度になる。このため、ダーク補正によりノイズが十分に除去される。
　同図におけるｃに例示するように局所的なノイズが生じ、行内において各列のノイズ強度が非線形に変動する場合であっても、ＥＯＰＢ画素の信号により、ノイズと補正値との傾向が近くなる。このため、比較例と異なり、ダーク補正によりノイズが十分に除去される。これにより、画像データの画質を比較例よりも向上させることができる。
　このように、本技術の第２の実施の形態によれば、クアッドベイヤー並列にＥＯＰＢ画素を配置したため、クアッドベイヤー配列の固体撮像素子２００において、画質を向上させることができる。
　［第１の変形例］
　上述の第２の実施の形態では、１Ｖ期間内に２枚のフレームを生成していたが、この構成では、第１の実施の形態と比較してフレームレートが半分に低下してしまう。この第２の実施の形態の第１の変形例の固体撮像素子２００は、ＡＤ変換の回数を削減してフレームレートの低下を抑制した点において第２の実施の形態と異なる。
　図２１は、本技術の第２の実施の形態の第１の変形例における４回目のＡＤ変換までの駆動方法を説明するための図である。同図におけるａは、１回目のＡＤ変換対象の画素を示し、同図におけるｂは、２回目のＡＤ変換対象の画素を示す。同図におけるｃは、３回目のＡＤ変換対象の画素を示し、同図におけるｄは、４回目のＡＤ変換対象の画素を示す。
　ＥＯＰＢ画素の無い比較例では１Ｖ期間内に読出部２３０が画素ブロック単位で２行（言い換えれば、画素単位で４行）を読み出す場合、列ごとの画素数は８画素であるため、読出部２３０は、８回のＡＤ変換を行うことになる。
　これに対して、第２の実施の形態の第１の変形例では、読出部２３０が１Ｖ期間内において、２画素分のＥＯＰＢ信号のＡＤ変換をさらに行い、合計で１０回のＡＤ変換を行う。
　例えば、同図におけるａに例示するように、８行×４列に着目すると、駆動部２１０は、第４行の第２列および第４列の画素に有効画素信号を出力させ、第８行の第２列および第４列の画素にＥＯＰＢ信号を出力させる。読出部２３０は、それらの画素信号をＡＤ変換する。同図において、太枠の画素は、画素信号を出力する画素を示す。また、灰色の画素は、ＥＯＰＢ信号を出力する画素を示す。
　次に同図におけるｂに例示するように、駆動部２１０は、第４行の第２列および第４列の画素にＥＯＰＢ信号を出力させ、第８行の第２列および第４列の画素に有効画素信号を出力させる。
　次に同図におけるｃに例示するように、駆動部２１０は、第４行の第１列および第３列の画素と、第８行の第１列および第３列の画素とに有効画素信号を出力させる。次に同図におけるｄに例示するように、駆動部２１０は、第３行の第１列および第３列の画素と、第７行の第１列および第３列の画素とに有効画素信号を出力させる。
　図２２は、本技術の第２の実施の形態の第１の変形例における８回目のＡＤ変換までの駆動方法を説明するための図である。同図におけるａは、５回目のＡＤ変換対象の画素を示し、同図におけるｂは、６回目のＡＤ変換対象の画素を示す。同図におけるｃは、７回目のＡＤ変換対象の画素を示し、同図におけるｄは、８回目のＡＤ変換対象の画素を示す。
　同図におけるａに例示するように、４回目のＡＤ変換の後に駆動部２１０は、第３行の第２列および第４列の画素と、第７行の第２列および第４列の画素とに有効画素信号を出力させる。
　次に同図におけるｂに例示するように、駆動部２１０は、第２行の第２列および第４列の画素にＥＯＰＢ信号を出力させ、第６行の第２列および第４列の画素に有効画素信号を出力させる。
　次に同図におけるｃに例示するように、駆動部２１０は、第２行の第２列および第４列の画素に有効画素信号を出力させ、第６行の第２列および第４列の画素にＥＯＰＢ信号を出力させる。次に同図におけるｄに例示するように、駆動部２１０は、第２行の第１列および第３列の画素と、第６行の第１列および第３列の画素とに有効画素信号を出力させる。
　図２３は、本技術の第２の実施の形態の第１の変形例における１０回目のＡＤ変換までの駆動方法を説明するための図である。同図におけるａは、９回目のＡＤ変換対象の画素を示し、同図におけるｂは、１０回目のＡＤ変換対象の画素を示す。
　同図におけるａに例示するように、８回目のＡＤ変換の後に駆動部２１０は、第１行の第１列および第３列の画素と、第５行の第１列および第３列の画素とに有効画素信号を出力させる。次に同図におけるｂに例示するように、駆動部２１０は、第１行の第２列および第４列の画素と、第５行の第２列および第４列の画素とに有効画素信号を出力させる。
　図２１乃至図２３に例示した制御により、画素ブロック単位で２行がＡＤ変換される。同様の制御により残りの行がＡＤ変換され、フレームが生成される。上述のように第２の実施の形態の第１の変形例における駆動部２１０は、全ての有効画素とＥＯＰＢ画素とを駆動する制御によりフレームを生成させる。１Ｖ期間内に２枚のフレームを生成する必要が無いため、第２の実施の形態よりもフレームレートを向上させることができる。
　図２４は、本技術の第２の実施の形態の第１の変形例における補正領域４０１の一例を示す図である。同図に例示するように、有効画素領域は、矩形の複数の補正領域４０１により分割される。それぞれの補正領域４０１には、所定数のＥＯＰＢ画素が配置される。同図において、灰色の画素は、ＥＯＰＢ画素を示す。
　図２５は、比較例と本技術の第２の実施の形態の第１の変形例とにおける水平座標ごとの黒レベル平均値の一例を示すグラフである。同図におけるａは、左側および右側に遮光画素３９０を配置し、ＥＯＰＢ画素を配置しない比較例における水平座標ごとの黒レベル平均値の一例を示すグラフである。同図におけるｂは、第２の実施の形態の第１の変形例における水平座標ごとの黒レベル平均値の一例を示すグラフである。同図における縦軸は、黒レベルの平均値を示し、横軸は、水平座標を示す。また、黒丸は、画素信号から得られた平均値を示す。
　同図におけるａに例示するように、比較例では、左側および右側の遮光画素３９０から左端の黒レベル平均値と、右端の黒レベル平均値とが得られる。平均値は、左端および右端の２点しか得られないため、それらの間の座標の補正値は、例えば、左端および右端の値から線形補間される。この比較例では、左端と右端との間で線形に変動するノイズを除去することができるが、非線形に変動するノイズを除去することができない。
　これに対して、同図におけるｂに例示するように、第２の実施の形態の第１の変形例では、左端と右端との間において、複数の平均値が得られる。これらの平均値を用いてダーク補正を行うことにより、非線形のノイズが生じた場合であっても、そのノイズと同じ傾向で補正値により、非線形のノイズを除去することができる。
　このように本技術の第２の実施の形態の第１の変形例によれば、第２の実施の形態と比較して１Ｖ期間内のＡＤ変換の回数を削減したため、フレームレートを向上させることができる。
　［第２の変形例］
　上述の第２の実施の形態では、信号処理部２６０は、ＯＰＢ信号とＥＯＰＢ信号とを用いて有効画素信号を補正していたが、この構成では、有効画素２２１に加えて遮光画素３９０を画素アレイ部２２０内に配置する必要がある。この第２の実施の形態の第２の変形例における固体撮像素子２００は、遮光画素３９０を削減し、ＥＯＰＢ信号のみを用いて有効画素信号を補正する点において第１の実施の形態と異なる。
　図２６は、本技術の第２の実施の形態の第２の変形例における画素アレイ部２２０の平面図の一例である。この第２の実施の形態の第２の変形例の画素アレイ部２２０は、遮光画素３９０が配置されない点において第１の実施の形態と異なる。
　図２７は、本技術の第２の実施の形態の第２の変形例における信号処理部２６０の一構成例を示すブロック図である。この第２の実施の形態の第２の変形例の信号処理部２６０は、左右ＯＰＢ平均値演算部２６３、ＥＯＰＢ信号補正部２６４、正規化部２６７、領域毎補正値演算部２６８を備えない点において図９に例示した第１の実施の形態の構成と異なる。
　第２の実施の形態の第２の変形例の信号処理部２６０は、前のフレームのＥＯＰＢ信号を用いて、現在のフレームの有効画素信号を補正する。
　なお、現在のフレームのＭ行分の平均値を用いる場合、図１０に例示した構成と同様に、図２７に例示した信号処理部２６０内に有効画素信号保持部２６２を追加すればよい。
　図２８は、本技術の第２の実施の形態の第２の変形例における補正の効果を説明するための図である。同図におけるａは、第２の実施の形態の第２の変形例の画素アレイ部２２０の一例を示す。同図におけるｂは、局所的なノイズが生じない場合の列ごとのノイズ強度、補正値の一例を示すグラフである。同図におけるｃは、局所的なノイズが生じた場合の列ごとのノイズ強度、補正値の一例を示すグラフである。
　同図におけるａに例示するように、第２の実施の形態の第２の変形例では、有効画素領域の左右の遮光画素３９０が削減される。これにより、画素数、または、画素当たりの受光面積を大きくすることができ、多画素化または高感度化が容易になる。
　同図におけるｂおよびｃの縦軸は、ノイズ強度または補正値を示し、横軸は、水平座標を示す。また、実線は、列ごとのノイズ強度を示し、点線は、補正値を示す。黒丸は、ＥＯＰＢ信号を示す。
　同図におけるｂに例示するように、局所的なノイズが生じない場合、ノイズと補正値との傾向が同程度になる。このため、ダーク補正によりノイズが十分に除去される。
　同図におけるｃに例示するように局所的なノイズが生じ、行内において各列のノイズ強度が非線形に変動する場合であっても、ＥＯＰＢ画素の信号により、ノイズと補正値との傾向が近くなる。このため、比ダーク補正によりノイズが十分に除去される。
　このように、本技術の第２の実施の形態の第２の変形例によれば、遮光画素３９０を削減したため、多画素化または高感度化が容易になる。
　＜３．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２９に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ(interface)１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２９の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図３０は、撮像部１２０３１の設置位置の例を示す図である。
　図３０では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図３０には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。具体的には、図１の撮像装置１００は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、ダーク補正によって、見やすい撮影画像を得ることができるため、ドライバの疲労を軽減することが可能になる。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）遮光されていない複数の有効画素が配列された画素アレイ部と、
　前記複数の有効画素のそれぞれを駆動して露光量に応じたアナログ信号を有効画素信号として生成させる制御と前記複数の有効画素のうち特定画素を駆動して暗電流に応じたアナログ信号を追加遮光画素信号として生成させる制御とを行う駆動部と、
　前記追加遮光画素信号を用いて前記有効画素信号を補正する信号処理部と
を具備する固体撮像素子。
（２）前記画素アレイ部は、
　浮遊拡散層を共有する１０個の有効画素が配列されたデカ画素ブロックと、
　浮遊拡散層を共有する８個の有効画素が配列されたオクタ画素ブロックと
を含む
前記（１）記載の固体撮像素子。
（３）前記デカ画素ブロック内の前記有効画素からの前記有効画素信号をデジタル信号に変換する第１のアナログデジタル変換器と、
　前記オクタ画素ブロック内の前記有効画素からの前記有効画素信号をデジタル信号に変換する第２のアナログデジタル変換器と
をさらに具備する
前記（２）記載の固体撮像素子。
（４）前記駆動部は、前記デカ画素ブロック内の前記有効画素を前記特定画素として駆動し、
　前記第２のアナログデジタル変換器は、前記有効画素信号と前記追加遮光画素信号とのそれぞれをデジタル信号に変換する
前記（３）記載の固体撮像素子。
（５）前記画素アレイ部は、浮遊拡散層を共有する複数の有効画素が配列された所定数の画素ブロックを含み、
　前記駆動部は、前記画素ブロック内の一部の有効画素を前記特定画素として駆動する
前記（１）記載の固体撮像素子。
（６）前記駆動部は、前記画素アレイ部内の前記特定画素と残りの有効画素とを駆動する制御により画像データを生成させる
前記（５）記載の固体撮像素子。
（７）前記駆動部は、前記画素アレイ部内の全ての有効画素と前記特定画素とを駆動する制御により画像データを生成させる
前記（５）記載の固体撮像素子。
（８）前記画素アレイ部は、所定数の補正領域に分割され、
　前記信号処理部は、前記補正領域内の前記特定画素の前記追加遮光画素信号を用いて前記補正領域内の有効画素の前記有効画素信号を補正する有効画素信号補正部を備える
前記（１）から（８）のいずれかに記載の固体撮像素子。
（９）前記信号処理部は、前記有効画素信号を保持する有効画素信号補正部をさらに備える
前記（８）記載の固体撮像素子。
（１０）前記画素アレイ部は、遮光画素をさらに含み、
　前記信号処理部は、
　前記遮光画素からの遮光画素信号を用いて前記追加遮光画素信号を補正する追加遮光画素信号補正部をさらに備え、
　前記有効画素信号補正部は、前記補正された追加遮光画素信号と前記遮光画素信号とを用いて前記有効画素信号を補正する
前記（８）または（９）に記載の固体撮像素子。
（１１）遮光されていない複数の有効画素が配列された画素アレイ部と、
　前記複数の有効画素のそれぞれを駆動して露光量に応じたアナログ信号を有効画素信号として生成させる制御と前記複数の有効画素のうち特定画素を駆動して暗電流に応じたアナログ信号を追加遮光画素信号として生成させる制御とを行う駆動部と、
　前記追加遮光画素信号を用いて前記有効画素信号を補正する信号処理部と、
　前記補正された有効画素信号を配列した画像データを記録する記録部と
を具備する撮像装置。
（１２）遮光されていない複数の有効画素が配列された画素アレイ部内の前記複数の有効画素のそれぞれを駆動して露光量に応じたアナログ信号を追加遮光画素信号として生成させる制御と前記複数の有効画素のうち特定画素を駆動して暗電流に応じたアナログ信号を追加遮光画素信号として生成させる制御とを行う駆動手順と、
　前記追加遮光画素信号を用いて前記有効画素信号を補正する信号処理手順と
を具備する固体撮像素子の制御方法。
　１００　撮像装置
　１１０　制御部
　１２０　記録部
　２００　固体撮像素子
　２１０　駆動部
　２２０　画素アレイ部
　２２１、２２１－１、２２１－２　有効画素
　２２２　マイクロレンズ
　２３０　読出部
　２３１、２３２　マルチプレクサ
　２３３～２３５　ＡＤＣ
　２３６、２３７　容量
　２３８　コンパレータ
　２３９　カウンタ
　２４０　参照信号生成部
　２５０　タイミング制御部
　２６０　信号処理部
　２６１　画素信号選択部
　２６２　有効画素信号保持部
　２６３　左右ＯＰＢ平均値演算部
　２６４　ＥＯＰＢ信号補正部
　２６５　領域毎ＥＯＰＢ平均値演算部
　２６６　領域毎ＥＯＰＢ平均値保持部
　２６７　正規化部
　２６８　領域毎補正値演算部
　２６９　有効画素信号補正部
　３００、３００－１、３００－２　デカ画素ブロック
　３０１　画素ブロック
　３１１～３２０、３６１～３６８、３９１　光電変換素子
　３２１～３３０、３７１～３７８、３９２　転送トランジスタ
　３４１、３８１、３９３　リセットトランジスタ
　３４２、３８２、３９４　浮遊拡散層
　３４３、３８３、３９５　増幅トランジスタ
　３４４、３８４、３９６　選択トランジスタ
　３５０、３５０－１、３５０－２　オクタ画素ブロック
　３９０　遮光画素
　１２０３１　撮像部

Claims (12)

  1. 　遮光されていない複数の有効画素が配列された画素アレイ部と、
    　前記複数の有効画素のそれぞれを駆動して露光量に応じたアナログ信号を有効画素信号として生成させる制御と前記複数の有効画素のうち特定画素を駆動して暗電流に応じたアナログ信号を追加遮光画素信号として生成させる制御とを行う駆動部と、
    　前記追加遮光画素信号を用いて前記有効画素信号を補正する信号処理部と
    を具備する固体撮像素子。
  2. 　前記画素アレイ部は、
    　浮遊拡散層を共有する１０個の有効画素が配列されたデカ画素ブロックと、
    　浮遊拡散層を共有する８個の有効画素が配列されたオクタ画素ブロックと
    を含む
    請求項１記載の固体撮像素子。
  3. 　前記デカ画素ブロック内の前記有効画素からの前記有効画素信号をデジタル信号に変換する第１のアナログデジタル変換器と、
    　前記オクタ画素ブロック内の前記有効画素からの前記有効画素信号をデジタル信号に変換する第２のアナログデジタル変換器と
    をさらに具備する
    請求項２記載の固体撮像素子。
  4. 　前記駆動部は、前記デカ画素ブロック内の前記有効画素を前記特定画素として駆動し、
    　前記第２のアナログデジタル変換器は、前記有効画素信号と前記追加遮光画素信号とのそれぞれをデジタル信号に変換する
    請求項３記載の固体撮像素子。
  5. 　前記画素アレイ部は、浮遊拡散層を共有する複数の有効画素が配列された所定数の画素ブロックを含み、
    　前記駆動部は、前記画素ブロック内の一部の有効画素を前記特定画素として駆動する
    請求項１記載の固体撮像素子。
  6. 　前記駆動部は、前記画素アレイ部内の前記特定画素と残りの有効画素とを駆動する制御により画像データを生成させる
    請求項５記載の固体撮像素子。
  7. 　前記駆動部は、前記画素アレイ部内の全ての有効画素と前記特定画素とを駆動する制御により画像データを生成させる
    請求項５記載の固体撮像素子。
  8. 　前記画素アレイ部は、所定数の補正領域に分割され、
    　前記信号処理部は、前記補正領域内の前記特定画素の前記追加遮光画素信号を用いて前記補正領域内の有効画素の前記有効画素信号を補正する有効画素信号補正部を備える
    請求項１記載の固体撮像素子。
  9. 　前記信号処理部は、前記有効画素信号を保持する有効画素信号補正部をさらに備える
    請求項８記載の固体撮像素子。
  10. 　前記画素アレイ部は、遮光画素をさらに含み、
    　前記信号処理部は、
    　前記遮光画素からの遮光画素信号を用いて前記追加遮光画素信号を補正する追加遮光画素信号補正部をさらに備え、
    　前記有効画素信号補正部は、前記補正された追加遮光画素信号と前記遮光画素信号とを用いて前記有効画素信号を補正する
    請求項８記載の固体撮像素子。
  11. 　遮光されていない複数の有効画素が配列された画素アレイ部と、
    　前記複数の有効画素のそれぞれを駆動して露光量に応じたアナログ信号を有効画素信号として生成させる制御と前記複数の有効画素のうち特定画素を駆動して暗電流に応じたアナログ信号を追加遮光画素信号として生成させる制御とを行う駆動部と、
    　前記追加遮光画素信号を用いて前記有効画素信号を補正する信号処理部と、
    　前記補正された有効画素信号を配列した画像データを記録する記録部と
    を具備する撮像装置。
  12. 　遮光されていない複数の有効画素が配列された画素アレイ部内の前記複数の有効画素のそれぞれを駆動して露光量に応じたアナログ信号を追加遮光画素信号として生成させる制御と前記複数の有効画素のうち特定画素を駆動して暗電流に応じたアナログ信号を追加遮光画素信号として生成させる制御とを行う駆動手順と、
    　前記追加遮光画素信号を用いて前記有効画素信号を補正する信号処理手順と
    を具備する固体撮像素子の制御方法。
PCT/JP2022/039216 2021-12-16 2022-10-21 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 WO2023112480A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023567574A JPWO2023112480A1 (ja) 2021-12-16 2022-10-21
DE112022005993.1T DE112022005993T5 (de) 2021-12-16 2022-10-21 Festkörperbildgebungselement, bildgebungsvorrichtung und verfahren zum steuern eines festkörperbildgebungselements
CN202280080869.4A CN118355670A (zh) 2021-12-16 2022-10-21 固态成像元件、成像装置和用于控制固态成像元件的方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-203909 2021-12-16
JP2021203909 2021-12-16

Publications (1)

Publication Number Publication Date
WO2023112480A1 true WO2023112480A1 (ja) 2023-06-22

Family

ID=86774375

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/039216 WO2023112480A1 (ja) 2021-12-16 2022-10-21 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Country Status (4)

Country Link
JP (1) JPWO2023112480A1 (ja)
CN (1) CN118355670A (ja)
DE (1) DE112022005993T5 (ja)
WO (1) WO2023112480A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009089219A (ja) * 2007-10-02 2009-04-23 Olympus Corp 固体撮像素子及びそれを用いた固体撮像システム
JP2010147785A (ja) * 2008-12-18 2010-07-01 Fujifilm Corp 固体撮像素子及び撮像装置並びにその画像補正方法
JP2015072982A (ja) * 2013-10-02 2015-04-16 株式会社ニコン 撮像素子および撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009089219A (ja) * 2007-10-02 2009-04-23 Olympus Corp 固体撮像素子及びそれを用いた固体撮像システム
JP2010147785A (ja) * 2008-12-18 2010-07-01 Fujifilm Corp 固体撮像素子及び撮像装置並びにその画像補正方法
JP2015072982A (ja) * 2013-10-02 2015-04-16 株式会社ニコン 撮像素子および撮像装置

Also Published As

Publication number Publication date
DE112022005993T5 (de) 2024-10-02
JPWO2023112480A1 (ja) 2023-06-22
CN118355670A (zh) 2024-07-16

Similar Documents

Publication Publication Date Title
CN110073655B (zh) 固态摄像器件、电子设备和用于控制固态摄像器件的方法
WO2020105314A1 (ja) 固体撮像素子、および、撮像装置
US11196956B2 (en) Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
WO2020235146A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2021090538A1 (ja) センシングデバイス、電子機器およびセンシングデバイスの制御方法
WO2022172586A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US11223791B2 (en) Signal processing circuit, solid-state imaging element, and method for controlling signal processing circuit
WO2021256073A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US11770641B2 (en) Solid-state image capturing element, image capturing apparatus, and method of controlling solid-state image capturing element
US11451725B2 (en) Solid-state imaging element, imaging apparatus, and method for controlling solid-state imaging element
WO2023112480A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020075357A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2023105916A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2022137790A1 (ja) 固体撮像素子、センシング装置、および、固体撮像素子の制御方法
WO2024095630A1 (ja) 撮像装置
WO2022113528A1 (ja) 固体撮像素子、固体撮像素子の制御方法、および、撮像装置
WO2022244293A1 (ja) アナログデジタル変換回路、固体撮像素子、および、アナログデジタル変換回路の制御方法
WO2023021774A1 (ja) 撮像装置及び撮像装置を備える電子機器
JP2024000625A (ja) 固体撮像装置および電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22907014

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023567574

Country of ref document: JP

Kind code of ref document: A