WO2025253777A1 - 撮像装置および撮像方法 - Google Patents

撮像装置および撮像方法

Info

Publication number
WO2025253777A1
WO2025253777A1 PCT/JP2025/014604 JP2025014604W WO2025253777A1 WO 2025253777 A1 WO2025253777 A1 WO 2025253777A1 JP 2025014604 W JP2025014604 W JP 2025014604W WO 2025253777 A1 WO2025253777 A1 WO 2025253777A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
transistor
signal
level
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2025/014604
Other languages
English (en)
French (fr)
Inventor
裕一 豆崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of WO2025253777A1 publication Critical patent/WO2025253777A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/587Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/59Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance

Definitions

  • This technology relates to an imaging device and an imaging method. More specifically, this technology relates to an imaging device and an imaging method that are capable of switching pixel readout levels.
  • This technology was developed in light of these circumstances, and its purpose is to enable pixel signals to be read from each pixel at a readout level that corresponds to the illuminance incident on each pixel, while suppressing a decrease in frame rate.
  • This technology has been developed to solve the above-mentioned problems, and its first aspect is an imaging device that includes a pixel capable of generating pixel signals of multiple readout levels, a determination circuit that determines the readout level of the pixel signal within the pixel, and a switching circuit that switches the readout level of the pixel signal based on the determination result of the readout level of the pixel signal.
  • This has the effect of realizing readout from the pixel according to the readout level of the pixel signal, without having to perform readout for each readout level of the pixel signal.
  • the pixel may generate pixel signals of the plurality of readout levels based on switching of conversion efficiency. This brings about the effect that the readout level of the pixel signal can be switched by providing a single photoelectric conversion element within the pixel.
  • the pixel may include a photoelectric conversion element, an amplification transistor that amplifies the pixel signal, a floating diffusion connected to the gate of the amplification transistor, a transfer transistor that transfers charge accumulated in the photoelectric conversion element to the floating diffusion, a selection transistor that selects the output of the pixel signal amplified by the amplification transistor, and a switching transistor that switches the conversion efficiency of the amplification transistor.
  • the switching circuit may switch the switching transistor on and off based on the determination result of the readout level of the pixel signal. This brings about the effect that the conversion efficiency is switched based on the determination result of the readout level of the pixel signal.
  • the pixel may include a horizontal overflow storage capacitor and a pass transistor that sets a path for transferring charge stored in the horizontal overflow storage capacitor to the floating diffusion, and the switching circuit may switch the switching transistor and the pass transistor on and off based on the result of determining the readout level of the pixel signal. This provides the effect of realizing switching between three levels of conversion efficiency based on the result of determining the readout level of the pixel signal.
  • the pixel may include a plurality of photoelectric conversion elements having different sensitivities, and the switching circuit may switch the photoelectric conversion elements used to generate the pixel signal based on the determination result of the readout level of the pixel signal. This provides the effect of switching the readout level of the pixel signal by providing a plurality of photoelectric conversion elements within the pixel.
  • the pixel may include a plurality of photoelectric conversion elements having different exposure times, and the switching circuit may switch the photoelectric conversion element used to generate the pixel signal based on the determination result of the readout level of the pixel signal. This provides the effect of switching the readout level of the pixel signal by providing a plurality of photoelectric conversion elements within the pixel.
  • the pixel may include a photoelectric conversion element capable of switching the exposure time, and the switching circuit may switch the exposure time for exposure by the photoelectric conversion element based on the determination result of the readout level of the pixel signal. This brings about the effect that the readout level of the pixel signal can be switched by providing a single photoelectric conversion element within the pixel.
  • the determination circuit may be shared by multiple pixels. This has the effect of saving space for the determination circuit while enabling readout from pixels according to the readout level of the pixel signal.
  • the pixel signal may be read out from the pixel based on a rolling shutter operation. This brings about the effect that readout from the pixel according to the readout level of the pixel signal is realized without having to perform readout for each readout level of the pixel signal.
  • the pixel may include a sample-and-hold circuit that samples and holds the pixel signal based on a global shutter operation. This provides the effect of realizing readout from the pixel according to the readout level of the pixel signal without having to sample and hold for each readout level of the pixel signal.
  • the sample and hold circuit may include a first sample and hold capacitor that holds a charge corresponding to the P-phase level and a second sample and hold capacitor that holds a charge corresponding to the D-phase level, and the determination circuit may determine the readout level of the pixel signal between the sampling of the P-phase level and the sampling of the D-phase level during one frame period. This provides the effect of realizing readout from pixels according to the D-phase level without performing readout for each D-phase level.
  • the determination circuit may be disconnected from the first sample-and-hold capacitor and the second sample-and-hold capacitor when determining the readout level of the pixel signal. This reduces the load on the readout of the pixel signal when determining the readout level of the pixel signal.
  • a first sample-and-hold transistor that sets the sampling timing of the P-phase level and a second sample-and-hold transistor that sets the sampling timing of the D-phase level may be provided, and the switching circuit may switch the second sample-and-hold transistor on and off based on the determination result of the readout level of the pixel signal.
  • a vertical signal line may be provided that is shared between reading out pixel signals from the pixels and reading out the determination results of the readout levels of the pixel signals. This provides the effect of reading out the determination results of the readout levels of the pixel signals while suppressing an increase in the number of wiring.
  • a vertical signal line used to read out pixel signals from the pixels and a readout line used to read out the determination results of the readout levels of the pixel signals may be provided. This provides the effect of reading out the determination results of the readout levels of the pixel signals separately from the pixel signals.
  • a second aspect is an imaging method comprising the steps of generating a pixel signal within a pixel, determining a readout level of the pixel signal within the pixel, switching the readout level of the pixel signal based on the determination result of the readout level of the pixel signal, and, after the readout level of the pixel signal has been switched, reading out the pixel signal from the pixel based on a rolling shutter operation.
  • the pixel signal may not be read out from the pixel before the readout level of the pixel signal is determined. This has the effect of speeding up the readout of the pixel signal from the pixel according to the illuminance of incident light entering the pixel.
  • a third aspect is an imaging method comprising the steps of generating a pixel signal within a pixel capable of sampling and holding the pixel signal, determining the readout level of the pixel signal within the pixel, switching the readout level of the pixel signal based on the determination result of the readout level of the pixel signal, sampling and holding the pixel signal based on a global shutter operation after the readout level of the pixel signal has been switched, and reading out the sampled and held pixel signal for each row.
  • This provides the effect of realizing readout from pixels according to the readout level of the pixel signal without having to sample and hold the pixel signal for each readout level.
  • the D-phase level of the pixel signal does not have to be sampled and held in the pixel before determining the readout level of the pixel signal. This has the effect of speeding up the readout of pixel signals from pixels that correspond to the illuminance of incident light entering the pixels.
  • FIG. 1 is a block diagram illustrating an example of the configuration of an imaging apparatus according to a first embodiment.
  • 1 is a block diagram illustrating an example of the configuration of a solid-state imaging device according to a first embodiment.
  • FIG. 2 is a diagram illustrating a first example of a circuit configuration of a pixel provided in the solid-state imaging device according to the first embodiment.
  • FIG. 10 is a timing chart showing an example of waveforms at various parts during low illuminance in a global shutter operation of the first circuit configuration example of the pixel according to the first embodiment.
  • 10 is a timing chart showing an example of waveforms at various parts during high illuminance in a global shutter operation of the first circuit configuration example of the pixel according to the first embodiment.
  • 5 is a timing chart showing an example of waveforms at various parts during a readout operation of the first circuit configuration example of the pixel according to the first embodiment.
  • FIG. 2 is a diagram illustrating a first example circuit configuration of a comparator according to the first embodiment.
  • FIG. 10 is a diagram illustrating a second example circuit configuration of the comparator according to the first embodiment.
  • FIG. 10A and 10B are diagrams illustrating the relationship between the voltage at each part and the amount of light in the second circuit configuration example of the comparator according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of a circuit configuration at a subsequent stage of a comparator according to the first embodiment;
  • FIG. 4 is a diagram illustrating a second example of a circuit configuration of a pixel provided in the solid-state imaging device according to the first embodiment.
  • 10 is a timing chart showing an example of waveforms at various parts in a global shutter operation of the second circuit configuration example of the pixel according to the first embodiment.
  • FIG. 10 is a diagram illustrating a third example of a circuit configuration of a pixel provided in the solid-state imaging device according to the first embodiment.
  • FIG. 10 is a timing chart showing an example of waveforms at various parts in a global shutter operation of the third circuit configuration example of the pixel according to the first embodiment.
  • FIG. 10 is a diagram illustrating a fourth example of a circuit configuration of a pixel provided in the solid-state imaging device according to the first embodiment.
  • FIG. 10 is a diagram illustrating an example of a circuit configuration of a pixel provided in a solid-state imaging device according to a second embodiment.
  • 10 is a timing chart showing an example of waveforms at various parts during a pixel readout operation according to the second embodiment.
  • FIG. 10 is a diagram illustrating an example of a circuit configuration of a pixel provided in a solid-state imaging device according to a third embodiment.
  • FIG. 10 is a flowchart showing a pixel signal readout process of a solid-state imaging device according to a third embodiment
  • 13 is a timing chart showing an example of waveforms at various parts during a rolling shutter operation of a pixel according to a third embodiment at low illuminance.
  • 13 is a timing chart showing an example of waveforms at various parts during high illuminance in a rolling shutter operation of a pixel according to a third embodiment.
  • FIG. 10 is a diagram illustrating an example of a circuit configuration of a pixel provided in a solid-state imaging device according to a fourth embodiment.
  • FIG. 10 is a flowchart showing a pixel signal readout process of a solid-state imaging device according to a fourth embodiment
  • 13 is a timing chart showing an example of waveforms at various parts during a global shutter operation of a pixel according to a fourth embodiment at low illuminance.
  • 13 is a timing chart showing an example of waveforms at various parts at medium illuminance in a global shutter operation of a pixel according to a fourth embodiment.
  • 13 is a timing chart showing an example of waveforms at various parts during high illuminance in a global shutter operation of a pixel according to a fourth embodiment.
  • FIG. 13 is a diagram illustrating a first example of a circuit configuration of a pixel provided in a solid-state imaging device according to a fifth embodiment.
  • FIG. 13 is a diagram illustrating a first example of a circuit configuration of a pixel provided in a solid-state imaging device according to a fifth embodiment.
  • FIG. 13 is a diagram illustrating a second example of a circuit configuration of a pixel provided in a solid-state imaging device according to a fifth embodiment.
  • FIG. 13 is a diagram illustrating a third example of a circuit configuration of a pixel provided in a solid-state imaging device according to a fifth embodiment.
  • FIG. 13 is a diagram illustrating a fourth example of a circuit configuration of a pixel provided in a solid-state imaging device according to a fifth embodiment.
  • FIG. 13 is a diagram illustrating a fifth example of a circuit configuration of a pixel provided in a solid-state imaging device according to a fifth embodiment.
  • FIG. 13 is a diagram illustrating a sixth example of a circuit configuration of a pixel provided in a solid-state imaging device according to the fifth embodiment.
  • FIG. 13 is a diagram illustrating an example of a circuit configuration of a pixel provided in a solid-state imaging device according to a sixth embodiment.
  • 13 is a flowchart showing a pixel signal readout process of a solid-state imaging device according to a sixth embodiment.
  • 13 is a timing chart showing an example of an operation period assigned to one frame of a solid-state imaging device according to a sixth embodiment;
  • 13 is a timing chart showing an example of waveforms at various parts during low illuminance in a global shutter operation of the first circuit configuration example of the pixel according to the sixth embodiment.
  • 13 is a timing chart showing an example of waveforms at various parts during high illuminance in a global shutter operation of the first circuit configuration example of the pixel according to the sixth embodiment.
  • FIG. 13 is a diagram illustrating an example of a circuit configuration of a pixel provided in a solid-state imaging device according to a seventh embodiment.
  • 13 is a flowchart showing a pixel signal readout process of a solid-state imaging device according to a seventh embodiment;
  • 13 is a timing chart showing an example of waveforms at various parts during a global shutter operation of a pixel according to the seventh embodiment at low illuminance.
  • 13 is a timing chart showing an example of waveforms at various parts during a global shutter operation of a pixel according to the seventh embodiment at high illuminance.
  • FIG. 19 is a diagram illustrating an example of a circuit configuration of a pixel provided in a solid-state imaging device according to an eighth embodiment.
  • FIG. 23 is a diagram illustrating an example of a circuit configuration of a pixel provided in a solid-state imaging device according to a ninth embodiment. 13 is a flowchart showing a pixel signal readout process of a solid-state imaging device according to a ninth embodiment.
  • 22 is a timing chart showing an example of an operation period assigned to one frame of a solid-state imaging device according to a ninth embodiment
  • 22 is a timing chart showing an example of waveforms at various parts during low illuminance in a global shutter operation of the first circuit configuration example of the pixel according to the ninth embodiment
  • 23 is a timing chart showing an example of waveforms at various parts during high illuminance in a global shutter operation of the first circuit configuration example of the pixel according to the ninth embodiment.
  • FIG. 23 is a perspective view showing a first example of a stack of layers in a solid-state imaging device according to a tenth embodiment.
  • FIG. 23 is a diagram illustrating pixel division positions in a first stacking example of a solid-state imaging device according to a tenth embodiment.
  • FIG. 23 is a perspective view showing a second example of a stack of layers in a solid-state imaging device according to the tenth embodiment.
  • FIG. 23 is a diagram illustrating pixel division positions in a second stacking example of a solid-state imaging device according to a tenth embodiment.
  • 1 is a block diagram illustrating a schematic configuration example of a vehicle control system.
  • FIG. 2 is an explanatory diagram showing an example of an installation position of an imaging unit.
  • First embodiment an example in which a pixel is provided with a determination circuit that determines the readout level of a pixel signal that can be sampled and held based on a global shutter operation and a switching circuit that switches the readout level of the pixel signal
  • Second embodiment an example in which a determination circuit that determines the readout level of a pixel signal that can be sampled and held based on a global shutter operation and a switching circuit that switches the conversion efficiency when generating a pixel signal are provided in a pixel, and a readout line that outputs the determination result from the pixel is provided
  • Third embodiment an example in which a determination circuit that determines the readout level of a pixel signal read out based on a rolling shutter operation and a switching circuit that switches the conversion efficiency when generating a pixel signal are provided in a pixel, and a readout line that outputs the determination result from the pixel is provided.
  • Fourth embodiment an example in which a pixel is provided with a determination circuit that determines the conversion efficiency of a pixel signal that can be sampled and held over three stages based on a global shutter operation and a switching circuit that switches the readout level of the pixel signal.
  • Seventh embodiment an example in which a pixel is provided with a determination circuit that determines the readout level of a pixel signal that can be sampled and held based on a global shutter operation and a switching circuit that switches between a high-sensitivity photodiode and a low-sensitivity photodiode used to generate the pixel signal.
  • Eighth embodiment an example in which a pixel is provided with a determination circuit that determines the readout level of a pixel signal that can be sampled and held based on a global shutter operation and a switching circuit that switches between a long-time exposure unit and a short-time exposure unit.
  • Ninth embodiment an example in which a pixel is provided with a determination circuit that determines the readout level of a pixel signal that can be sampled and held based on a global shutter operation and a switching circuit that switches the exposure time of a photodiode
  • Tenth embodiment example in which pixel array sections are stacked
  • Mobile application examples
  • FIG. 1 is a block diagram showing an example of the configuration of an imaging apparatus according to the first embodiment.
  • the imaging device 100 includes an optical system 101, a solid-state imaging device 102, an imaging control unit 103, an image processing unit 104, a memory unit 105, a display unit 106, and an operation unit 107.
  • the imaging control unit 103, the image processing unit 104, the memory unit 105, the display unit 106, and the operation unit 107 are connected to one another via a bus 108.
  • the imaging device 100 may be used as a standalone device, or may be incorporated into a mobile terminal such as a smartphone, an authentication device, a monitoring device, a vehicle, or a drone.
  • the optical system 101 allows light from a subject to be incident on the solid-state imaging device 102, and forms an optical image on the light-receiving surface of the solid-state imaging device 102.
  • the optical system 101 may include, for example, a focus lens, a zoom lens, and an aperture.
  • the optical system 101 may also include multiple lenses, such as a wide-angle lens, a standard lens, and a telephoto lens.
  • the solid-state imaging device 102 converts the optical image formed on the light-receiving surface into an electrical signal for each pixel, digitizes the electrical signal, and outputs it. At this time, the solid-state imaging device 102 can output pixel signals at multiple readout levels according to the illuminance of the incident light.
  • the solid-state imaging device 102 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the CMOS image sensor may be a back-illuminated image sensor or a front-illuminated image sensor.
  • the imaging control unit 103 controls imaging by the solid-state imaging device 102 based on commands from the operation unit 107. At this time, the imaging control unit 103 can control the exposure time, exposure amount, imaging timing, etc. of the solid-state imaging device 102.
  • the image processing unit 104 performs image processing based on the output from the solid-state imaging device 102.
  • Image processing includes, for example, gamma correction, white balance processing, sharpness processing, and tone conversion processing.
  • the image processing unit 104 may include a processor that executes processing based on software.
  • the image processing unit 104 can also combine pixel signals with different readout levels output from the solid-state imaging device 102 to generate an HDR (High Dynamic Range) image.
  • HDR High Dynamic Range
  • the storage unit 105 stores images captured by the solid-state imaging device 102, as well as imaging parameters of the solid-state imaging device 102.
  • the storage unit 105 can also store programs that operate the imaging device 100 based on software.
  • the storage unit 105 may include ROM (Read Only Memory), RAM (Random Access Memory), and a memory card.
  • the display unit 106 displays captured images and various information that supports the capture operation.
  • the display unit 106 may be a liquid crystal display, an organic EL (Electro Luminescence) display, or a micro LED display.
  • the operation unit 107 provides a user interface for operating the imaging device 100.
  • the operation unit 107 may include, for example, buttons, dials, and switches provided on the imaging device 100.
  • the operation unit 107 may also be configured as a touch panel together with the display unit 106.
  • FIG. 2 is a block diagram showing an example configuration of a solid-state imaging device according to the first embodiment.
  • the solid-state imaging device 102 includes a pixel array section 111, a vertical scanning circuit 112, a column readout circuit 113, a column signal processing section 114, a horizontal scanning circuit 115, and a control circuit 116.
  • the pixel array section 111 has a plurality of pixels PIX. These pixels PIX are arranged in a matrix along the row direction (also called the horizontal direction) and the column direction (also called the vertical direction). Each pixel PIX can generate pixel signals of a plurality of readout levels. Each pixel PIX may generate a plurality of readout levels based on switching of conversion efficiency, a plurality of readout levels based on switching of sensitivity, or a plurality of readout levels based on switching of exposure time. Each pixel PIX may have a capacitor that accumulates charge overflowing from the photodiode. This capacitor may be a lateral overflow accumulation capacitor.
  • each pixel PIX can constitute a LOFIC (Lateral Overflow Integration Capacitor) pixel.
  • Each pixel PIX may have a plurality of photodiodes with different sensitivities.
  • Each pixel PIX may have a sample-and-hold circuit that samples and holds the charge transferred from the photodiode.
  • Each pixel PIX may read out a pixel signal based on a rolling shutter operation or a global shutter operation. When reading out a signal, each pixel PIX can form a source follower with the column readout circuit 113.
  • Each pixel PIX is connected to a horizontal drive line 118 for each row, and to a vertical signal line 117 for each column.
  • the horizontal drive line 118 drives each pixel PIX for each row when reading out a signal from each pixel 120.
  • the vertical signal line 117 transmits a potential based on the current that flows when reading out a signal from each pixel PIX to the column signal processing unit 114 for each column.
  • Each pixel PIX may be arranged in a Bayer array or a quad-Bayer array.
  • the light received by each pixel PIX may be visible light, near-infrared light (NIR: Near Infrared), short-wave infrared light (SWIR: Short Wavelength Infrared), ultraviolet light, or X-rays.
  • NIR Near Infrared
  • SWIR Short Wavelength Infrared
  • ultraviolet light or X-rays.
  • the vertical scanning circuit 112 scans the pixels PIX to be read in the column direction.
  • the vertical scanning circuit 112 may be configured using vertical registers.
  • the vertical scanning circuit 112 may also include a decoder that specifies the pixels PIX to be read.
  • the column readout circuit 113 When reading out a signal from each pixel PIX, the column readout circuit 113 can form a source follower with each pixel PIX. At this time, the column readout circuit 113 can change the potential of each vertical signal line 117 based on the charge held in each pixel PIX.
  • the column signal processing unit 114 processes signals transmitted in the column direction from each pixel PIX.
  • the column signal processing unit 114 can perform correlated double sampling (CDS) processing based on the signals transmitted in the column direction from each pixel PIX.
  • CDS correlated double sampling
  • the column signal processing unit 114 can also perform AD (Analog to Digital) conversion processing based on the signals transmitted in the column direction from each pixel PIX, and output the image signal Gout.
  • AD Analog to Digital
  • the column signal processing unit 114 includes a column ADC unit 114A.
  • the column ADC unit 114A can perform AD conversion processing in parallel for each column. At this time, the column ADC unit 114A can perform AD conversion for each column based on the results of comparing the pixel signal read from each pixel PIX with a reference signal.
  • the horizontal scanning circuit 115 scans the pixels PIX to be read in the row direction.
  • the horizontal scanning circuit 115 may be configured using a horizontal register.
  • the control circuit 116 controls the vertical scanning circuit 112, column readout circuit 113, column signal processing unit 114, and horizontal scanning circuit 115.
  • the control circuit 116 can control the scanning timing in the column direction, the scanning timing in the row direction, the operation timing of the column readout circuit 113, and the processing timing of the column signal processing unit 114.
  • the control circuit 116 can coordinate the vertical scanning circuit 112, column readout circuit 113, column signal processing unit 114, and horizontal scanning circuit 115 so that the accumulation operation, shutter operation, and read operation are performed for each row in each frame.
  • FIG. 3 is a diagram showing a first example circuit configuration of a pixel provided in a solid-state imaging device according to the first embodiment.
  • pixel PIX is capable of sampling and holding pixel signals based on global shutter operation and outputting the sampled and held pixel signals.
  • Pixel PIX switches the readout level V1 of the pixel signal within pixel PIX based on the result of determining the readout level V1 of the pixel signal.
  • Pixel PIX is capable of generating pixel signals at multiple readout levels V1.
  • pixel PIX can prevent the pixel signal from being output from pixel PIX before determining the readout level V1 of the pixel signal.
  • pixel PIX can prevent the D-phase level of the pixel signal from being sampled and held by pixel PIX before determining the readout level of the pixel signal.
  • the pixel signal read out from pixel PIX is transmitted to ADC (Analog to Digital Converter) 135 via vertical signal line 117.
  • ADC 135 performs AD conversion on the pixel signal read out from pixel PIX.
  • An ADC 135 can be provided for each column.
  • Pixel PIX includes a photodiode PD, transfer transistor 122, reset transistors 123 and 126, switching transistor 124, amplification transistors 125 and 127, selection transistor 128, and floating diffusions FD1 and FD2. Furthermore, pixel PIX includes a sample-and-hold circuit SH, a judgment value readout transistor 129, current sources 130 and 134, a comparator 131, a latch circuit 132, and a selector 133.
  • Sample-and-hold circuit SH includes sample-and-hold capacitors C1 and C2 and sample-and-hold transistors ST1 and ST2.
  • the transfer transistor 122, reset transistor 123, switching transistor 124, amplification transistors 125 and 127, selection transistor 128, judgment value readout transistor 129, and sample-and-hold transistors ST1 and ST2 may be MOS (Metal Oxide Semiconductor) transistors.
  • the photodiode PD performs photoelectric conversion and accumulates the photoelectrically converted charge.
  • the transfer transistor 122 transfers the charge accumulated in the photodiode PD to the floating diffusion FD1.
  • the reset transistor 123 resets the photodiode PD and the floating diffusion FD1.
  • the switching transistor 124 switches the conversion efficiency of the amplification transistor 125.
  • the amplification transistor 125 outputs a signal corresponding to the potential of the floating diffusion FD1.
  • the reset transistor 126 resets the floating diffusion FD2.
  • the amplification transistor 127 outputs a signal corresponding to the potential of the floating diffusion FD2.
  • the selection transistor 128 selects the output of the amplification transistor 127.
  • the judgment value read transistor 129 sets the read timing of the judgment result VCO of the read level V1. At this time, the pixel PIX can output the judgment result VCO of the read level V1 to the vertical signal line 117.
  • the sample and hold circuit SH samples and holds the pixel signal output from the amplification transistor 125. At this time, the sample and hold circuit SH can sample and hold the pixel signal based on the global shutter operation.
  • the sample and hold capacitor C1 samples and holds the P-phase level (also called the reset level) output from the amplification transistor 125.
  • the sample and hold capacitor C2 samples and holds the D-phase level (also called the signal level) output from the amplification transistor 125.
  • the sample and hold transistor ST1 sets the sampling timing of the P-phase level output from the amplification transistor 125.
  • the sample and hold transistor ST2 sets the sampling timing of the D-phase level output from the amplification transistor 125.
  • Current source 130 forms a source follower with amplifier transistor 125.
  • Current source 134 forms a source follower with amplifier transistor 127.
  • Decision value read transistor 129 sets the read timing of the decision result VCO latched in latch circuit 132.
  • the comparator 131 determines the read level V1 of the pixel signal output from the amplification transistor 125 within the pixel PIX. At this time, the comparator 131 compares the read level V1 of the pixel signal with the reference voltage VRF. If the read level V1 of the pixel signal is less than the reference voltage VRF, the comparator 131 can determine that the illuminance of the incident light entering the pixel PIX is high. If the illuminance of the incident light entering the pixel PIX is high, the comparator 131 can set the determination result VCO of the read level of the pixel signal to a high level.
  • the comparator 131 can determine that the illuminance of the incident light entering the pixel PIX is low. If the illuminance of the incident light entering the pixel PIX is low, the comparator 131 can set the determination result VCO of the read level of the pixel signal to a low level. In this case, the comparator 131 may be disconnected from the sample-and-hold circuit SH when determining the readout level V1 of the pixel signal. Note that the comparator 131 is an example of a determination circuit described in the claims.
  • the latch circuit 132 latches the determination result VCO of the read level V1 of the pixel signal output from the amplification transistor 125.
  • the comparator 131 and the latch circuit 132 are activated based on the activation signal CM.
  • Selector 133 switches the read level V1 of the pixel signal output from amplification transistor 125. At this time, selector 133 can switch between the determination result VCO of the pixel signal read level V1 and switch signal FDGi based on switch signal FEL. Switch signal FDGi can be set to a high level when resetting floating diffusion FD1, turning on switch transistor 124. As a result, by turning on reset transistor 123 when resetting floating diffusion FD1, floating diffusion FD1 can be connected to power supply potential VDD via reset transistor 123 and switch transistor 124. Note that selector 133 is an example of a switching circuit as defined in the claims.
  • the transfer transistor 122 is connected between the cathode of the photodiode PD and the floating diffusion FD1.
  • the reset transistor 123 is connected between the power supply potential VDD and the switching transistor 124.
  • the switching transistor 124 is connected between the reset transistor 123 and the floating diffusion FD1.
  • a capacitance C0 is connected between the connection point of the reset transistor 123 and the switching transistor 124 and the power supply potential VDD.
  • the capacitance C0 can be used to set the conversion efficiency of the amplification transistor 125.
  • the amplification transistor 127 and the selection transistor 128 are connected in series.
  • the drain of the amplification transistor 127 is connected to the power supply potential VDD.
  • the gate of the amplification transistor 127 is connected to the floating diffusion FD2.
  • the source of the selection transistor 128 is connected to the vertical signal line 117.
  • the reset transistor 126 is connected between the floating diffusion FD2 and the power supply potential VDD.
  • the sample and hold circuit SH is connected between the source of the amplification transistor 125 and the floating diffusion FD2.
  • the judgment value read transistor 129 is connected between the output of the latch circuit 132 and the floating diffusion FD2.
  • the sample and hold capacitor C1 and the sample and hold transistor ST1 are connected in series.
  • the sample and hold capacitor C2 and the sample and hold transistor ST2 are connected in series. These series circuits are connected in parallel between the source of the amplification transistor 125 and the floating diffusion FD2.
  • a transfer signal TRG is applied to the gate of the transfer transistor 122.
  • a reset signal RST is applied to the gate of the reset transistor 123.
  • a switching signal FDG is applied to the gate of the switching transistor 124.
  • a reset signal RB is applied to the gate of the reset transistor 126.
  • a selection signal SEL is applied to the gate of the selection transistor 128.
  • a sample and hold signal SR is applied to the gate of the sample and hold transistor ST1.
  • a sample and hold signal SD is applied to the gate of the sample and hold transistor ST2.
  • a decision value readout signal SB is applied to the gate of the decision value readout transistor 129.
  • the transfer signal TRG, reset signals RST, RB, selection signal SEL, switching signal FDGi, and sample and hold signals SR, SD can be transmitted to the pixel PIX via the horizontal drive line 118 in Figure 2.
  • FIG. 4 is a flowchart showing the pixel signal readout process of the solid-state imaging device according to the first embodiment.
  • step S101 the reset transistor 123 and the switching transistor 124 are turned on, and the floating diffusion FD1 is reset.
  • the sample-and-hold transistor ST1 is turned on, and the P-phase level output from the amplification transistor 125 is sampled by the sample-and-hold capacitor C1 (step S102).
  • the transfer transistor 122 is turned on, and the charge accumulated in the photodiode PD is transferred to the floating diffusion FD1 (step S103).
  • the comparator 131 determines the illuminance based on the readout level V1 of the pixel signal output from the amplification transistor 125 (step S104).
  • the illuminance determination can be performed with the switching transistor 124 turned off and high conversion efficiency maintained. If the illuminance is high, the switching transistor 124 is turned on to switch to low conversion efficiency (step S105). Then, the sample-and-hold transistor ST2 is turned on, and the D-phase level output from the amplification transistor 125 at low conversion efficiency is sampled by the sample-and-hold capacitor C2 (step S106).
  • the switching transistor 124 is turned off to maintain high conversion efficiency. Then, the sample-and-hold transistor ST2 is turned on, and the D-phase level output from the amplification transistor 125 at high conversion efficiency is sampled by the sample-and-hold capacitor C2 (step S106).
  • Figure 5 is a diagram showing the relationship between the readout level of pixel signals and the amount of light in the solid-state imaging device according to the first embodiment.
  • a shows the relationship between sensor output and amount of light
  • b shows the relationship between HDR (High Dynamic Range) image synthesis output and amount of light
  • c shows the relationship between SNR and amount of light.
  • the sensor output represents the digital output obtained by AD converting the pixel signal read from pixel PIX in the column signal processing unit.
  • the comparator 131 compares the HCG (High Conversion Gain) output with a decision threshold STH.
  • the decision threshold STH can be set based on a reference voltage VRF.
  • the selector 133 switches to the LCG (Low Conversion Gain) output.
  • the decision threshold STH can be set lower than the saturation level SAL.
  • the HCG output is used when the signal is below the decision threshold STH
  • the LCG output is used when the signal is above the decision threshold STH.
  • the HCG output is used when the signal is below the decision threshold STH
  • the LCG output is used when the signal is above the decision threshold STH
  • the HCG output and LCG output are combined. This makes it possible to improve the dynamic range while suppressing a decrease in SNR.
  • FIG. 6 is a timing chart showing an example of an operating period assigned to one frame of the solid-state imaging device according to the first embodiment.
  • one frame is allocated a global shutter period GS and a readout period RD.
  • a global shutter operation is performed simultaneously for all pixels PIX arranged in the pixel array section 111.
  • P-phase sampling, illuminance determination, and D-phase sampling are performed simultaneously for each pixel PIX arranged in the pixel array section 111.
  • D-phase sampling based on the illuminance determination result for each pixel PIX, only one of the HCG output and LCG output is D-phase sampled individually for each pixel PIX.
  • the readout period RD P-phase readout and D-phase readout are performed for each row of the pixels PIX arranged in the pixel array section 111.
  • P-phase readout and D-phase readout only one of the HCG output and LCG output corresponding to the illuminance determination result for each pixel PIX needs to be read out from each pixel PIX, and there is no need to read out both the HCG output and the LCG output from each pixel PIX, so the readout period RD can be shortened.
  • the readout period RD with conversion efficiency switching can be made equal to the readout period RD without conversion efficiency switching.
  • the readout period RD with conversion efficiency switching is twice the readout period RD without conversion efficiency switching.
  • Figure 7 is a timing chart showing an example of waveforms at various parts during low illuminance in global shutter operation of the first circuit configuration example of the pixel according to the first embodiment.
  • this global shutter operation includes a PD reset period P11, an exposure period P12, an FD reset period P13, a P-phase sampling period P14, a charge transfer period P15, an illuminance determination period P16, a conversion efficiency switching period P17, and a D-phase sampling period P18.
  • the reset signal RB, sample and hold signals SR and SD, active signal CM, and switching signal FEL are set to low levels.
  • the reset transistor 126 and sample and hold transistors ST1 and ST2 are turned off, the comparator 131 and latch circuit 132 are deactivated, and the switching signal FDGi is selected by the selector 133.
  • the transfer signal TRG, reset signal RST, and switching signal FDG rise, turning on the transfer transistor 122, reset transistor 123, and switching transistor 124.
  • the conversion efficiency of the amplification transistor 125 is set to low conversion efficiency, and the charges in the photodiode PD and floating diffusion FD1 are reset.
  • the transfer signal TRG, reset signal RST, and switching signal FDG fall, turning off the transfer transistor 122, reset transistor 123, and switching transistor 124.
  • the conversion efficiency of the amplification transistor 125 is set to high conversion efficiency, and charge is accumulated in the photodiode PD according to the amount of incident light.
  • the reset signal RST and the switching signal FDG rise, turning on the reset transistor 123 and the switching transistor 124. At this time, the conversion efficiency of the amplification transistor 125 is set to low, and the charge in the floating diffusion FD1 is reset.
  • the reset signal RB and sample-and-hold signal SR rise, turning on the reset transistor 126 and sample-and-hold transistor ST1. At this time, a charge corresponding to the P-phase level output from the amplification transistor 125 is held in the sample-and-hold capacitor C1.
  • the transfer signal TRG rises and the transfer transistor 122 is turned on. At this time, the charge accumulated in the photodiode PD is transferred to the floating diffusion FD1. A voltage corresponding to the charge transferred to the floating diffusion FD1 is then applied to the gate of the amplification transistor 125. Then, based on the source follower operation between the amplification transistor 125 and the current source 130, a read level V1 corresponding to the voltage applied to the gate of the amplification transistor 125 is input to the comparator 131.
  • the active signal CM rises, activating the comparator 131 and latch circuit 132.
  • the comparator 131 compares the read level V1 of the pixel signal with the reference voltage VRF, and the determination result VCO of the read level V1 is latched in the latch circuit 132.
  • the read level V1 of the pixel signal is equal to or greater than the reference voltage VRF, and the determination result VCO is set to a low level.
  • the switching signal FEL rises.
  • the selector 133 selects the determination result VCO latched in the latch circuit 132 as the switching signal FDG and applies it to the gate of the switching transistor 124.
  • the determination result VCO is set to a low level.
  • the switching signal FDG remains at a low level, and the switching transistor 124 is turned off. Therefore, the conversion efficiency of the amplification transistor 125 is set to high conversion efficiency, and the pixel signal readout level V1 is set to the HCG output.
  • the reset signal RB and sample-and-hold signal SD rise, turning on the reset transistor 126 and sample-and-hold transistor ST2.
  • a charge corresponding to the high-conversion-efficiency D-phase level (HCG output) output from the amplification transistor 125 is held in the sample-and-hold capacitor C2.
  • Figure 8 is a timing chart showing an example of waveforms at various parts during high illuminance in global shutter operation of the first circuit configuration example of the pixel according to the first embodiment.
  • the operation of the PD reset period P11, exposure period P12, FD reset period P13, P-phase sampling period P14, and charge transfer period P15 during high illumination is the same as the operation during low illumination.
  • the active signal CM rises, activating the comparator 131 and latch circuit 132.
  • the comparator 131 compares the read level V1 of the pixel signal with the reference voltage VRF, and the determination result VCO of the read level V1 is latched in the latch circuit 132.
  • the read level V1 of the pixel signal is less than the reference voltage VRF, and the determination result VCO is set to a high level.
  • the switching signal FEL rises.
  • the selector 133 selects the determination result VCO latched in the latch circuit 132 as the switching signal FDG and applies it to the gate of the switching transistor 124.
  • the determination result VCO is set to a high level.
  • the switching signal FDG rises and the switching transistor 124 is turned on. Therefore, the conversion efficiency of the amplification transistor 125 is set to a low conversion efficiency, and the pixel signal readout level V1 is set to the LCG output.
  • the reset signal RB and sample-and-hold signal SD rise, turning on the reset transistor 126 and sample-and-hold transistor ST2.
  • a charge corresponding to the low-conversion-efficiency D-phase level (LCG output) output from the amplification transistor 125 is held in the sample-and-hold capacitor C2.
  • Figure 9 is a timing chart showing an example of waveforms at various parts during a readout operation of the first circuit configuration example of the pixel according to the first embodiment.
  • this read operation includes a P-phase read period P21, a D-phase read period P22, and a judgment result read period P23.
  • the reset signal RST, switching signal FDG, and selection signal SEL are set to a high level.
  • the reset transistor 123, switching transistor 124, and selection transistor 128 are turned on.
  • the sample and hold signal SD, reset signal RB, judgment value read signal SB, and switching signal FEL are set to a low level.
  • the sample and hold transistor ST2, reset transistor 126, and judgment value read transistor 129 are turned off, and the switching signal FDGi is selected by the selector 133.
  • the sample and hold signal SR rises, and the sample and hold transistor ST1 is turned on. At this time, the charge held in the sample and hold capacitance C1 is transferred to the floating diffusion FD2.
  • a voltage corresponding to the charge transferred to the floating diffusion FD2 is applied to the gate of the amplification transistor 127. Then, based on the source follower operation between the amplifier transistor 127 and the current source 134, the potential VSL of the vertical signal line 117 is set according to the P-phase level applied to the gate of the amplifier transistor 127, and input to the ADC 135. After that, the sample and hold signal SR falls, and the sample and hold transistor ST1 is turned off.
  • the reset signal RB rises, turning on the reset transistor 126. At this time, the floating diffusion FD2 is reset. After that, the set signal RB falls, turning off the reset transistor 126.
  • the sample and hold signal SD rises, turning on the sample and hold transistor ST2.
  • the charge held in the sample and hold capacitor C2 is transferred to the floating diffusion FD2.
  • a voltage corresponding to the charge transferred to the floating diffusion FD2 is then applied to the gate of the amplifier transistor 127.
  • the potential VSL of the vertical signal line 117 is set according to the D-phase level applied to the gate of the amplifier transistor 127, and input to the ADC 135.
  • the sample and hold signal SD falls, turning off the sample and hold transistor ST2.
  • the judgment value read signal SB rises, and the judgment value read transistor 129 is turned on. At this time, charge corresponding to the judgment result VCO is transferred to the floating diffusion FD2. A voltage corresponding to the charge transferred to the floating diffusion FD2 is then applied to the gate of the amplification transistor 127. Then, based on the source follower operation between the amplification transistor 127 and the current source 134, the potential VSL of the vertical signal line 117 is set according to the judgment voltage applied to the gate of the amplification transistor 127, and input to the ADC 135. Thereafter, the judgment value read signal SB falls, and the judgment value read transistor 129 is turned off.
  • the reset signal RST, switching signal FDG, and selection signal SEL fall, turning off the reset transistor 123, switching transistor 124, and selection transistor 128.
  • FIG. 10 is a diagram showing a first example circuit configuration of a comparator according to the first embodiment.
  • comparator 131 can compare the pixel signal read level V1 with reference voltage VRF based on the differential input. At this time, comparator 131 outputs a voltage corresponding to the difference between the pixel signal read level V1 and reference voltage VRF.
  • Comparator 131 includes PMOS transistors 141, 142, and 145, NMOS transistors 143 and 144, and current sources 146 and 147.
  • PMOS transistor 141 and NMOS transistor 143 are connected in series.
  • PMOS transistor 142 and NMOS transistor 144 are connected in series.
  • the source of each PMOS transistor 141, 142 is connected to the power supply potential VDD, and the gate of each PMOS transistor 141, 142 is connected to the drain of PMOS transistor 141.
  • PMOS transistors 141, 142 can form a current mirror.
  • the pixel signal read level V1 is input to the gate of NMOS transistor 143.
  • the reference voltage VRF is input to the gate of NMOS transistor 144.
  • the sources of NMOS transistors 143 and 144 are connected to the ground potential via current source 146.
  • the drain of NMOS transistor 144 is connected to the gate of PMOS transistor 145.
  • the source of PMOS transistor 145 is connected to the power supply potential VDD.
  • the drain of PMOS transistor 145 is connected to the ground potential via current source 147.
  • the latch circuit 132 includes an NMOS transistor 151 and a capacitor 152.
  • the drain of the NMOS transistor 151 is connected to the drain of the PMOS transistor 145.
  • the capacitor 152 is connected between the source of the NMOS transistor 151 and the ground potential.
  • FIG. 11 is a diagram showing a second example circuit configuration of a comparator according to the first embodiment.
  • comparator 131A can compare the read level V1 of the pixel signal with a reference voltage VRF based on a single-ended input. At this time, comparator 131A can invert its output based on the difference between the read level V1 of the pixel signal and the reference voltage VRF.
  • Comparator 131A includes a PMOS transistor 161, an NMOS transistor 162, and a current source 163.
  • PMOS transistor 161 is connected between amplifying transistor 125 and current source 130. At this time, a pixel signal read level V1 is applied to the source of PMOS transistor 161. A reference voltage VRF is applied to the gate of PMOS transistor 161. A voltage V2 is output from the drain of PMOS transistor 161.
  • NMOS transistor 162 and current source 163 are connected in series.
  • the gate of NMOS transistor 162 is connected to the drain of PMOS transistor 161.
  • drain voltage V2 is applied to the gate of NMOS transistor 162.
  • the drain of NMOS transistor 162 is connected to the drain of NMOS transistor 151. Drain voltage V3 is output from the drain of NMOS transistor 162.
  • Figure 12 shows the relationship between the voltage at each part and the amount of light in a second example circuit configuration of the comparator according to the first embodiment.
  • the pixel signal read level V1 is set based on the HCG output from the amplification transistor 125.
  • the pixel signal read level V1 is set to the reset level RL.
  • Vth is the threshold voltage of the PMOS transistor 161.
  • the drain voltage V2 of the PMOS transistor 161 also decreases.
  • the drain voltage V3 of the NMOS transistor 162 is set to a low level.
  • the drain voltage V2 of PMOS transistor 161 becomes approximately 0, as shown in FIG. 1B.
  • the drain voltage V3 of NMOS transistor 162 is inverted to high level, as shown in FIG. 1C.
  • Figure 13 is a diagram showing an example of the circuit configuration after the comparator in the first embodiment.
  • a selector 133 is connected to the subsequent stage of the comparator 131A shown in Figure 11 via a latch circuit 132.
  • the selector 133 includes NMOS transistors 171 and 172.
  • the NMOS transistors 171 and 172 are connected in series to each other.
  • the connection point of the NMOS transistors 171 and 172 is connected to the gate of the switching transistor 124.
  • the determination result VCO of the pixel signal readout level V1 is applied to the drain of the NMOS transistor 171.
  • the switching signal FDGi is applied to the source of the NMOS transistor 172.
  • the switching signal FEL is applied to the gate of the NMOS transistor 171.
  • the switching signal FELB is an inverted signal of the switching signal FEL.
  • the selector 133 selects the determination result VCO of the pixel signal readout level V1 as the switching signal FDG, and when the switching signal FEL is at a low level, the selector 133 can select the switching signal FDGi as the switching signal FDG.
  • FIG. 14 is a diagram showing a second example circuit configuration of a pixel provided in a solid-state imaging device according to the first embodiment.
  • pixel PIXA has a sample and hold circuit SHA instead of the sample and hold circuit SH of FIG. 3.
  • the rest of the configuration of pixel PIXA is the same as the configuration of pixel PIX of FIG. 3.
  • the sample and hold circuit SHA has sample and hold capacitors C1A and C2A and sample and hold transistors ST1A and ST2A.
  • the sample and hold capacitor C1A samples and holds the D-phase level output from the amplifier transistor 125.
  • the sample and hold capacitor C2A samples and holds the P-phase level output from the amplifier transistor 125.
  • the sample and hold transistor ST1A sets the transfer timing of the P-phase level output from the amplifier transistor 125 and the sampling timing of the D-phase level.
  • the sample and hold transistor ST2A sets the sampling timing of the P-phase level output from the amplifier transistor 125.
  • a sample and hold signal S1 is applied to the gate of sample and hold transistor ST1A.
  • a sample and hold signal S2 is applied to the gate of sample and hold transistor ST2A.
  • FIG. 15 is a timing chart showing an example of the waveforms of each part during global shutter operation in the second circuit configuration example of the pixel according to the first embodiment. Note that this figure shows an example of the waveforms of each part during high illuminance during global shutter operation.
  • the waveforms of sample-and-hold signals S1 and S2 during low illuminance during global shutter operation are the same as the waveforms of sample-and-hold signals S1 and S2 during high illuminance during global shutter operation.
  • this global shutter operation includes a PD reset period P11A, a P-phase sampling period P12A, a charge transfer period P13A, an illuminance determination period P14A, a conversion efficiency switching period P15A, and a D-phase sampling period P16A. Note that the exposure period is omitted from the figure.
  • the transfer signal TRG, sample and hold signals S1 and S2, active signal CM, and switching signal FEL are set to low levels.
  • the transfer transistor 122 and sample and hold transistors ST1 and ST2 are turned off, the comparator 131 and latch circuit 132 are deactivated, and the switching signal FDGi is selected by the selector 133.
  • the reset signal RST and switching signal FDG rise, turning on the reset transistor 123 and switching transistor 124.
  • the conversion efficiency of the amplification transistor 125 is set to low conversion efficiency, and the charge in the floating diffusion FD1 is reset.
  • the reset signal RST and the switching signal FDG fall, turning off the reset transistor 123 and the switching transistor 124.
  • the conversion efficiency of the amplification transistor 125 is set to high conversion efficiency.
  • the sample and hold signals S1 and S2 rise, turning on the sample and hold transistors ST1A and ST2A.
  • a charge corresponding to the P-phase level output from the amplification transistor 125 is held in the sample and hold capacitor C2A.
  • the transfer signal TRG rises and the transfer transistor 122 is turned on. At this time, the charge accumulated in the photodiode PD is transferred to the floating diffusion FD1. A voltage corresponding to the charge transferred to the floating diffusion FD1 is then applied to the gate of the amplification transistor 125. Then, based on the source follower operation between the amplification transistor 125 and the current source 130, a read level V1 corresponding to the voltage applied to the gate of the amplification transistor 125 is input to the comparator 131.
  • the active signal CM rises, activating the comparator 131 and latch circuit 132.
  • the comparator 131 compares the read level V1 of the pixel signal with the reference voltage VRF, and the determination result VCO of the read level V1 is latched in the latch circuit 132.
  • the read level V1 of the pixel signal becomes equal to or greater than the reference voltage VRF, and the determination result VCO is set to a high level.
  • the switching signal FEL rises.
  • the selector 133 selects the determination result VCO latched in the latch circuit 132 as the switching signal FDG and applies it to the gate of the switching transistor 124.
  • the determination result VCO is set to a high level.
  • the switching signal FDG rises and the switching transistor 124 is turned on. Therefore, the conversion efficiency of the amplification transistor 125 is set to a low conversion efficiency, and the pixel signal readout level V1 is set to the LCG output.
  • the sample and hold signal S1 rises and the sample and hold transistor ST1A is turned on. At this time, a charge corresponding to the low-conversion-efficiency D-phase level output from the amplifier transistor 125 is held in the sample and hold capacitor C1A.
  • FIG. 16 is a diagram showing a third example circuit configuration of a pixel provided in a solid-state imaging device according to the first embodiment.
  • pixel PIXB has a sample and hold circuit SHB instead of the sample and hold circuit SH of FIG. 3.
  • the rest of the configuration of pixel PIXB is the same as the configuration of pixel PIX of FIG. 3.
  • the sample and hold circuit SHB has sample and hold capacitors C1B and C2B and sample and hold transistors ST1B, ST2B, and ST3.
  • the sample and hold capacitor C1B samples and holds the P-phase level output from the amplifier transistor 125.
  • the sample and hold capacitor C2B samples and holds the D-phase level output from the amplifier transistor 125.
  • the sample and hold transistor ST1B sets the sampling timing of the P-phase level output from the amplifier transistor 125.
  • the sample and hold transistor ST2B sets the sampling timing of the D-phase level output from the amplifier transistor 125.
  • the sample and hold transistor ST3 switches the connection between the sample and hold circuit SHB and the amplifier transistor 125.
  • a sample and hold signal S1 is applied to the gate of sample and hold transistor ST1B.
  • a sample and hold signal S2 is applied to the gate of sample and hold transistor ST2B.
  • a sample and hold signal SPH is applied to sample and hold transistor ST3.
  • FIG. 17 is a timing chart showing an example of waveforms at each part during global shutter operation in the third circuit configuration example of the pixel according to the first embodiment. Note that this figure shows an example of waveforms at each part during global shutter operation under high illuminance conditions.
  • this global shutter operation includes a PD reset period P11B, a P-phase sampling period P12B, a charge transfer period P13B, an illuminance determination period P14B, a conversion efficiency switching period P15B, and a D-phase sampling period P16B. Note that the exposure period is omitted from the illustration.
  • the transfer signal TRG, sample and hold signals S1, S2, SPH, active signal CM, and switching signal FEL are set to low level.
  • the transfer transistor 122 and sample and hold transistors ST1B, ST2B, and ST3 are turned off, the comparator 131 and latch circuit 132 are deactivated, and the switching signal FDGi is selected by the selector 133.
  • the reset signal RST and switching signal FDG rise, turning on the reset transistor 123 and switching transistor 124.
  • the conversion efficiency of the amplification transistor 125 is set to low conversion efficiency, and the charge in the floating diffusion FD1 is reset.
  • the reset signal RST and the switching signal FDG fall, turning off the reset transistor 123 and the switching transistor 124.
  • the conversion efficiency of the amplification transistor 125 is set to high conversion efficiency.
  • the sample and hold signals S1 and SPH rise, turning on the sample and hold transistors ST1B and ST3.
  • a charge corresponding to the P-phase level output from the amplification transistor 125 is held in the sample and hold capacitor C2B.
  • the transfer signal TRG rises and the transfer transistor 122 is turned on. At this time, the charge accumulated in the photodiode PD is transferred to the floating diffusion FD1. A voltage corresponding to the charge transferred to the floating diffusion FD1 is then applied to the gate of the amplification transistor 125. Then, based on the source follower operation between the amplification transistor 125 and the current source 130, a read level V1 corresponding to the voltage applied to the gate of the amplification transistor 125 is input to the comparator 131.
  • the active signal CM rises, activating the comparator 131 and latch circuit 132.
  • the comparator 131 compares the read level V1 of the pixel signal with the reference voltage VRF, and the determination result VCO of the read level V1 is latched in the latch circuit 132.
  • the read level V1 of the pixel signal becomes equal to or greater than the reference voltage VRF, and the determination result VCO is set to a high level.
  • the switching signal FEL rises.
  • the selector 133 selects the determination result VCO latched in the latch circuit 132 as the switching signal FDG and applies it to the gate of the switching transistor 124.
  • the determination result VCO is set to a high level.
  • the switching signal FDG rises and the switching transistor 124 is turned on. Therefore, the conversion efficiency of the amplification transistor 125 is set to a low conversion efficiency, and the pixel signal readout level V1 is set to the LCG output.
  • the sample and hold signals S2 and SPH rise, turning on the sample and hold transistors ST1B and ST3A.
  • the charge corresponding to the low-conversion-efficiency D-phase level output from the amplifier transistor 125 is held in the sample and hold capacitor C1B.
  • FIG. 18 is a diagram showing a fourth example circuit configuration of a pixel provided in a solid-state imaging device according to the first embodiment.
  • pixel PIXC has a sample and hold circuit SHC instead of the sample and hold circuit SH of FIG. 3.
  • the rest of the configuration of pixel PIXC is the same as the configuration of pixel PIX of FIG. 3.
  • the sample and hold circuit SHC has sample and hold capacitors C1C and C2C and sample and hold transistors ST1C and ST2C.
  • the sample and hold capacitor C1C samples and holds the D-phase level output from the amplifier transistor 125.
  • the sample and hold capacitor C2C samples and holds the P-phase level output from the amplifier transistor 125.
  • the sample and hold transistor ST1C sets the transfer timing of the P-phase level output from the amplifier transistor 125 and the sampling timing of the D-phase level.
  • the sample and hold transistor ST2C sets the sampling timing of the P-phase level output from the amplifier transistor 125.
  • a sample and hold signal S1 is applied to the gate of sample and hold transistor ST1C.
  • a sample and hold signal S2 is applied to the gate of sample and hold transistor ST2C.
  • waveforms of the sample and hold signals S1 and S2 during the global shutter operation of pixel PIXC in Figure 18 are similar to the waveforms of the sample and hold signals S1 and S2 during the global shutter operation of pixel PIXA in Figure 14.
  • the pixel PIX is provided with a comparator 131 that determines the readout level V1 of a pixel signal that can be sampled and held based on the global shutter operation, and a selector 133 that switches the readout level V1 of the pixel signal.
  • a comparator 131 that determines the readout level V1 of a pixel signal that can be sampled and held based on the global shutter operation
  • a selector 133 that switches the readout level V1 of the pixel signal.
  • the read level V1 is switched based on the determination result of the read level V1 determined within the pixel PIX, and the determination result VCO is read out via the vertical signal line 117.
  • the read level V1 is switched based on the determination result of the read level V1 determined within the pixel PIX, and a read line is provided for outputting the determination result VCO from the pixel.
  • FIG. 19 is a diagram showing an example of the circuit configuration of a pixel provided in a solid-state imaging device according to the second embodiment.
  • this solid-state imaging device has pixel PIX2 instead of pixel PIX in FIG. 3. Furthermore, this solid-state imaging device has a readout line 119 added to the solid-state imaging device of the first embodiment described above. The rest of the configuration of this solid-state imaging device is the same as the configuration of the solid-state imaging device of the first embodiment described above.
  • Pixel PIX2 has a judgment value readout transistor 229 instead of the judgment value readout transistor 129 in FIG. 3.
  • the configuration of pixel PIX2 is the same as the configuration of pixel PIX in FIG. 3.
  • the decision value read transistor 229 sets the read timing of the decision result VCO latched in the latch circuit 132.
  • the decision value read transistor 229 is connected between the output of the latch circuit 132 and the read line 119.
  • a selection signal SEL is applied to the gate of the decision value read transistor 229.
  • a readout line 119 is provided for each column.
  • the readout line 119 may be connected in parallel to the vertical signal line 117.
  • the readout line 119 transmits the determination result VCO in the column direction.
  • the determination result VCO may be read out from the readout line 119 via a buffer 136.
  • Figure 20 is a timing chart showing an example of waveforms at various parts during a pixel readout operation in the second embodiment.
  • this timing chart has a judgment result readout period P31 instead of the judgment result readout period P23 of the first embodiment described above. Also, in this timing chart, the judgment result readout period P23 of the first embodiment described above has been eliminated.
  • the other waveforms in this timing chart are the same as the waveforms in the timing chart of the first embodiment described above.
  • the judgment result readout period P31 can be set to overlap with the P-phase readout period P21 and the D-phase readout period P22.
  • the selection signal SEL rises, turning on the judgment value read transistor 229. At this time, a voltage corresponding to the judgment result VCO is applied to the read line 119 and read out via the buffer 136. After that, the selection signal SEL falls, turning off the judgment value read transistor 229.
  • the read level V1 is switched based on the result of the determination of the read level V1 determined within pixel PIX2, and a read line 119 is provided to output the determination result VCO from pixel PIX2.
  • a read line 119 is provided to output the determination result VCO from pixel PIX2.
  • sample and hold circuit SH of FIG. 3 is provided in pixel PIX2.
  • sample and hold circuit SHA of FIG. 14 the sample and hold circuit SHB of FIG. 16, or the sample and hold circuit SHC of FIG. 18 may be provided.
  • the read level V1 is switched based on the determination result of the read level V1 determined in the pixel PIX capable of the global shutter operation.
  • the read level V1 is switched based on the determination result of the read level V1 determined in the pixel PIX capable of the rolling shutter operation.
  • FIG. 21 is a diagram showing an example of the circuit configuration of a pixel provided in a solid-state imaging device according to the third embodiment.
  • pixel PIX3 has the sample-and-hold circuit SH, reset transistor 126, amplification transistor 127, and floating diffusion FD2 of FIG. 19 removed from pixel PIX2. Furthermore, pixel PIX3 has a decoupling transistor 301 added to pixel PIX2 of FIG. 19. Furthermore, in pixel PIX3, a decision value read signal SB is applied to the gate of decision value read transistor 229 instead of selection signal SEL. The rest of the configuration of pixel PIX3 is the same as that of pixel PIX2 of the second embodiment described above. At this time, pixel PIX3 can switch the pixel signal read level V1 based on the decision result of the pixel signal read level V1, and then read out the pixel signal based on the rolling shutter operation.
  • the disconnection transistor 301 controls the disconnection of the amplifier transistor 125 and the comparator 131 based on the active signal CM. At this time, the amplifier transistor 125 can be disconnected from the comparator 131 via the disconnection transistor 301 when the pixel signal is read out. This makes it possible to determine the readout level V1 within the pixel PIX3, while reducing the load when the pixel signal is read out.
  • the disconnection transistor 301 is connected between the amplifier transistor 125 and the input of the readout level V1 of the comparator 131.
  • the connection point between the disconnection transistor 301 and the amplifier transistor 125 is connected to the vertical signal line 117 via the selection transistor 128.
  • FIG. 22 is a flowchart showing the pixel signal readout process of a solid-state imaging device according to the third embodiment.
  • step S301 the reset transistor 123 and the switching transistor 124 are turned on, and the floating diffusion FD1 is reset.
  • the selection transistor 128 is turned on, and a P-phase level corresponding to the charge of the floating diffusion FD1 is applied to the gate of the amplification transistor 125. Then, based on the source follower operation between the amplification transistor 125 and the current source 134, the potential VSL of the vertical signal line 117 is set according to the P-phase level applied to the gate of the amplification transistor 125, and input to the ADC 135. Then, the ADC 135 performs AD conversion on the P-phase level output from the amplification transistor 125 (step S302).
  • the selection transistor 128 is turned off, the transfer transistor 122 is turned on, and the charge accumulated in the photodiode PD is transferred to the floating diffusion FD1 (step S303).
  • the decoupling transistor 301 is turned on, and the read level V1 of the pixel signal output from the amplification transistor 125 is input to the comparator 131 via the decoupling transistor 301.
  • the comparator 131 determines the illuminance based on the read level V1 of the pixel signal output from the amplification transistor 125 (step S304).
  • the illuminance determination can be performed with the switching transistor 124 turned off and high conversion efficiency maintained. If the illuminance is high, the switching transistor 124 is turned on and switched to low conversion efficiency (step S305).
  • the selection transistor 128 is then turned on, and a P-phase level with low conversion efficiency corresponding to the charge in the floating diffusion FD1 is applied to the gate of the amplification transistor 125.
  • the potential VSL of the vertical signal line 117 is set according to the D-phase level with low conversion efficiency applied to the gate of the amplification transistor 125, and input to the ADC 135. Then, the ADC 135 performs AD conversion on the low-conversion-efficiency D-phase level output from the amplification transistor 125 (step S306). After that, the judgment value read transistor 129 is turned on, and the judgment result VCO is read out via the read line 119.
  • the switching transistor 124 is turned off, maintaining high conversion efficiency.
  • the selection transistor 128 is turned on, and a high-conversion-efficiency D-phase level corresponding to the charge in the floating diffusion FD1 is applied to the gate of the amplification transistor 125.
  • the potential VSL of the vertical signal line 117 is set according to the high-conversion-efficiency D-phase level applied to the gate of the amplification transistor 125, and input to the ADC 135.
  • the ADC 135 performs AD conversion on the high-conversion-efficiency D-phase level output from the amplification transistor 125 (step S306).
  • the judgment value readout transistor 129 is turned on, and the judgment result VCO is read out via the readout line 119.
  • Figure 23 is a timing chart showing an example of waveforms at various parts during low-illumination conditions during rolling shutter operation of a pixel according to the third embodiment.
  • this rolling shutter operation includes a PD reset period P31, a P-phase AD period P32, a charge transfer period P33, an illuminance determination period P34, a conversion efficiency switching period P35, and a D-phase AD/determination result transmission period P36. Note that the exposure period is omitted from the figure.
  • the transfer signal TRG, decision value readout signal SB, selection signal SEL, active signal CM, and switching signal FEL are set to low level.
  • the transfer transistor 122, decision value readout transistor 229, and selection transistor 128 are turned off, the comparator 131 and latch circuit 132 are deactivated, and the switching signal FDGi is selected by the selector 133.
  • the reset signal RST and switching signal FDG rise, turning on the reset transistor 123 and switching transistor 124.
  • the conversion efficiency of the amplification transistor 125 is set to low conversion efficiency, and the charge in the floating diffusion FD1 is reset.
  • the reset signal RST and the switching signal FDG fall, turning off the reset transistor 123 and the switching transistor 124.
  • the conversion efficiency of the amplification transistor 125 is set to high conversion efficiency.
  • the selection signal SEL rises, turning on the selection transistor 128A.
  • a P-phase level corresponding to the charge in the floating diffusion FD1 is applied to the gate of the amplification transistor 125.
  • the potential VSL of the vertical signal line 117 is set according to the P-phase level applied to the gate of the amplification transistor 125, and input to the ADC 135.
  • the P-phase level output from the amplification transistor 125 is AD converted.
  • the transfer signal TRG rises and the transfer transistor 122 is turned on. At this time, the charge accumulated in the photodiode PD is transferred to the floating diffusion FD1. A voltage corresponding to the charge transferred to the floating diffusion FD1 is then applied to the gate of the amplification transistor 125. Then, based on the source follower operation between the amplification transistor 125 and the current source 130, a read level V1 corresponding to the voltage applied to the gate of the amplification transistor 125 is input to the comparator 131.
  • the active signal CM rises, activating the comparator 131 and latch circuit 132.
  • the comparator 131 compares the read level V1 of the pixel signal with the reference voltage VRF, and the determination result VCO of the read level V1 is latched in the latch circuit 132.
  • the read level V1 of the pixel signal is equal to or greater than the reference voltage VRF, and the determination result VCO is set to a low level.
  • the switching signal FEL rises.
  • the selector 133 selects the determination result VCO latched in the latch circuit 132 as the switching signal FDG and applies it to the gate of the switching transistor 124.
  • the determination result VCO is set to a low level.
  • the switching signal FDG remains at a low level, and the switching transistor 124 is turned off. Therefore, the conversion efficiency of the amplification transistor 125 is set to high conversion efficiency, and the pixel signal readout level V1 is set to the HCG output.
  • the selection signal SEL and the determination value readout signal SB rise, turning on the selection transistor 128 and the determination value readout transistor 229.
  • a high-conversion-efficiency D-phase level corresponding to the charge in the floating diffusion FD1 is applied to the gate of the amplification transistor 125.
  • the potential VSL of the vertical signal line 117 is set according to the high-conversion-efficiency D-phase level applied to the gate of the amplification transistor 125, and input to the ADC 135.
  • the high-conversion-efficiency D-phase level output from the amplification transistor 125 is then AD-converted in the ADC 135. Furthermore, the determination result VCO indicating low illuminance is read out to the readout line 119 via the determination value readout transistor 129.
  • Figure 24 is a timing chart showing an example of waveforms at various parts during rolling shutter operation of a pixel according to the third embodiment under high illuminance conditions.
  • the operation of the PD reset period P31, P-phase AD period P32, charge transfer period P33, and illuminance determination period P34 during high illuminance is the same as the operation of the PD reset period P31, P-phase AD period P32, charge transfer period P33, and illuminance determination period P34 during low illuminance.
  • the pixel signal readout level V1 becomes less than the reference voltage VRF, and the determination result VCO is set to a high level.
  • the switching signal FEL rises.
  • the selector 133 selects the determination result VCO latched in the latch circuit 132 as the switching signal FDG and applies it to the gate of the switching transistor 124.
  • the determination result VCO is set to a high level.
  • the switching signal FDG rises and the switching transistor 124 is turned on. Therefore, the conversion efficiency of the amplification transistor 125 is set to low conversion efficiency, and the pixel signal readout level V1 is set to the LCG output.
  • the selection signal SEL and determination value read signal SB rise, turning on the selection transistor 128 and determination value read transistor 229.
  • a low-conversion-efficiency D-phase level corresponding to the charge in the floating diffusion FD1 is applied to the gate of the amplification transistor 125.
  • the potential VSL of the vertical signal line 117 is set according to the low-conversion-efficiency D-phase level applied to the gate of the amplification transistor 125, and input to the ADC 135.
  • the ADC 135 then performs AD conversion on the low-conversion-efficiency D-phase level output from the amplification transistor 125.
  • the determination result VCO which indicates high illuminance, is read out to the readout line 119 via the determination value readout transistor 129.
  • the readout level V1 is switched based on the result of the determination of the readout level V1 within the pixel PIX3 capable of rolling shutter operation. This makes it possible to read out the LCG output or HCG output from the pixel PIX3 according to the illuminance, without having to read out the pixel PIX3 for each LCG output and HCG output. Therefore, even in the pixel PIX3 capable of rolling shutter operation, it is possible to generate an HDR image while suppressing a decrease in frame rate.
  • the read level V1 is switched between two levels based on the determination result of the read level V1 determined in the pixel PIX capable of performing the global shutter operation. In this fourth embodiment, the read level V1 is switched between three levels based on the determination result of the read level V1 determined in the pixel PIX capable of performing the global shutter operation.
  • FIG. 25 is a diagram showing an example of the circuit configuration of a pixel provided in a solid-state imaging device according to the fourth embodiment.
  • pixel PIX4 has a pass transistor 401, an overflow control transistor 402, and a capacitor C4 added to the pixel PIX of FIG. 3. Also, pixel PIX4 has a judgment value readout transistor 429, a latch circuit 432, and a selector 433 added to the pixel PIX of FIG. 3. The rest of the configuration of pixel PIX4 is the same as the configuration of pixel PIX of the first embodiment described above.
  • Capacitor C4 accumulates charge that overflows from photodiode PD.
  • Capacitor C4 may be a lateral overflow integration capacitor (LOFIC).
  • Capacitor C4 may be light-shielded.
  • Capacitor C4 may be a metal-insulation-metal (MIM) capacitor.
  • Capacitor C4 may be a three-dimensional MIM capacitor.
  • Capacitor C4 may be a high-dielectric capacitor.
  • the pass transistor 401 establishes a path for transferring the charge stored in the capacitor C4 to the floating diffusion FD1.
  • the overflow control transistor 402 controls the overflow of charge from the photodiode PD to the capacitor C4.
  • the pass transistor 401 is connected between the connection point between the overflow control transistor 402 and the capacitor C4 and the connection point between the reset transistor 123 and the switching transistor 124.
  • the overflow control transistor 402 is connected between the photodiode PD and the capacitor C4.
  • a pass setting signal FCG is applied to the gate of pass transistor 401.
  • An overflow control voltage OFG is applied to the gate of overflow control transistor 402.
  • a control power supply voltage MVDD is applied to capacitor C4.
  • pulse-driving capacitor C4 based on the control power supply voltage MVDD the dark current of capacitor C4 can be reduced.
  • the judgment value read transistor 429 sets the read timing of the judgment result VCO1 latched in the latch circuit 432.
  • a judgment value read signal SB1 is applied to the gate of the judgment value read transistor 429.
  • the judgment value read transistor 129 sets the read timing of the judgment result VCO0 latched in the latch circuit 132.
  • a judgment value read signal SB0 is applied to the gate of the judgment value read transistor 129.
  • Latch circuit 432 latches the determination result VCO1 of the read level V1 of the pixel signal output from amplifier transistor 125. Latch circuit 432 is activated based on active signal CM1. Latch circuit 132 latches the determination result VCO0 of the read level V1 of the pixel signal output from amplifier transistor 125. Latch circuit 132 is activated based on active signal CM0.
  • Selector 433 switches the read level V1 of the pixel signal output from amplification transistor 125. At this time, selector 433 can switch between the determination result VCO1 of the pixel signal read level V1 and pass setting signal FCGi based on switching signal FEL1. Pass setting signal FCGi can be set to a high level when floating diffusion FD1 is reset, turning on pass transistor 401. As a result, by turning on reset transistor 123 when floating diffusion FD1 is reset, capacitor C4 can be connected to power supply potential VDD via reset transistor 123 and pass transistor 401. Selector 133 can switch between the determination result VCO0 of the pixel signal read level V1 and switching signal FDGi based on switching signal FEL0.
  • FIG. 26 is a flowchart showing the pixel signal readout process of a solid-state imaging device according to the fourth embodiment.
  • step S401 the reset transistor 123 and the switching transistor 124 are turned on, and the floating diffusion FD1 is reset.
  • the sample-and-hold transistor ST1 is turned on, and the P-phase level output from the amplification transistor 125 is sampled by the sample-and-hold capacitor C1 (step S402).
  • the transfer transistor 122 is turned on, and the charge accumulated in the photodiode PD is transferred to the floating diffusion FD1 (step S403).
  • the comparator 131 performs a first illuminance determination based on the readout level V1 of the pixel signal output from the amplification transistor 125 (step S404).
  • the first illuminance determination can be performed with the switching transistor 124 and pass transistor 401 turned off, maintaining high conversion efficiency. If the first illuminance determination shows that the illuminance is high, the switching transistor 124 is turned on to switch to medium conversion efficiency (step S405), and a second illuminance determination is performed (step S406).
  • a second illuminance determination is performed (step S406).
  • the second illuminance determination can be performed with the switching transistor 124 on and the pass transistor 401 off, maintaining medium conversion efficiency. If the second illuminance determination indicates high illuminance, and the first illuminance determination indicates high illuminance, the switching transistor 124 and pass transistor 401 are turned on, switching to low conversion efficiency (step S407). Then, the sample-and-hold transistor ST2 is turned on, and the D-phase level output from the amplification transistor 125 at low conversion efficiency is sampled by the sample-and-hold capacitor C2 (step S408).
  • the switching transistor 124 and pass transistor 401 are turned off and the conversion efficiency is switched to high. Then, the sample-and-hold transistor ST2 is turned on, and the D-phase level output from the amplification transistor 125 at high conversion efficiency is sampled by the sample-and-hold capacitor C2 (step S408).
  • the switching transistor 124 is turned on and the pass transistor 401 is turned off, maintaining medium conversion efficiency. Then, the sample-and-hold transistor ST2 is turned on, and the D-phase level output from the amplification transistor 125 at medium conversion efficiency is sampled by the sample-and-hold capacitor C2 (step S408).
  • Figure 27 is a timing chart showing an example of waveforms at various parts during low illuminance during global shutter operation of a pixel according to the fourth embodiment.
  • this global shutter operation includes a PD reset period P41, an exposure period P42, an FD reset period P43, a P-phase sampling period P44, a charge transfer period P45, illuminance determination periods P46 and P48, conversion efficiency switching periods P47 and P49, and a D-phase sampling period P50.
  • the reset signal RB, sample and hold signals SR and SD, active signals CM0 and CM1, and switching signals FEL0 and FEL1 are set to low levels.
  • the reset transistor 126 and sample and hold transistors ST1 and ST2 are turned off, the latch circuits 132 and 432 are deactivated, and the switching signal FDGi is selected by the selectors 133 and 433.
  • the overflow control voltage OFG is set to high level, and the overflow control transistor 402 is turned on.
  • the transfer signal TRG, reset signal RST, path setting signal FCG, and switching signal FDG rise, turning on the transfer transistor 122, reset transistor 123, path transistor 401, and switching transistor 124.
  • the conversion efficiency of the amplifier transistor 125 is set to low, and the charges in the photodiode PD, capacitor C4, and floating diffusion FD1 are reset.
  • transfer signal TRG, reset signal RST, pass setting signal FCG, overflow control voltage OFG, and switching signal FDG fall, turning off transfer transistor 122, reset transistor 123, pass transistor 401, overflow control transistor 402, and switching transistor 124.
  • the conversion efficiency of amplifier transistor 125 is set to high conversion efficiency, charge is accumulated in photodiode PD according to the amount of incident light, and charge overflowing from photodiode PD is accumulated in capacitor C4.
  • the reset signal RST and the switching signal FDG rise, turning on the reset transistor 123 and the switching transistor 124.
  • the conversion efficiency of the amplification transistor 125 is set to medium conversion efficiency, and the charge in the floating diffusion FD1 is reset.
  • the reset signal RB and sample-and-hold signal SR rise, turning on the reset transistor 126 and sample-and-hold transistor ST1. At this time, a charge corresponding to the P-phase level output from the amplification transistor 125 is held in the sample-and-hold capacitor C1.
  • the transfer signal TRG rises and the transfer transistor 122 is turned on. At this time, the charge accumulated in the photodiode PD is transferred to the floating diffusion FD1. A voltage corresponding to the charge transferred to the floating diffusion FD1 is then applied to the gate of the amplification transistor 125. Then, based on the source follower operation between the amplification transistor 125 and the current source 130, a read level V1 corresponding to the voltage applied to the gate of the amplification transistor 125 is input to the comparator 131.
  • the active signal CM0 rises, activating the comparator 131 and latch circuit 132.
  • the comparator 131 compares the pixel signal read level V1 with the reference voltage VRF, and the determination result VCO0 of the read level V1 is latched in the latch circuit 132.
  • the pixel signal read level V1 is less than the reference voltage VRF, and the determination result VCO0 is set to a low level.
  • the switching signal FEL0 rises.
  • the selector 133 selects the determination result VCO0 latched in the latch circuit 132 as the switching signal FDG and applies it to the gate of the switching transistor 124.
  • the determination result VCO0 is set to a low level.
  • the switching signal FDG remains at a low level, and the switching transistor 124 is turned off. Therefore, the conversion efficiency of the amplification transistor 125 is set to high conversion efficiency, and the pixel signal readout level V1 is set to the HCG output.
  • the active signal CM1 rises, activating the comparator 131 and latch circuit 432.
  • the comparator 131 compares the pixel signal read level V1 with the reference voltage VRF, and the determination result VCO1 of the read level V1 is latched in the latch circuit 432.
  • the pixel signal read level V1 is less than the reference voltage VRF, and the determination result VCO1 is set to a low level.
  • the switching signal FEL1 rises.
  • the selector 4133 selects the determination result VCO1 latched in the latch circuit 142 as the pass setting signal FCG and applies it to the gate of the pass transistor 401.
  • the determination result VCO1 is set to a low level.
  • the pass setting signal FCG remains low, and the pass transistor 401 is turned off. Therefore, the conversion efficiency of the amplifier transistor 125 is set to high conversion efficiency, and the pixel signal readout level V1 remains at the HCG output.
  • the reset signal RB and sample-and-hold signal SD rise, turning on the reset transistor 126 and sample-and-hold transistor ST2. At this time, a charge corresponding to the high-conversion-efficiency D-phase level output from the amplifier transistor 125 is held in the sample-and-hold capacitor C2.
  • Figure 28 is a timing chart showing an example of waveforms at various parts during medium illuminance during global shutter operation of a pixel according to the fourth embodiment.
  • the operation of the PD reset period P41, exposure period P42, FD reset period P43, P-phase sampling period P44, and charge transfer period P45 during medium illumination is the same as the operation of the PD reset period P41, exposure period P42, FD reset period P43, P-phase sampling period P44, and charge transfer period P45 during medium illumination during low illumination.
  • the active signal CM0 rises, activating the comparator 131 and latch circuit 132.
  • the comparator 131 compares the pixel signal read level V1 with the reference voltage VRF, and the determination result VCO0 of the read level V1 is latched in the latch circuit 132.
  • the pixel signal read level V1 is less than the reference voltage VRF, and the determination result VCO0 is set to high level.
  • the switching signal FEL0 rises.
  • the selector 133 selects the determination result VCO0 latched in the latch circuit 132 as the switching signal FDG and applies it to the gate of the switching transistor 124.
  • the determination result VCO0 is set to a high level.
  • the switching signal FDG rises and the switching transistor 124 is turned on. Therefore, the conversion efficiency of the amplification transistor 125 is set to medium conversion efficiency, and the readout level V1 of the pixel signal is set to the MCG (Middle Conversion Gain) output.
  • the active signal CM1 rises, activating the comparator 131 and latch circuit 432.
  • the comparator 131 compares the pixel signal read level V1 with the reference voltage VRF, and the determination result VCO1 of the read level V1 is latched in the latch circuit 432.
  • the pixel signal read level V1 is equal to or greater than the reference voltage VRF, and the determination result VCO1 is set to a low level.
  • the switching signal FEL1 rises.
  • the selector 4133 selects the determination result VCO1 latched in the latch circuit 142 as the pass setting signal FCG and applies it to the gate of the pass transistor 401.
  • the determination result VCO1 is set to a low level. Therefore, the pass setting signal FCG remains low, and the pass transistor 401 is turned off. Therefore, the conversion efficiency of the amplifier transistor 125 remains medium, and the pixel signal readout level V1 remains the MCG output.
  • the reset signal RB and sample-and-hold signal SD rise, turning on the reset transistor 126 and sample-and-hold transistor ST2.
  • the charge corresponding to the D-phase level with medium conversion efficiency output from the amplification transistor 125 is held in the sample-and-hold capacitor C2.
  • Figure 29 is a timing chart showing an example of waveforms at various parts during high illuminance during global shutter operation of a pixel according to the fourth embodiment.
  • the operation of the PD reset period P41, exposure period P42, FD reset period P43, P-phase sampling period P44, and charge transfer period P45 during high illuminance is the same as the operation of the PD reset period P41, exposure period P42, FD reset period P43, P-phase sampling period P44, and charge transfer period P45 during low illuminance.
  • the active signal CM0 rises, activating the comparator 131 and latch circuit 132.
  • the comparator 131 compares the pixel signal read level V1 with the reference voltage VRF, and the determination result VCO0 of the read level V1 is latched in the latch circuit 132.
  • the pixel signal read level V1 is less than the reference voltage VRF, and the determination result VCO0 is set to a high level.
  • the switching signal FEL0 rises.
  • the selector 133 selects the determination result VCO0 latched in the latch circuit 132 as the switching signal FDG and applies it to the gate of the switching transistor 124.
  • the determination result VCO0 is set to a high level.
  • the switching signal FDG rises and the switching transistor 124 is turned on. Therefore, the conversion efficiency of the amplification transistor 125 is set to medium conversion efficiency, and the pixel signal readout level V1 is set to the MCG output.
  • the active signal CM1 rises, activating the comparator 131 and latch circuit 432.
  • the comparator 131 compares the pixel signal read level V1 with the reference voltage VRF, and the determination result VCO1 of the read level V1 is latched in the latch circuit 432.
  • the pixel signal read level V1 is less than the reference voltage VRF, and the determination result VCO1 is set to a high level.
  • the switching signal FEL1 rises.
  • the selector 4133 selects the determination result VCO1 latched in the latch circuit 142 as the pass setting signal FCG and applies it to the gate of the pass transistor 401.
  • the determination result VCO1 is set to a high level. Therefore, the pass setting signal FCG is set to a high level and the pass transistor 401 is turned on. Therefore, the conversion efficiency of the amplifier transistor 125 is set to a low conversion efficiency, and the pixel signal readout level V1 is changed from the MCG output to the LCG output.
  • the reset signal RB and sample-and-hold signal SD rise, turning on the reset transistor 126 and the sample-and-hold transistor ST2. At this time, a charge corresponding to the low-conversion-efficiency D-phase level output from the amplifier transistor 125 is held in the sample-and-hold capacitor C2.
  • the readout level V1 is switched between three levels based on the result of the readout level V1 determination made within the pixel PIX4 capable of global shutter operation. This makes it possible to read out the LCG output, MCG output, or HCG output from pixel PIX4 according to the illuminance, without having to read out the LCG output, MCG output, and HCG output from pixel PIX4 separately. Therefore, even when the readout level V1 is switched between three levels, it is possible to generate an HDR image while suppressing a decrease in frame rate.
  • the pixel PIX is provided with the comparator 131 that determines the readout level V1 of a pixel signal that can be sampled and held based on the global shutter operation.
  • the reset transistor 126, the amplification transistor 127, and the selection transistor 128 used for the global shutter operation are shared by multiple pixels.
  • FIG. 30 is a diagram showing a first example circuit configuration of a pixel provided in a solid-state imaging device according to the fifth embodiment.
  • this solid-state imaging device has pixels PIX5A and PIX5B instead of pixel PIX in Figure 3.
  • the rest of the configuration of the first example of the solid-state imaging device of the fifth embodiment is the same as the configuration of the solid-state imaging device of the first embodiment described above.
  • Pixel PIX5A can be configured in the same way as pixel PIX in the first embodiment described above.
  • Pixel PIX5B is obtained by removing the reset transistor 126, amplification transistor 127, and selection transistor 128 used in the global shutter operation from pixel PIX in the first embodiment described above.
  • the drains of the sample and hold transistors ST1 and ST2 of pixel PIX5B are connected to the floating diffusion FD2 of pixel PIX5A.
  • the reset transistor 126, amplification transistor 127, and selection transistor 128 used in the global shutter operation are shared by pixels PIX5A and PIX5B.
  • FIG. 31 is a diagram showing a second example circuit configuration of a pixel provided in a solid-state imaging device according to the fifth embodiment.
  • this solid-state imaging device has pixels PIX5C and PIX5D instead of pixels PIX5A and PIX5B in Figure 30.
  • the rest of the configuration of the second example of the solid-state imaging device of the fifth embodiment is the same as the configuration of the solid-state imaging device of the first embodiment described above.
  • Pixel PIX5C has the same configuration as pixel PIX5A in Figure 30 except that switch SW1 is added. Pixel PIX5C is otherwise similar to the configuration of pixel PIX5A in Figure 30. Pixel PIX5D has the same configuration as pixel PIX5B in Figure 30 except that switch SW2 is added. Pixel PIX5D is otherwise similar to the configuration of pixel PIX5B in Figure 30.
  • Switch SW1 is connected between the source of amplifier transistor 125 of pixel PIX5C and the input of comparator 131.
  • Switch SW2 is connected between the source of amplifier transistor 125 of pixel PIX5D and the input of comparator 131.
  • pixel PIX5C turning on switch SW1 allows illuminance determination and conversion efficiency switching in pixel PIX5C.
  • switch SW2 in pixel PIX5D allows illuminance determination and conversion efficiency switching in pixel PIX5D.
  • the output of the comparator 131 is connected to the input of the latch circuit 132 of each pixel PIX5C and pixel PIX5D.
  • the comparator 131 used to determine illuminance are shared by pixels PIX5C and PIX5D.
  • pixel PIX5C by turning on switch SW1, it is possible to determine the illuminance and switch the conversion efficiency in pixel PIX5C.
  • pixel PIX5D by turning on switch SW2, it is possible to determine the illuminance and switch the conversion efficiency in pixel PIX5D.
  • FIG. 32 is a diagram showing a third example circuit configuration of a pixel provided in a solid-state imaging device according to the fifth embodiment.
  • this solid-state imaging device has pixels PIX5E and PIX5F instead of pixels PIX5C and PIX5D of FIG. 31.
  • the other configuration of the third example of the solid-state imaging device of the fifth embodiment is the same as the configuration of the solid-state imaging device of the first embodiment described above.
  • Pixel PIX5E has a switch SW3 instead of switch SW1 in FIG. 31.
  • Pixel PIX5E has the current source 130 removed from pixel PIX5C in FIG. 31.
  • the rest of the configuration of pixel PIX5E is the same as the configuration of pixel PIX5C in FIG. 31.
  • Pixel PIX5F has a switch SW4 instead of switch SW2 in FIG. 31.
  • the rest of the configuration of pixel PIX5F is the same as the configuration of pixel PIX5D in FIG. 31.
  • Switch SW3 is connected between the source of amplifier transistor 125 of pixel PIX5E and the inputs of sample and hold capacitors C1 and C2.
  • Switch SW4 is connected between the source of amplifier transistor 125 of pixel PIX5E and the inputs of sample and hold capacitors C1 and C2.
  • the inputs of sample and hold capacitors C1 and C2 of pixels PIX5C and PIX5D are connected to the input of comparator 131 and current source 130.
  • comparator 131 and current source 130 are shared by pixels PIX5E and PIX5F.
  • pixel PIX5E by turning on switch SW3, it is possible to determine the illuminance and switch the conversion efficiency in pixel PIX5E.
  • pixel PIX5F by turning on switch SW4, it is possible to determine the illuminance and switch the conversion efficiency in pixel PIX5F.
  • Figure 33 is a diagram showing a fourth example circuit configuration of a pixel provided in a solid-state imaging device according to the fifth embodiment.
  • this solid-state imaging device adds pixels PIX5G and PIX5H to the pixels PIX5A and PIX5B shown in Figure 30.
  • the rest of the configuration of the fourth example of the solid-state imaging device of the fifth embodiment is the same as the configuration of the solid-state imaging device of the first embodiment described above.
  • Pixels PIX5G and PIX5H can be configured in the same way as pixel PIX5B.
  • the drains of the sample and hold transistors ST1 and ST2 of each pixel PIX5G and PIX5H are connected to the floating diffusion FD2 of pixel PIX5A.
  • the reset transistor 126, amplification transistor 127, and selection transistor 128 used for global shutter operation are shared by pixels PIX5A, PIX5B, PIX5G, and PIX5H.
  • Figure 34 is a diagram showing a fifth example circuit configuration of a pixel provided in a solid-state imaging device according to the fifth embodiment.
  • pixels PIX5I and PIX5J are added to pixels PIX5C and PIX5D in FIG. 31.
  • the rest of the configuration of the fifth example of the solid-state imaging device of the fifth embodiment is the same as the configuration of the solid-state imaging device of the first embodiment described above.
  • Pixels PIX5I and PIX5J can be configured in the same way as pixel PIX5D. In this case, switches SW5 and SW6 are added to each of pixels PIX5I and PIX5J, respectively.
  • Switch SW5 is connected between the source of the amplification transistor 125 of pixel PIX5I and the input of comparator 131.
  • Switch SW6 is connected between the source of the amplification transistor 125 of pixel PIX5J and the input of comparator 131.
  • the output of comparator 131 is connected to the input of latch circuit 132 of each of pixels PIX5C, PIX5D, PIX5I, and PIX5J.
  • the comparator 131 used to determine illuminance are shared by pixels PIX5C, PIX5D, PIX5I, and PIX5J.
  • pixel PIX5I by turning on switch SW5, it is possible to determine the illuminance and switch the conversion efficiency in pixel PIX5I.
  • pixel PIX5J by turning on switch SW6, it is possible to determine the illuminance and switch the conversion efficiency in pixel PIX5J.
  • Figure 35 is a diagram showing a sixth example circuit configuration of a pixel provided in a solid-state imaging device according to the fifth embodiment.
  • pixels PIX5K and PIX5L are added to pixels PIX5E and PIX5F of FIG. 32.
  • the other configuration of the sixth example of the solid-state imaging device of the fifth embodiment is the same as the configuration of the solid-state imaging device of the first embodiment described above.
  • Pixels PIX5K and PIX5L can be configured in the same way as pixel PIX5F. In this case, switches SW7 and SW8 are added to each of pixels PIX5K and PIX5L, respectively.
  • Switch SW7 is connected between the source of amplifier transistor 125 of pixel PIX5K and the inputs of sample and hold capacitors C1 and C2.
  • Switch SW8 is connected between the source of amplifier transistor 125 of pixel PIX5L and the inputs of sample and hold capacitors C1 and C2.
  • the inputs of sample and hold capacitors C1 and C2 of each pixel PIX5K and PIX5L are connected to the input of comparator 131 and current source 130.
  • the reset transistor 126, amplifier transistor 127, and selection transistor 128, but also the comparator 131 and current source 130 are shared by pixels PIX5E, PIX5F, PIX5K, and PIX5L.
  • the reset transistor 126, amplification transistor 127, and selection transistor 128 used for global shutter operation are shared by multiple pixels. This makes it possible to switch the read level V1 based on the determination result of the read level V1 determined within the pixel, while suppressing an increase in the circuit scale of the pixel capable of global shutter operation. Furthermore, by sharing the comparator 131 that determines the read level V1 of the pixel signal among multiple pixels, it is possible to reduce the circuit scale of the pixel capable of global shutter operation, while making it possible to switch the read level V1 based on the determination result of the read level V1 determined within the pixel.
  • part of the circuit configuration was applied to two-pixel or four-pixel sharing, but it may also be applied to eight-pixel sharing or any other number of shared pixels.
  • the switching transistor 124 is controlled based on the determination result of the read level V1 determined in the pixel PIX capable of performing the global shutter operation.
  • the sample and hold transistor ST2 is controlled based on the determination result of the read level V1 determined in the pixel PIX capable of performing the global shutter operation.
  • FIG. 36 is a diagram showing an example of the circuit configuration of a pixel provided in a solid-state imaging device according to the sixth embodiment.
  • pixel PIX6 has a selector 633 instead of selector 133 in FIG. 3.
  • the rest of the configuration of pixel PIX6 is the same as the configuration of pixel PIX in FIG. 3.
  • Selector 633 switches the timing for sampling and holding the read level V1 of the pixel signal output from amplification transistor 125.
  • the output of selector 633 is connected to the gate of sample and hold transistor ST2.
  • selector 633 can select either high-efficiency sample and hold signal SDH or low-efficiency sample and hold signal SDL as the sample and hold signal SD based on the determination result VCO of read level V1.
  • FIG. 37 is a flowchart showing the pixel signal readout process of a solid-state imaging device according to the sixth embodiment.
  • steps S601 to S604 is the same as the processing from steps S101 to S104 in the first embodiment described above.
  • the switching transistor 124 is turned off to maintain high conversion efficiency. Then, the sample-and-hold transistor ST2 is turned on, and the D-phase level output from the amplification transistor 125 at high conversion efficiency is sampled by the sample-and-hold capacitor C2 (step S607).
  • the switching transistor 124 is turned on to switch to low conversion efficiency (step S605). If the illuminance determination indicates that the illuminance is high, the sample-and-hold transistor ST2 is turned on, and the D-phase level output from the amplification transistor 125 at low conversion efficiency is sampled by the sample-and-hold capacitor C2 (step S606).
  • Figure 38 is a timing chart showing an example of an operating period assigned to one frame of a solid-state imaging device according to the sixth embodiment.
  • one frame is assigned a global shutter period GS2 and a readout period RD.
  • a global shutter operation is performed simultaneously for all pixels PIX6 arranged in the pixel array section 111.
  • P-phase sampling and illuminance determination are performed simultaneously for each pixel PIX arranged in the pixel array section 111.
  • high conversion efficiency D-phase sampling or low conversion efficiency D-phase sampling is performed simultaneously for each pixel PIX6 arranged in the pixel array section 111, based on the illuminance determined for each pixel PIX6.
  • P-phase readout and D-phase readout are performed for each row of the pixel PIX6 arranged in the pixel array section 111.
  • Figure 39 is a timing chart showing an example of waveforms at various parts during low illuminance during global shutter operation of a pixel according to the sixth embodiment.
  • this global shutter operation includes a PD reset period P61, an exposure period P62, an FD reset period P63, a P-phase sampling period P64, a charge transfer period P65, an illuminance determination period P66, a high conversion efficiency D-phase sampling period P67, a conversion efficiency switching period P68, and a low conversion efficiency D-phase sampling period P69.
  • the high-efficiency sample-and-hold signal SDH is set to a high level during the high-conversion-efficiency D-phase sampling period P67.
  • the low-efficiency sample-and-hold signal SDL is set to a high level during the low-conversion-efficiency D-phase sampling period P69.
  • the reset signal RB, sample and hold signals SR and SD, active signal CM, high-efficiency sample and hold signal SDH, and low-efficiency sample and hold signal SDL are set to low levels.
  • the reset transistor 126 and sample and hold transistors ST1 and ST2 are turned off, the comparator 131 and latch circuit 132 are deactivated, and the output of the selector 133 is set to low levels.
  • the transfer signal TRG, reset signal RST, and switching signal FDG rise, turning on the transfer transistor 122, reset transistor 123, and switching transistor 124.
  • the conversion efficiency of the amplification transistor 125 is set to low conversion efficiency, and the charges in the photodiode PD and floating diffusion FD1 are reset.
  • the transfer signal TRG, reset signal RST, and switching signal FDG fall, turning off the transfer transistor 122, reset transistor 123, and switching transistor 124.
  • the conversion efficiency of the amplification transistor 125 is set to high conversion efficiency, and charge is accumulated in the photodiode PD according to the amount of incident light.
  • the reset signal RST and the switching signal FDG rise, turning on the reset transistor 123 and the switching transistor 124. At this time, the conversion efficiency of the amplification transistor 125 is set to low, and the charge in the floating diffusion FD1 is reset.
  • the reset signal RB and sample-and-hold signal SR rise, turning on the reset transistor 126 and sample-and-hold transistor ST1. At this time, a charge corresponding to the P-phase level output from the amplification transistor 125 is held in the sample-and-hold capacitor C1.
  • the transfer signal TRG rises and the transfer transistor 122 is turned on. At this time, the charge accumulated in the photodiode PD is transferred to the floating diffusion FD1. A voltage corresponding to the charge transferred to the floating diffusion FD1 is then applied to the gate of the amplification transistor 125. Then, based on the source follower operation between the amplification transistor 125 and the current source 130, a read level V1 corresponding to the voltage applied to the gate of the amplification transistor 125 is input to the comparator 131.
  • the active signal CM rises, activating the comparator 131 and latch circuit 132.
  • the comparator 131 compares the read level V1 of the pixel signal with the reference voltage VRF, and the determination result VCO of the read level V1 is latched in the latch circuit 132.
  • the read level V1 of the pixel signal is less than the reference voltage VRF, and the determination result VCO is set to a low level.
  • the high efficiency sample and hold signal SDH rises.
  • the determination result VCO is set to a low level
  • the high efficiency sample and hold signal SDH is selected by the selector 633.
  • the sample and hold signal SD rises, turning on the sample and hold transistor ST2.
  • the reset signal RB rises, turning on the reset transistor 126.
  • a charge corresponding to the high conversion efficiency D-phase level output from the amplification transistor 125 is held in the sample and hold capacitor C2. Thereafter, the high efficiency sample and hold signal SDH, the sample and hold signal SD, and the reset signal RB fall.
  • the switching signal FDG rises and the switching transistor 124 is turned on. At this time, the conversion efficiency of the amplification transistor 125 is set to low conversion efficiency.
  • the low efficiency sample and hold signal SDL rises.
  • the determination result VCO is set to a low level
  • the low efficiency sample and hold signal SDL is not selected by the selector 633, and the high efficiency sample and hold signal SDH remains selected.
  • the sample and hold signal SD remains low, and the sample and hold transistor ST2 remains off.
  • the charge corresponding to the low conversion efficiency D-phase level output from the amplifier transistor 125 is not held in the sample and hold capacitor C2, and the charge corresponding to the high conversion efficiency D-phase level output from the amplifier transistor 125 remains held in the sample and hold capacitor C2.
  • Figure 40 is a timing chart showing an example of waveforms at various parts during high illuminance during global shutter operation of a pixel according to the sixth embodiment.
  • the operations of the PD reset period P61, exposure period P62, FD reset period P63, P-phase sampling period P64, charge transfer period P65, and illuminance determination period P66 during high illuminance are the same as the operations of the PD reset period P61, exposure period P62, FD reset period P63, P-phase sampling period P64, charge transfer period P65, and illuminance determination period P66 during low illuminance.
  • the high efficiency sample and hold signal SDH rises.
  • the pixel signal read level V1 is less than the reference voltage VRF, and the determination result VCO is set to a high level.
  • the high efficiency sample and hold signal SDH is not selected.
  • the sample and hold signal SD remains at a low level, and the sample and hold transistor ST2 remains off.
  • the charge corresponding to the high conversion efficiency D-phase level output from the amplification transistor 125 is not held in the sample and hold capacitor C2.
  • the switching signal FDG rises and the switching transistor 124 is turned on. At this time, the conversion efficiency of the amplification transistor 125 is set to low conversion efficiency.
  • the low efficiency sample and hold signal SDL rises.
  • the determination result VCO is set to a high level
  • the low efficiency sample and hold signal SDL is selected by the selector 633 during the low conversion efficiency D-phase sampling period P69.
  • the sample and hold signal SD rises, turning on the sample and hold transistor ST2.
  • the reset signal RB rises, turning on the reset transistor 126.
  • a charge corresponding to the low conversion efficiency D-phase level output from the amplification transistor 125 is held in the sample and hold capacitor C2. Thereafter, the low efficiency sample and hold signal SDL, the sample and hold signal SD, and the reset signal RB fall.
  • the sample and hold transistor ST2 is controlled based on the result of the determination of the read level V1 determined within the pixel PIX6 capable of global shutter operation. This makes it possible to read out the LCG output or HCG output from pixel PIX6 according to the illuminance, without having to read out the LCG output and HCG output from pixel PIX6 separately. This makes it possible to generate an HDR image while suppressing the increase in the readout period RD according to switching of the conversion efficiency.
  • the conversion efficiency is switched based on the determination result of the read level V1 determined in the pixel PIX capable of performing the global shutter operation.
  • the high-sensitivity photodiode and the low-sensitivity photodiode are switched based on the determination result of the read level V1 determined in the pixel PIX capable of performing the global shutter operation.
  • Figure 41 is a diagram showing an example of the circuit configuration of a pixel provided in a solid-state imaging device according to the seventh embodiment.
  • pixel PIX7 has a low-sensitivity photodiode PD2, a transfer transistor 722, a reset transistor 723, an amplifier transistor 725, and switches SW11 and SW12 added to pixel PIX6 in Figure 36. Furthermore, pixel PIX7 has the switching transistor 124 and capacitor C0 removed from pixel PIX6. At this time, the reset transistor 123 is connected to floating diffusion FD1. Furthermore, photodiode PD is used as high-sensitivity photodiode PD1. Furthermore, high-sensitivity sample-and-hold signal SDHA and low-sensitivity sample-and-hold signal SDLA are input to selector 133 instead of high-efficiency sample-and-hold signal SDH and low-efficiency sample-and-hold signal SDL.
  • the high-sensitivity photodiode PD1, low-sensitivity photodiode PD2, transfer transistors 122, 722, reset transistors 123, 723, amplification transistors 125, 725, and switches SW11, SW12 can form an illuminance switching exposure unit PIX7A.
  • the rest of the configuration of pixel PIX7 is the same as the configuration of pixel PIX6 in Figure 36.
  • the low-sensitivity photodiode PD2 performs photoelectric conversion and accumulates the photoelectrically converted charge.
  • the area of the light-receiving surface of the low-sensitivity photodiode PD2 can be smaller than the area of the light-receiving surface of the high-sensitivity photodiode PD1.
  • the transfer transistor 722 transfers the charge accumulated in the low-sensitivity photodiode PD2 to the floating diffusion FD3.
  • the reset transistor 723 resets the low-sensitivity photodiode PD2 and the floating diffusion FD3.
  • the amplification transistor 725 outputs a signal corresponding to the potential of the floating diffusion FD3.
  • the transfer transistor 722 is connected between the cathode of the low-sensitivity photodiode PD2 and the floating diffusion FD3.
  • the reset transistor 723 is connected between the power supply potential VDD and the floating diffusion FD3.
  • the gate of the amplification transistor 725 is connected to the floating diffusion FD3.
  • a transfer signal TRG is applied to the gate of the transfer transistor 722.
  • a reset signal RST is applied to the gate of the reset transistor 723.
  • Switch SW11 is connected between the source of amplifier transistor 125 and the inputs of sample and hold capacitors C1 and C2. Switch SW11 is switched based on switching signal SL1.
  • Switch SW12 is connected between the source of amplifier transistor 725 and the inputs of sample and hold capacitors C1 and C2. Switch SW12 is switched based on switching signal SL2.
  • the inputs of sample and hold capacitors C1 and C2 are connected to the inputs of comparator 131 and current source 130.
  • Figure 42 is a flowchart showing the pixel signal readout process of a solid-state imaging device according to the seventh embodiment.
  • the reset transistors 123 and 723 and the transfer transistors 122 and 722 are turned on, and the floating diffusions FD1 and FD3 are reset (step S701).
  • the reset transistors 123 and 723 and the transfer transistors 122 and 722 are turned off, and the high-sensitivity photodiode PD1 and the low-sensitivity photodiode PD2 are exposed to light (step S702).
  • reset transistors 123 and 723 are turned on, and floating diffusions FD1 and FD3 are reset (step S703).
  • switch SW11 is turned on, and the source of amplifier transistor 125 is connected to the input of comparator 131 and the inputs of sample-and-hold capacitors C1 and C2 (step S704).
  • the sample-and-hold transistor ST1 is turned on, and the P-phase level output from the amplification transistor 125 is sampled by the sample-and-hold capacitor C1 (step S705).
  • the transfer transistor 122 is turned on, and the charge accumulated in the high-sensitivity photodiode PD1 is transferred to the floating diffusion FD1 (step S706).
  • comparator 131 determines the illuminance based on the readout level V1 of the pixel signal output from amplifier transistor 125 (step S707). If the illuminance is low, switch SW11 remains on, and the source of amplifier transistor 125 remains connected to the input of comparator 131 and the inputs of sample-and-hold capacitors C1 and C2. Then, sample-and-hold transistor ST2 is turned on, and the high-sensitivity D-phase level output from amplifier transistor 125 is sampled by sample-and-hold capacitor C2 (step S710).
  • switch SW11 is turned off and switch SW12 is turned on, connecting the source of amplifier transistor 725 to the input of comparator 131 and the inputs of sample-and-hold capacitors C1 and C2 (step S708). Then, if the illuminance is high, sample-and-hold transistor ST2 is turned on, and the low-sensitivity D-phase level output from amplifier transistor 725 is sampled by sample-and-hold capacitor C2 (step S709).
  • Figure 43 is a timing chart showing an example of waveforms at various parts during low illuminance during global shutter operation of a pixel according to the seventh embodiment.
  • this global shutter operation includes a PD reset period P71, an exposure period P72, an FD reset period P73, a P-phase sampling period P74, a charge transfer period P75, an illuminance determination period P76, a high-sensitivity D-phase sampling period P77, an illuminance switching period P78, and a low-sensitivity D-phase sampling period P79.
  • the high-sensitivity sample-and-hold signal SDHA is set to a high level during the high-sensitivity D-phase sampling period P77.
  • the low-sensitivity sample-and-hold signal SDLA is set to a high level during the low-sensitivity D-phase sampling period P79.
  • the switch SW11 is switched based on the switching signal SL1.
  • the switch SW12 is switched based on the switching signal SL2.
  • the reset signal RB, sample and hold signals SR and SD, active signal CM, high-sensitivity sample and hold signal SDHA, and low-sensitivity sample and hold signal SDLA are set to low levels.
  • the reset transistor 126 and sample and hold transistors ST1 and ST2 are turned off, the comparator 131 and latch circuit 132 are deactivated, and the output of selector 133 is set to low level.
  • the transfer signal TRG, reset signal RST, and switching signals SL1 and SL2 rise, turning on the transfer transistors 122 and 722, the reset transistors 123 and 723, and the switches SW11 and SW12.
  • the charges in the high-sensitivity photodiode PD1, low-sensitivity photodiode PD2, and floating diffusions FD1 and FD3 are reset.
  • transfer signal TRG, reset signal RST, and switching signals SL1 and SL2 fall, turning off transfer transistors 122 and 722, reset transistors 123 and 723, and switches SW11 and SW12.
  • charge is accumulated in the high-sensitivity photodiode PD1 and low-sensitivity photodiode PD2 according to the amount of incident light.
  • the reset signal RST and switching signals SL1 and SL2 rise, turning on reset transistors 123 and 723 and switches SW11 and SW12. At this time, the charges in the floating diffusions FD1 and FD3 are reset.
  • the switching signal SL2 falls, turning off the switch SW12. Furthermore, the reset signal RB and the sample-and-hold signal SR rise, turning on the reset transistor 126 and the sample-and-hold transistor ST1. At this time, a charge corresponding to the P-phase level output from the amplification transistor 125 is held in the sample-and-hold capacitor C1.
  • transfer signal TRG rises, turning on transfer transistors 122 and 722.
  • the charge accumulated in the high-sensitivity photodiode PD1 is transferred to floating diffusion FD1
  • the charge accumulated in the low-sensitivity photodiode PD2 is transferred to floating diffusion FD3.
  • Voltages corresponding to the charges transferred to each floating diffusion FD1 and FD3 are applied to the gates of amplifier transistors 125 and 725, respectively.
  • switch SW11 is on and switch SW12 is off, a source follower operation is performed between amplifier transistor 125 and current source 130.
  • a read level V1 corresponding to the voltage applied to the gate of amplifier transistor 125 is input to comparator 131.
  • the active signal CM rises, activating the comparator 131 and latch circuit 132.
  • the comparator 131 compares the read level V1 of the pixel signal with the reference voltage VRF, and the determination result VCO of the read level V1 is latched in the latch circuit 132.
  • the read level V1 of the pixel signal is less than the reference voltage VRF, and the determination result VCO is set to a low level.
  • the high-sensitivity sample-and-hold signal SDHA rises.
  • the judgment result VCO is set to a low level
  • the high-sensitivity sample-and-hold signal SDHA is selected by the selector 633.
  • the sample-and-hold signal SD rises, turning on the sample-and-hold transistor ST2.
  • the reset signal RB rises, turning on the reset transistor 126.
  • a charge corresponding to the high-illuminance D-phase level output from the amplification transistor 125 is held in the sample-and-hold capacitor C2.
  • the switching signal SL1, the high-sensitivity sample-and-hold signal SDHA, the sample-and-hold signal SD, and the reset signal RB fall.
  • the switching signal SL2 rises.
  • the switch SW12 is turned on, and a source follower operation is performed between the amplifier transistor 725 and the current source 130.
  • a read level V1 corresponding to the voltage applied to the gate of the amplifier transistor 725 is input to the sample and hold capacitors C1 and C2.
  • the low-sensitivity sample-and-hold signal SDLA rises.
  • the determination result VCO is set to a low level
  • the low-sensitivity sample-and-hold signal SDLA is not selected as the sample-and-hold signal SD by the selector 633, and the sample-and-hold transistor ST2 remains off.
  • the charge corresponding to the low-illuminance D-phase level output from the amplification transistor 125 is not held in the sample-and-hold capacitor C2.
  • Figure 44 is a timing chart showing an example of waveforms at various parts during high illuminance during global shutter operation of a pixel according to the seventh embodiment.
  • the operation of the PD reset period P71, exposure period P72, FD reset period P73, P-phase sampling period P74, charge transfer period P75, and illuminance determination period P76 during high illuminance is the same as the operation of the D reset period P71, exposure period P72, FD reset period P73, P-phase sampling period P74, charge transfer period P75, and illuminance determination period P76 during low illuminance.
  • the pixel signal readout level V1 becomes equal to or higher than the reference voltage VRF, and the determination result VCO is set to a high level.
  • the high-sensitivity sample-and-hold signal SDHA rises.
  • the judgment result VCO is set to a high level
  • the high-sensitivity sample-and-hold signal SDHA is not selected as the sample-and-hold signal SD by the selector 633, and the sample-and-hold transistor ST2 remains off.
  • the charge corresponding to the high-illuminance D-phase level output from the amplification transistor 125 is not held in the sample-and-hold capacitor C2.
  • the switching signal SL2 rises.
  • the switch SW12 is turned on, and a source follower operation is performed between the amplifier transistor 725 and the current source 130.
  • a read level V1 corresponding to the voltage applied to the gate of the amplifier transistor 725 is input to the sample and hold capacitors C1 and C2.
  • the low-sensitivity sample-and-hold signal SDLA rises.
  • the judgment result VCO is set to a high level
  • the low-sensitivity sample-and-hold signal SDLA is selected by the selector 633 as the sample-and-hold signal SD.
  • the sample-and-hold signal SD rises, turning on the sample-and-hold transistor ST2.
  • the reset signal RB rises, turning on the reset transistor 126.
  • a charge corresponding to the low-illuminance D-phase level output from the amplification transistor 725 is held in the sample-and-hold capacitor C2.
  • the switching signal SL2 the low-sensitivity sample-and-hold signal SDLA, the sample-and-hold signal SD, and the reset signal RB fall.
  • the high-sensitivity photodiode PD1 and low-sensitivity photodiode PD2 are switched based on the result of the determination of the readout level V1 determined within pixel PIX7 capable of global shutter operation.
  • This makes it possible to read from the high-sensitivity photodiode PD1 or the low-sensitivity photodiode PD2 according to the illuminance, without having to read from pixel PIX7 for each of the high-sensitivity photodiode PD1 and the low-sensitivity photodiode PD2. Therefore, even when conversion efficiency switching is not performed, HDR images can be generated while suppressing a decrease in frame rate.
  • the seventh embodiment described above an example was shown in which the high-sensitivity photodiode PD1 and the low-sensitivity photodiode PD2 were switched based on the determination result of the readout level V1.
  • the configuration of the seventh embodiment described above may be applied to a LOFIC pixel or a pixel with switchable conversion efficiency.
  • the pixel with switchable conversion efficiency may be any of the pixels in the first to sixth embodiments described above.
  • the conversion efficiency is switched based on the determination result of the read level V1 determined in the pixel PIX capable of global shutter operation.
  • the long exposure section and the short exposure section are switched based on the determination result of the read level V1 determined in the pixel of the illuminance switchable exposure section PIX7A capable of global shutter operation.
  • Figure 45 is a diagram showing an example of the circuit configuration of a pixel provided in a solid-state imaging device according to the eighth embodiment.
  • pixel PIX8 includes a long-time exposure unit PIX8A and a short-time exposure unit PIX8B instead of the illuminance switching exposure unit PIX7A of the seventh embodiment described above. Furthermore, a long-time accumulation sample-and-hold signal SDHB and a short-time accumulation sample-and-hold signal SDLB are input to selector 133 instead of the high-sensitivity sample-and-hold signal SDHA and the low-sensitivity sample-and-hold signal SDLA. The rest of the configuration of pixel PIX8 is the same as the configuration of pixel PIX7 of the seventh embodiment described above.
  • the long-time exposure unit PIX8A has a long exposure time set.
  • the long-time exposure unit PIX8A includes photodiodes PD3 and PD4 instead of the high-sensitivity photodiode PD1 and low-sensitivity photodiode PD2 of the seventh embodiment described above.
  • the sensitivity of the photodiodes PD3 and PD4 may be equal to each other.
  • a transfer signal TRG1 is applied to the gate of each transfer transistor 122, 722.
  • a reset signal RST1 is applied to the gate of each reset transistor 123, 723. Switches SW11, SW12 are switched based on a switching signal SL1.
  • the short-time exposure unit PIX8B is set to a short exposure time.
  • the short-time exposure unit PIX8B can be configured in the same way as the long-time exposure unit PIX8A. In this case, the exposure time of the short-time exposure unit PIX8B can be shortened by delaying the exposure start time of the short-time exposure unit PIX8B from the exposure start time of the long-time exposure unit PIX8A.
  • a transfer signal TRG2 is applied to the gate of each transfer transistor 122, 722.
  • a reset signal RST2 is applied to the gate of each reset transistor 123, 723. Switches SW11, SW12 are switched based on a switching signal SL2.
  • Figure 46 is a flowchart showing the pixel signal readout process of a solid-state imaging device according to the eighth embodiment.
  • step S801A the reset transistors 123 and 723 and transfer transistors 122 and 722 of the long-time exposure unit PIX8A are turned on, and the floating diffusions FD1 and FD3 are reset (step S801A).
  • step S802A the reset transistors 123, 723 and transfer transistors 122, 722 of the long-time exposure unit PIX8A are turned off, and exposure of the long-time exposure unit PIX8A begins (step S802A).
  • step S801B the reset transistors 123 and 723 and transfer transistors 122 and 722 of the short-time exposure unit PIX8B are turned on, and the floating diffusions FD1 and FD3 are reset.
  • step S802B the reset transistors 123 and 723 and transfer transistors 122 and 722 of the short-time exposure unit PIX8B are turned off, and exposure of the short-time exposure unit PIX8B begins (step S802B).
  • step S803 the reset transistors 123 and 723 of the long-time exposure section PIX8A and short-time exposure section PIX8B are turned on, and the floating diffusions FD1 and FD3 are reset (step S803).
  • switches SW11 and SW12 of the long-time exposure unit PIX8A are turned on, and the sources of the amplification transistors 125 and 725 are connected to the input of the comparator 131 and the inputs of the sample-and-hold capacitors C1 and C2 (step S804).
  • the sample-and-hold transistor ST1 is turned on, and the P-phase level output from the amplification transistors 125 and 725 of the long-time exposure section PIX8A is sampled by the sample-and-hold capacitor C1 (step S805).
  • the transfer transistors 122 and 722 of the long-time exposure section PIX8A and short-time exposure section PIX8B are turned on, and the charges accumulated in the photodiodes PD3 and PD4 are transferred to the floating diffusions FD1 and FD3 (step S806).
  • comparator 131 determines the illuminance based on the readout level V1 of the pixel signal output from amplifier transistors 125 and 725 of long-time exposure section PIX8A (step S807). If the illuminance is low, switches SW11 and SW12 of long-time exposure section PIX8A are kept on, and the source of amplifier transistor 125 remains connected to the input of comparator 131 and the inputs of sample-and-hold capacitors C1 and C2. Then, sample-and-hold transistor ST2 is turned on, and the long-accumulated D-phase level output from amplifier transistor 125 is sampled by sample-and-hold capacitor C2 (step S810).
  • switches SW11 and SW12 of long-time exposure unit PIX8A are turned off, and switches SW11 and SW12 of short-time exposure unit PIX8B are turned on, connecting the sources of amplification transistors 125 and 725 of short-time exposure unit PIX8B to the inputs of comparator 131 and sample-and-hold capacitors C1 and C2 (step S808). If the illuminance is high, sample-and-hold transistor ST2 is turned on, and the short-time accumulated D-phase level output from amplification transistors 125 and 725 of short-time exposure unit PIX8B is sampled by sample-and-hold capacitor C2 (step S809).
  • Figure 47 is a timing chart showing an example of waveforms at various parts during low illuminance during global shutter operation of a pixel according to the eighth embodiment.
  • a long accumulation PD reset period P81, a short accumulation PD reset period P82, an FD reset period P83, a P-phase sampling period P84, a charge transfer period P85, an illuminance determination period P86, a long accumulation D-phase sampling period P87, an exposure section switching period P88, and a short accumulation D-phase sampling period P89 are provided.
  • the long accumulation sample hold signal SDHB is set to a high level during the long accumulation D-phase sampling period P87.
  • the short accumulation sample hold signal SDLB is set to a high level during the short accumulation D-phase sampling period P89.
  • the switches SW11 and SW12 of the long time exposure unit PIX8A are switched based on the switching signal SL1.
  • the switches SW11 and SW12 of the short time exposure unit PIX8B are switched based on the switching signal SL2.
  • the reset signal RB, sample and hold signals SR and SD, active signal CM, long-term accumulation sample and hold signal SDHB, and short-term accumulation sample and hold signal SDLB are set to a low level.
  • the reset transistor 126 and sample and hold transistors ST1 and ST2 are turned off, the comparator 131 and latch circuit 132 are inactivated, and the output of the selector 133 is set to a low level.
  • the transfer signal TRG1, reset signal RST1, and switching signals SL1 and SL2 of the long-term exposure unit PIX8A rise, and the transfer transistors 122 and 722, the reset transistors 123 and 723, and the switches SW11 and SW12 are turned on.
  • the charges of the photodiodes PD3 and PD4 and floating diffusions FD1 and FD3 of the long-term exposure unit PIX8A are reset.
  • the transfer signal TRG1, reset signal RST1, and switching signals SL1 and SL2 fall, turning off the transfer transistors 122 and 722, the reset transistors 123 and 723, and the switches SW11 and SW12.
  • charge is accumulated in the photodiodes PD3 and PD4 of the long exposure unit PIX8A according to the amount of incident light.
  • the reset signal RB, sample and hold signals SR and SD, active signal CM, long-accumulation sample and hold signal SDHB, and short-accumulation sample and hold signal SDLB are set to a low level.
  • the reset transistor 126 and sample and hold transistors ST1 and ST2 are turned off, the comparator 131 and latch circuit 132 are inactivated, and the output of the selector 133 is set to a low level.
  • the transfer signal TRG2 and reset signal RST2 of the short-accumulation exposure unit PIX8B rise, and the transfer transistors 122 and 722 and the reset transistors 123 and 723 are turned on.
  • the charges of the photodiodes PD3 and PD4 and floating diffusions FD1 and FD3 of the short-accumulation exposure unit PIX8B are reset.
  • the transfer signal TRG2 and reset signal RST2 fall, turning off the transfer transistors 122 and 722 and the reset transistors 123 and 723.
  • charge is accumulated in the photodiodes PD3 and PD4 of the short-time exposure unit PIX8B according to the amount of incident light.
  • the reset signals RST1, RST2 and switching signals SL1, SL2 for the long-time exposure section PIX8A and short-time exposure section PIX8B rise, turning on the reset transistor 123 and switches SW11, SW12.
  • the charges in the floating diffusions FD1, FD3 for the long-time exposure section PIX8A and short-time exposure section PIX8B are reset.
  • the switching signal SL2 of the short-time exposure unit PIX8B falls, turning off the switches SW11 and SW12. Furthermore, the reset signal RB and sample-and-hold signal SR rise, turning on the reset transistor 126 and sample-and-hold transistor ST1. At this time, a charge corresponding to the P-phase level output from the amplification transistors 125 and 725 of the long-time exposure unit PIX8A is held in the sample-and-hold capacitor C1.
  • the transfer signals TRG1 and TRG2 for the long-time exposure section PIX8A and short-time exposure section PIX8B rise, turning on the transfer transistors 122 and 722.
  • the charge accumulated in the photodiodes PD3 and PD4 of the long-time exposure section PIX8A and short-time exposure section PIX8B is transferred to the floating diffusions FD1 and FD3.
  • a voltage corresponding to the charge transferred to the floating diffusions FD1 and FD3 of the long-time exposure section PIX8A and short-time exposure section PIX8B is applied to the gates of the amplification transistors 125 and 725, respectively.
  • a source-follower operation is performed between the amplification transistors 125 and 725 of the long-time exposure section PIX8A and the current source 130. Then, based on the source follower operation between the amplifying transistors 125, 725 of the long-time exposure section PIX8A and the current source 130, a read level V1 corresponding to the voltage applied to the gates of the amplifying transistors 125, 725 is input to the comparator 131.
  • the active signal CM rises, activating the comparator 131 and latch circuit 132.
  • the comparator 131 compares the read level V1 of the pixel signal with the reference voltage VRF, and the determination result VCO of the read level V1 is latched in the latch circuit 132.
  • the read level V1 of the pixel signal becomes equal to or greater than the reference voltage VRF, and the determination result VCO is set to a low level.
  • the long accumulation sample hold signal SDHB rises.
  • the determination result VCO is set to a low level
  • the long accumulation sample hold signal SDHB is selected by the selector 633.
  • the sample hold signal SD rises, and the sample hold transistor ST2 is turned on.
  • the reset signal RB rises, and the reset transistor 126 is turned on.
  • charge corresponding to the long accumulation D-phase level output from the amplification transistors 125 and 725 of the long exposure unit PIX8A is held in the sample hold capacitor C2.
  • the switching signal SL1, long accumulation sample hold signal SDHB, sample hold signal SD, and reset signal RB of the long exposure unit PIX8A fall.
  • the switching signal SL2 for the short-time exposure unit PIX8B rises.
  • the switches SW11 and SW12 for the short-time exposure unit PIX8B are turned on, and a source-follower operation is performed between the amplification transistors 125 and 725 and the current source 130.
  • a read level V1 corresponding to the voltage applied to the gates of the amplification transistors 125 and 725 is input to the sample-and-hold capacitors C1 and C2.
  • the short accumulation sample hold signal SDLB rises.
  • the determination result VCO is set to a low level
  • the low-sensitivity sample hold signal SDLA is not selected as the sample hold signal SD by the selector 633, and the sample hold transistor ST2 remains off. For this reason, the charge corresponding to the short accumulation D-phase level output from the amplification transistors 125 and 725 of the short-time exposure unit PIX8B is not held in the sample hold capacitor C2.
  • Figure 48 is a timing chart showing an example of waveforms at various parts during high illuminance during global shutter operation of a pixel according to the eighth embodiment.
  • the operations of the long accumulation PD reset period P81, short accumulation PD reset period P82, FD reset period P83, P-phase sampling period P84, charge transfer period P85, and illuminance determination period P86 during high illuminance are the same as the operations of the long accumulation PD reset period P81, short accumulation PD reset period P82, FD reset period P83, P-phase sampling period P84, charge transfer period P85, and illuminance determination period P86 during low illuminance.
  • the readout level V1 of the pixel signal becomes less than the reference voltage VRF, and the determination result VCO is set to a high level.
  • the long accumulation sample and hold signal SDHB rises.
  • the determination result VCO is set to a high level, the long accumulation sample and hold signal SDHB is not selected as the sample and hold signal SD by the selector 633, and the sample and hold transistor ST2 remains off. For this reason, the charge corresponding to the long accumulation D-phase level output from the amplification transistors 125 and 725 of the long time exposure section PIX8A is not held in the sample and hold capacitor C2.
  • the switching signal SL2 for the short-time exposure unit PIX8B rises.
  • the switches SW11 and SW12 for the short-time exposure unit PIX8B are turned on, and a source-follower operation is performed between the amplification transistors 125 and 725 and the current source 130.
  • a read level V1 corresponding to the voltage applied to the gates of the amplification transistors 125 and 725 is input to the sample-and-hold capacitors C1 and C2.
  • the short accumulation sample hold signal SDLB rises.
  • the short accumulation sample hold signal SDLB is selected by the selector 633 as the sample hold signal SD.
  • the sample hold signal SD rises, and the sample hold transistor ST2 is turned on.
  • the reset signal RB rises, and the reset transistor 126 is turned on.
  • the charge corresponding to the D-phase level of the short accumulation output from the amplification transistors 125 and 725 of the short exposure unit PIX8B is held in the sample hold capacitance C2.
  • the switching signal SL2, low-sensitivity sample hold signal SDLA, sample hold signal SD, and reset signal RB of the short exposure unit PIX8B fall.
  • switching is performed between the long-exposure section PIX8A and the short-exposure section PIX8B based on the determination result of the readout level V1 determined within the pixel PIX8 capable of global shutter operation.
  • This makes it possible to read from the long-exposure section PIX8A or the short-exposure section PIX8B according to the illuminance, without having to perform readout separately for the long-exposure section PIX8A and the short-exposure section PIX8B. Therefore, even when conversion efficiency switching is not performed, HDR images can be generated while suppressing a decrease in frame rate.
  • the eighth embodiment described above an example was shown in which the long-time exposure section PIX8A and the short-time exposure section PIX8B were switched based on the determination result of the readout level V1.
  • the configuration of the eighth embodiment described above may also be applied to LOFIC pixels or to pixels with switchable conversion efficiency. Pixels with switchable conversion efficiency may be any of the pixels in the first to sixth embodiments described above.
  • the conversion efficiency is switched based on the determination result of the read level V1 determined in the pixel PIX capable of performing the global shutter operation.
  • the exposure time of the photodiode PD is switched based on the determination result of the read level V1 determined in the pixel PIX capable of performing the global shutter operation.
  • Figure 49 is a diagram showing an example of the circuit configuration of a pixel provided in a solid-state imaging device according to the ninth embodiment.
  • pixel PIX9 has the switching transistor 124 and capacitor C0 removed from pixel PIX6 in FIG. 36. At this time, the reset transistor 123 is connected to floating diffusion FD1. Also, instead of the high-efficiency sample-and-hold signal SDH and the low-efficiency sample-and-hold signal SDL, the long-exposure sample-and-hold signal SDHC and the short-exposure sample-and-hold signal SDLC are input to selector 133. The rest of the configuration of pixel PIX9 is the same as the configuration of pixel PIX6 in FIG. 36.
  • Figure 50 is a flowchart showing the pixel signal readout process of a solid-state imaging device according to the ninth embodiment.
  • step S901 the reset transistor 123 and transfer transistor 122 are turned on, and the photodiode PD and floating diffusion FD1 are reset (step S901).
  • step S902 the reset transistor 123 and transfer transistor 122 are turned off, and long-term exposure of the photodiode PD is performed.
  • step S903 the reset transistor 123 is turned on, and the floating diffusion FD1 is reset.
  • the sample-and-hold transistor ST1 is turned on, and the P-phase level of the long-time exposure output from the amplification transistor 125 is sampled by the sample-and-hold capacitor C1 (step S904).
  • the transfer transistor 122 is turned on, and the charge accumulated in the photodiode PD is transferred to the floating diffusion FD1 (step S905).
  • the comparator 131 determines the illuminance based on the readout level V1 of the pixel signal output from the amplification transistor 125 (step S906).
  • the sample-and-hold transistor ST2 is turned on. At this time, the D-phase level of the long-time exposure output from the amplification transistor 125 is sampled by the sample-and-hold capacitor C2 (step S911).
  • step S907 the reset transistor 123 and transfer transistor 122 are turned on, and the floating diffusion FD1 is reset.
  • step S908 the reset transistor 123 and transfer transistor 122 are turned off, and the photodiode PD is exposed to light for a short time.
  • step S909 the reset transistor 123 is turned on, and the floating diffusion FD1 is reset.
  • the sample-and-hold transistor ST2 is turned on, and the D-phase level of the short-time exposure output from the amplification transistor 725 is sampled by the sample-and-hold capacitor C2 (step S910).
  • Figure 51 is a timing chart showing an example of an operating period assigned to one frame of a solid-state imaging device according to the ninth embodiment.
  • a short exposure period EXS and a readout period RD are allocated to a frame FM. Furthermore, a long exposure period EXL is allocated across multiple frames FM. In the short exposure period EXS, short accumulation D-phase sampling is performed. In the long exposure period EXL, long accumulation P-phase sampling and illuminance determination are performed. Long accumulation D-phase sampling is performed between the long exposure period EXL and the short exposure period EXS.
  • P-phase readout and D-phase readout are performed for each row of the pixel PIX9 arranged in the pixel array section 111.
  • Figure 52 is a timing chart showing an example of waveforms at various parts during low illuminance during global shutter operation of a pixel according to the ninth embodiment.
  • this global shutter operation includes a PD reset period P91, a long-time exposure period P92, an FD reset period P93, a P-phase sampling period P94, a charge transfer period P95, an illuminance determination period P96, a long-time exposure D-phase sampling period P97, a PD reset period P98, a short-time exposure period P99, an FD reset period P100, a charge transfer period P101, and a short-time exposure D-phase sampling period P102.
  • the long-time exposure sample-and-hold signal SDHC is set to a high level during the long-time exposure D-phase sampling period P97.
  • the short-time exposure sample-and-hold signal SDLC is set to a high level during the short-time exposure D-phase sampling period P102.
  • the reset signal RB, sample and hold signals SR and SD, active signal CM, long-exposure sample and hold signal SDHC, and short-exposure sample and hold signal SDLC are set to low level.
  • the reset transistor 126 and sample and hold transistors ST1 and ST2 are turned off, the comparator 131 and latch circuit 132 are deactivated, and the output of the selector 133 is set to low level.
  • the transfer signal TRG and reset signal RST rise, turning on the transfer transistor 122 and reset transistor 123. At this time, the charges in the photodiode PD and floating diffusion FD1 are reset.
  • the transfer signal TRG and reset signal RST fall, turning off the transfer transistor 122 and reset transistor 123. At this time, charge is accumulated in the photodiode PD according to the amount of incident light.
  • the reset signal RST rises and the reset transistor 123 is turned on. At this time, the charge in the floating diffusion FD1 is reset.
  • the reset signal RB and sample-and-hold signal SR rise, turning on the reset transistor 126 and sample-and-hold transistor ST1. At this time, a charge corresponding to the P-phase level output from the amplification transistor 125 is held in the sample-and-hold capacitor C1.
  • the transfer signal TRG rises and the transfer transistor 122 is turned on. At this time, the long-exposure charge accumulated in the photodiode PD is transferred to the floating diffusion FD1. A voltage corresponding to the charge transferred to the floating diffusion FD1 is then applied to the gate of the amplification transistor 125. Then, based on the source-follower operation between the amplification transistor 125 and the current source 130, a read level V1 corresponding to the voltage applied to the gate of the amplification transistor 125 is input to the comparator 131.
  • the active signal CM rises, activating the comparator 131 and latch circuit 132.
  • the comparator 131 compares the pixel signal read level V1 with the reference voltage VRF, and the determination result VCO of the read level V1 is latched in the latch circuit 132.
  • the pixel signal read level V1 is equal to or greater than the reference voltage VRF, and the determination result VCO is set to a low level.
  • the long exposure sample and hold signal SDHC rises.
  • the judgment result VCO is set to a low level
  • the long exposure sample and hold signal SDHC is selected by the selector 633.
  • the sample and hold signal SD rises, turning on the sample and hold transistor ST2.
  • the reset signal RB rises, turning on the reset transistor 126.
  • a charge corresponding to the long exposure D-phase level output from the amplification transistor 125 is held in the sample and hold capacitor C2. After that, the long exposure sample and hold signal SDHC, the sample and hold signal SD, and the reset signal RB fall.
  • the reset signal RB, sample and hold signals SR and SD, active signal CM, long-exposure sample and hold signal SDHC, and short-exposure sample and hold signal SDLC are set to low level.
  • the reset transistor 126 and sample and hold transistors ST1 and ST2 are turned off, the comparator 131 and latch circuit 132 are deactivated, and the output of the selector 133 is set to low level.
  • the transfer signal TRG and reset signal RST rise, turning on the transfer transistor 122 and reset transistor 123. At this time, the charges in the photodiode PD and floating diffusion FD1 are reset.
  • the transfer signal TRG and reset signal RST fall, turning off the transfer transistor 122 and reset transistor 123. At this time, charge is accumulated in the photodiode PD according to the amount of incident light.
  • the reset signal RST rises and the reset transistor 123 is turned on. At this time, the charge in the floating diffusion FD1 is reset.
  • the transfer signal TRG rises and the transfer transistor 122 is turned on. At this time, the charge accumulated in the photodiode PD during the short exposure is transferred to the floating diffusion FD1. A voltage corresponding to the charge transferred to the floating diffusion FD1 is then applied to the gate of the amplification transistor 125. Then, based on the source follower operation between the amplification transistor 125 and the current source 130, a read level V1 corresponding to the voltage applied to the gate of the amplification transistor 125 is applied to the inputs of the sample and hold capacitors C1 and C2.
  • the short-exposure sample-and-hold signal SDLC rises.
  • the determination result VCO is set to a low level
  • the short-exposure sample-and-hold signal SDLC is not selected by the selector 633, and the selection of the long-exposure sample-and-hold signal SDHC is maintained.
  • the sample-and-hold signal SD remains low, and the sample-and-hold transistor ST2 remains off.
  • the charge corresponding to the short-exposure D-phase level output from the amplifier transistor 125 is not held in the sample-and-hold capacitor C2, and the state in which the charge corresponding to the long-exposure D-phase level output from the amplifier transistor 125 is held in the sample-and-hold capacitor C2 is maintained.
  • Figure 53 is a timing chart showing an example of waveforms at various parts during high illuminance during global shutter operation of a pixel according to the ninth embodiment.
  • the operation of the PD reset period P91, long exposure period P92, FD reset period P93, P-phase sampling period P94, charge transfer period P95, illuminance determination period P96, PD reset period P98, short exposure period P99, and FD reset period P100 during high illuminance is the same as the operation of the PD reset period P91, long exposure period P92, FD reset period P93, P-phase sampling period P94, charge transfer period P95, illuminance determination period P96, PD reset period P98, short exposure period P99, and FD reset period P100 during low illuminance.
  • the pixel signal readout level V1 becomes less than the reference voltage VRF, and the determination result VCO is set to a high level.
  • the long-exposure sample-and-hold signal SDHC rises.
  • the determination result VCO is set to a high level
  • the long-exposure sample-and-hold signal SDHC is not selected by the selector 633.
  • the sample-and-hold signal SD remains low, and the sample-and-hold transistor ST2 remains off.
  • the charge corresponding to the short-exposure D-phase level output from the amplification transistor 125 is not held in the sample-and-hold capacitor C2.
  • the long-exposure sample-and-hold signal SDHC, the sample-and-hold signal SD, and the reset signal RB fall.
  • the transfer signal TRG rises and the transfer transistor 122 is turned on. At this time, the charge accumulated in the photodiode PD during the short exposure is transferred to the floating diffusion FD1. A voltage corresponding to the charge transferred to the floating diffusion FD1 is then applied to the gate of the amplification transistor 125. Then, based on the source follower operation between the amplification transistor 125 and the current source 130, a read level V1 corresponding to the voltage applied to the gate of the amplification transistor 125 is applied to the inputs of the sample and hold capacitors C1 and C2.
  • the short-exposure sample-and-hold signal SDLC rises.
  • the judgment result VCO is set to a high level
  • the short-exposure sample-and-hold signal SDLC is selected by the selector 633.
  • the sample-and-hold signal SD rises, turning on the sample-and-hold transistor ST2.
  • the reset signal RB rises, turning on the reset transistor 126.
  • a charge corresponding to the short-exposure D-phase level output from the amplification transistor 125 is held in the sample-and-hold capacitor C2.
  • the exposure time of the photodiode PD is switched based on the determination result of the readout level V1 determined within the pixel PIX9 capable of global shutter operation. This makes it possible to read from the photodiode PD with an exposure time selected according to the illuminance, without reading from the pixel PIX9 for each exposure time of the photodiode PD. Therefore, even when conversion efficiency switching is not performed, it is possible to generate an HDR image while suppressing a decrease in frame rate.
  • the exposure time of the photodiode PD was switched based on the determination result of the readout level V1.
  • the configuration of the above-described ninth embodiment may also be applied to a LOFIC pixel, or to a pixel with switchable conversion efficiency.
  • the pixel with switchable conversion efficiency may be any of the pixels in the above-described first to sixth embodiments.
  • the read level V1 is switched based on the determination result of the read level V1 determined in the pixel PIX capable of performing the global shutter operation.
  • semiconductor chips each having a pixel array portion in which pixels are arranged in a matrix are stacked.
  • FIG. 54 is a perspective view showing a first example of a stack of layers in a solid-state imaging device according to the tenth embodiment
  • FIG. 55 is a diagram showing the division positions of pixels in the first example of a stack of layers in a solid-state imaging device according to the tenth embodiment.
  • the solid-state imaging device includes semiconductor chips 1010 and 1020.
  • Semiconductor chip 1010 is stacked on semiconductor chip 1020.
  • An upper pixel array section 1011 is formed on the semiconductor chip 1010.
  • pixels are arranged in a matrix in the row and column directions.
  • a lower pixel array section 1021 and a column signal processing circuit 1022 are formed on the semiconductor chip 1020.
  • pixels are arranged in a matrix in the row and column directions.
  • the column readout circuit 113 and column signal processing section 114 of Figure 2 can be formed in the column signal processing circuit 1022.
  • the pixels formed on the semiconductor chips 1010 and 1020 can be any of the pixels in the first to ninth embodiments described above.
  • the pixel PIX can be divided at the position of line A1-A2 and allocated to the semiconductor chips 1010 and 1020.
  • the photodiode PD can be arranged in the upper pixel array section 1011.
  • the semiconductor chips 1010 and 1020 may be directly bonded. Hybrid bonding can be used to directly bond the semiconductor chips 1010 and 1020. In this case, the semiconductor chips 1010 and 1020 may be electrically connected based on Cu-Cu connections.
  • the material of the semiconductor substrate used for the semiconductor chips 1010 and 1020 may be Si, InGaAs, or InP.
  • FIG. 56 is a perspective view showing a second example of a stack of layers in a solid-state imaging device according to the tenth embodiment
  • FIG. 57 is a diagram showing the division positions of pixels in the second example of a stack of layers in a solid-state imaging device according to the tenth embodiment.
  • the solid-state imaging device includes semiconductor chips 1110, 1120, and 1130.
  • Semiconductor chip 1110 is stacked on semiconductor chip 1120, and semiconductor chip 1120 is stacked on semiconductor chip 1130.
  • An upper pixel array section 1111 is formed on the semiconductor chip 1110. In the upper pixel array section 1111, some of the pixels are arranged in a matrix in the row and column directions.
  • a lower pixel array section 1121 is formed on the semiconductor chip 1120. In the lower pixel array section 1121, some of the pixels are arranged in a matrix in the row and column directions.
  • a column signal processing circuit 1131 is formed on the semiconductor chip 1130.
  • the column readout circuit 113 and column signal processing unit 114 of FIG. 2 can be formed on the column signal processing circuit 1131.
  • the pixels formed on the semiconductor chips 1110 and 1120 can be any of the pixels in the first to ninth embodiments described above.
  • the pixels PIX may be allocated to the semiconductor chips 1110 and 1120 at the positions of the B1-B2 line and the C1-C2 line.
  • the photodiode PD can be arranged in the upper pixel array section 1111.
  • the semiconductor chips 1110, 1120, and 1130 may be directly bonded. Hybrid bonding can be used to directly bond the semiconductor chips 1110, 1120, and 1130. In this case, the semiconductor chips 1110, 1120, and 1130 may be electrically connected based on Cu-Cu connections.
  • the material of the semiconductor substrate used for the semiconductor chips 1110, 1120, and 1130 may be Si, InGaAs, or InP.
  • semiconductor chips on which pixel array sections are formed are stacked. This makes it possible to increase the sensitivity of the solid-state imaging device while suppressing an increase in the mounting area of the semiconductor chip on which the solid-state imaging device is formed.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be realized as a device mounted on any type of moving body, such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, or a robot.
  • Figure 58 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile object control system to which the technology disclosed herein can be applied.
  • the vehicle control system 12000 includes multiple electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside vehicle information detection unit 12030, an inside vehicle information detection unit 12040, and an integrated control unit 12050.
  • the functional configuration of the integrated control unit 12050 also includes a microcomputer 12051, an audio/video output unit 12052, and an in-vehicle network I/F (interface) 12053.
  • the drivetrain control unit 12010 controls the operation of devices related to the vehicle's drivetrain in accordance with various programs.
  • the drivetrain control unit 12010 functions as a control device for a driveforce generating device such as an internal combustion engine or drive motor that generates vehicle driveforce, a driveforce transmission mechanism that transmits driveforce to the wheels, a steering mechanism that adjusts the vehicle's steering angle, and a braking device that generates vehicle braking force.
  • the body system control unit 12020 controls the operation of various devices installed in the vehicle body according to various programs.
  • the body system control unit 12020 functions as a control device for a keyless entry system, a smart key system, a power window device, or various lamps such as headlamps, backup lamps, brake lamps, turn signals, and fog lamps.
  • radio waves transmitted from a portable device that serves as a key or signals from various switches can be input to the body system control unit 12020.
  • the body system control unit 12020 accepts these radio waves or signal inputs and controls the vehicle's door lock device, power window device, lamps, etc.
  • the outside vehicle information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the outside vehicle information detection unit 12030 is connected to an imaging unit 12031.
  • the outside vehicle information detection unit 12030 causes the imaging unit 12031 to capture images outside the vehicle and receives the captured images.
  • the outside vehicle information detection unit 12030 may perform object detection processing or distance detection processing for people, cars, obstacles, signs, characters on the road surface, etc. based on the received images.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of light received.
  • the imaging unit 12031 can output the electrical signal as an image, or as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light, or may be invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects information inside the vehicle. Connected to the in-vehicle information detection unit 12040 is, for example, a driver state detection unit 12041 that detects the driver's state.
  • the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 may calculate the driver's level of fatigue or concentration based on the detection information input from the driver state detection unit 12041, or may determine whether the driver is dozing off.
  • the microcomputer 12051 can calculate control target values for the driving force generating device, steering mechanism, or braking device based on information inside and outside the vehicle acquired by the outside vehicle information detection unit 12030 or the inside vehicle information detection unit 12040, and output control commands to the drive system control unit 12010.
  • the microcomputer 12051 can perform cooperative control aimed at realizing the functions of an ADAS (Advanced Driver Assistance System), including vehicle collision avoidance or impact mitigation, following driving based on the distance between vehicles, maintaining vehicle speed, vehicle collision warning, or vehicle lane departure warning.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generating device, steering mechanism, braking device, etc. based on information about the vehicle's surroundings acquired by the outside vehicle information detection unit 12030 or the inside vehicle information detection unit 12040, thereby enabling cooperative control aimed at autonomous driving, which allows the vehicle to travel autonomously without relying on driver operation.
  • the microcomputer 12051 can output control commands to the body system control unit 12020 based on information outside the vehicle acquired by the vehicle exterior information detection unit 12030.
  • the microcomputer 12051 can control the headlamps according to the position of a preceding vehicle or an oncoming vehicle detected by the vehicle exterior information detection unit 12030, and perform cooperative control aimed at preventing glare, such as switching from high beams to low beams.
  • the audio/video output unit 12052 transmits at least one audio and/or video output signal to an output device capable of visually or audibly notifying vehicle occupants or the outside of the vehicle of information.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an on-board display and a head-up display.
  • Figure 59 shows an example of the installation location of the imaging unit 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, on the front nose, side mirrors, rear bumper, back door, and the top of the windshield inside the vehicle cabin of the vehicle 12100.
  • the imaging unit 12101 provided on the front nose and the imaging unit 12105 provided on the top of the windshield inside the vehicle cabin mainly capture images of the front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided on the side mirrors mainly capture images of the sides of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or back door mainly captures images of the rear of the vehicle 12100.
  • the imaging unit 12105 provided on the top of the windshield inside the vehicle cabin is mainly used to detect leading vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, etc.
  • Imaging range 12111 indicates the imaging range of imaging unit 12101 provided on the front nose
  • imaging ranges 12112 and 12113 indicate the imaging ranges of imaging units 12102 and 12103 provided on the side mirrors, respectively
  • imaging range 12114 indicates the imaging range of imaging unit 12104 provided on the rear bumper or back door.
  • At least one of the image capturing units 12101 to 12104 may have a function for acquiring distance information.
  • at least one of the image capturing units 12101 to 12104 may be a stereo camera consisting of multiple image capturing elements, or an image capturing element having pixels for phase difference detection.
  • the microcomputer 12051 can calculate the distance to each three-dimensional object within the imaging ranges 12111 to 12114 and the change in this distance over time (relative speed with respect to the vehicle 12100), thereby extracting as a preceding vehicle, in particular, the closest three-dimensional object on the path of the vehicle 12100 that is traveling in approximately the same direction as the vehicle 12100 at a predetermined speed (e.g., 0 km/h or higher). Furthermore, the microcomputer 12051 can set the inter-vehicle distance that should be maintained in advance in front of the preceding vehicle, and perform automatic braking control (including follow-up stop control) and automatic acceleration control (including follow-up start control). In this way, cooperative control can be performed for the purpose of autonomous driving, which allows the vehicle to travel autonomously without relying on driver operation.
  • automatic braking control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • the microcomputer 12051 can classify and extract three-dimensional object data regarding three-dimensional objects into categories such as motorcycles, standard vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects, and use this data for automatic obstacle avoidance. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into those that are visible to the driver of the vehicle 12100 and those that are difficult to see.
  • the microcomputer 12051 determines the collision risk, which indicates the risk of collision with each obstacle, and when the collision risk is equal to or exceeds a set value and a collision is possible, it can provide driving assistance to avoid a collision by outputting an alarm to the driver via the audio speaker 12061 or the display unit 12062, or by performing forced deceleration or evasive steering via the drivetrain control unit 12010.
  • At least one of the image capturing units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize pedestrians by determining whether or not a pedestrian is present in the images captured by the image capturing units 12101 to 12104. Such pedestrian recognition is performed, for example, by extracting feature points in the images captured by the image capturing units 12101 to 12104 as infrared cameras, and performing pattern matching processing on a series of feature points that indicate the outline of an object to determine whether or not the object is a pedestrian.
  • the audio/video output unit 12052 controls the display unit 12062 to superimpose a rectangular outline on the recognized pedestrian for emphasis.
  • the audio/video output unit 12052 may also control the display unit 12062 to display an icon or the like indicating the pedestrian in a desired position.
  • the foregoing describes an example of a vehicle control system to which the technology disclosed herein can be applied.
  • the technology disclosed herein can be applied to the imaging unit 12031 of the configuration described above.
  • the imaging devices of the first to tenth embodiments described above can be applied to the imaging unit 12031.
  • the present technology can also be configured as follows. (1) a pixel capable of generating pixel signals of multiple readout levels; a determination circuit for determining a read level of the pixel signal within the pixel; a switching circuit that switches the readout level of the pixel signal based on a determination result of the readout level of the pixel signal. (2) The imaging device according to (1), wherein the pixel generates pixel signals of the plurality of readout levels based on switching of conversion efficiency.
  • the pixel is a photoelectric conversion element; an amplification transistor that amplifies the pixel signal; a floating diffusion connected to the gate of the amplification transistor; a transfer transistor that transfers the charge accumulated in the photoelectric conversion element to the floating diffusion; a selection transistor that selects an output of the pixel signal amplified by the amplification transistor;
  • the switching circuit switches the switching transistor on and off based on a determination result of the readout level of the pixel signal.
  • the pixel is Horizontal overflow storage capacity; a pass transistor that sets a path for transferring the charge stored in the lateral overflow storage capacitor to the floating diffusion; The imaging device according to (4), wherein the switching circuit switches the switching transistor and the pass transistor on and off based on a result of determining a read level of the pixel signal.
  • the pixel is A plurality of photoelectric conversion elements having different sensitivities are provided, The imaging device according to (1), wherein the switching circuit switches the photoelectric conversion elements used to generate the pixel signals based on a determination result of a readout level of the pixel signals.
  • the pixel is a plurality of photoelectric conversion elements having different exposure times;
  • the pixel is Equipped with a photoelectric conversion element capable of switching exposure time,
  • the sample and hold circuit a first sample-and-hold capacitor that holds a charge corresponding to a P-phase level; a second sample-and-hold capacitor for holding a charge corresponding to a D-phase level;
  • the determination circuit is separated from the first sample-and-hold capacitor and the second sample-and-hold capacitor when determining the readout level of the pixel signal.
  • the imaging device (14) a first sample-and-hold transistor that sets the sampling timing of the P-phase level; a second sample-and-hold transistor that sets the sampling timing of the D-phase level;
  • the imaging device (12) or (13), wherein the switching circuit switches the second sample-and-hold transistor on and off based on a result of determining the readout level of the pixel signal.
  • the imaging device according to any one of (1) to (14), further comprising a vertical signal line shared for reading out pixel signals from the pixels and for reading out determination results of readout levels of the pixel signals.
  • Imaging device 101 Optical system 102 Solid-state imaging device 103 Imaging control section 104 Image processing section 105 Storage section 106 Display section 107 Operation section 108 Bus 111 Pixel array section 112 Vertical scanning circuit 113 Column readout circuit 114 Column signal processing section 115 Horizontal scanning circuit 116 Control circuit 117 Vertical signal line 118 Horizontal drive line PIX Pixel PD Photodiode FD1, FD2 Floating diffusion 122 Transfer transistor 123, 126 Reset transistor 124 Switching transistor 125, 127 Amplifying transistor 128 Selecting transistor 129 Judgment value reading transistor SH Sample and hold circuit C1, C2 Sample and hold capacitance ST1, ST2 Sample and hold transistor 130, 134 Current source 131 Comparator 132 Latch circuit 133 Selector

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

フレームレートの低下を抑制しつつ、各画素に入射される照度に応じた読出レベルの画素信号を各画素から読出し可能とする。 撮像装置は、複数の読出レベルの画素信号を生成可能な画素と、画素内で画素信号の読出レベルを判定する判定回路と、画素信号の読出レベルの判定結果に基づいて、画素信号の読出レベルを切り替える切替回路とを備える。画素は、グローバルシャッタ動作に基づいて画素信号をサンプルホールドするサンプルホールド回路を備えてもよい。

Description

撮像装置および撮像方法
 本技術は、撮像装置および撮像方法に関する。詳しくは、本技術は、画素の読出レベルを切り替え可能な撮像装置および撮像方法に関する。
 撮像装置のダイナミックレンジを拡大するため、画素の変換効率を切り替えて読み出す技術がある。例えば、浮遊拡散層と追加容量との間の経路の開閉によって制御される変換効率により出力された電圧を保持する複数の容量素子のいずれかを後段ノードに接続する選択回路を設けた技術が開示されている(例えば、特許文献1参照)。
国際公開第2023/62947号
 しかしながら、上述の従来技術では、各変換効率での画素信号が各画素から読出されるため、フレームレートの低下を招く恐れがあった。
 本技術はこのような状況に鑑みて生み出されたものであり、フレームレートの低下を抑制しつつ、各画素に入射される照度に応じた読出レベルの画素信号を各画素から読出し可能とすることを目的とする。
 本技術は、上述の問題点を解消するためになされたものであり、その第1の側面は、複数の読出レベルの画素信号を生成可能な画素と、前記画素内で前記画素信号の読出レベルを判定する判定回路と、前記画素信号の読出レベルの判定結果に基づいて、前記画素信号の読出レベルを切り替える切替回路とを備える撮像装置である。これにより、画素信号の読出レベルごとに読出しを実施することなく、画素信号の読出レベルに応じた画素からの読出しが実現されるという作用をもたらす。
 また、第1の側面において、前記画素は、変換効率の切替に基づいて、前記複数の読出レベルの画素信号を生成してもよい。これにより、単一の光電変換素子を画素内に設けることで、画素信号の読出レベルが切り替えられるという作用をもたらす。
 また、第1の側面において、前記画素は、光電変換素子と、前記画素信号を増幅する増幅トランジスタと、前記増幅トランジスタのゲートに接続されるフローティングデフュージョンと、前記光電変換素子に蓄積された電荷を前記フローティングデフュージョンに転送する転送トランジスタと、前記増幅トランジスタで増幅された前記画素信号の出力を選択する選択トランジスタと、前記増幅トランジスタにおける変換効率を切り替える切替トランジスタとを備えてもよい。これにより、変換効率の切替に基づいて複数の読出レベルの画素信号が生成されるという作用をもたらす。
 また、第1の側面において、前記切替回路は、前記画素信号の読出レベルの判定結果に基づいて、前記切替トランジスタのオン・オフを切り替えてもよい。これにより、画素信号の読出レベルの判定結果に基づいて変換効率が切り替えられるという作用をもたらす。
 また、第1の側面において、前記画素は、横型オーバーフロー蓄積容量と、前記横型オーバーフロー蓄積容量に蓄積された電荷が前記フローティングデフュージョンに転送されるパスを設定するパストランジスタとを備え、前記切替回路は、前記画素信号の読出レベルの判定結果に基づいて、前記切替トランジスタおよび前記パストランジスタのオン・オフを切り替えてもよい。これにより、画素信号の読出レベルの判定結果に基づいて、3段階の変換効率の切り替えが実現されるという作用をもたらす。
 また、第1の側面において、前記画素は、感度が互いに異なる複数の光電変換素子を備え、前記切替回路は、前記画素信号の読出レベルの判定結果に基づいて、前記画素信号の生成に用いられる前記光電変換素子を切り替えてもよい。これにより、複数の光電変換素子を画素内に設けることで、画素信号の読出レベルが切り替えられるという作用をもたらす。
 また、第1の側面において、前記画素は、露光時間が互いに異なる複数の光電変換素子を備え、前記切替回路は、前記画素信号の読出レベルの判定結果に基づいて、前記画素信号の生成に用いられる前記光電変換素子を切り替えてもよい。これにより、複数の光電変換素子を画素内に設けることで、画素信号の読出レベルが切り替えられるという作用をもたらす。
 また、第1の側面において、前記画素は、露光時間を切り替え可能な光電変換素子を備え、前記切替回路は、前記画素信号の読出レベルの判定結果に基づいて、前記光電変換素子で露光される露光時間を切り替えてもよい。これにより、単一の光電変換素子を画素内に設けることで、画素信号の読出レベルが切り替えられるという作用をもたらす。
 また、第1の側面において、前記判定回路は、複数の画素で共有されてもよい。これにより、判定回路の省スペース化を図りつつ、画素信号の読出レベルに応じた画素からの読出しが実現されるという作用をもたらす。
 また、第1の側面において、前記画素信号の読出レベルの判定結果に基づいて前記画素信号の読出レベルが切り替えられた後、ローリングシャッタ動作に基づいて前記画素から前記画素信号が読出されてもよい。これにより、画素信号の読出レベルごとに読出しを実施することなく、画素信号の読出レベルに応じた画素からの読出しが実現されるという作用をもたらす。
 また、第1の側面において、前記画素は、グローバルシャッタ動作に基づいて前記画素信号をサンプルホールドするサンプルホールド回路を備えてもよい。これにより、画素信号の読出レベルごとにサンプルホールドすることなく、画素信号の読出レベルに応じた画素からの読出しが実現されるという作用をもたらす。
 また、第1の側面において、前記サンプルホールド回路は、P相レベルに対応した電荷を保持する第1サンプルホールド容量と、D相レベルに対応した電荷を保持する第2サンプルホールド容量とを備え、前記判定回路は、1フレーム期間の前記P相レベルのサンプリングと前記D相レベルのサンプリングとの間に前記画素信号の読出レベルを判定してもよい。これにより、D相レベルごとに読出しを実施することなく、D相レベルに応じた画素からの読出しが実現されるという作用をもたらす。
 また、第1の側面において、前記判定回路は、前記画素信号の読出レベルの判定時に前記第1サンプルホールド容量および前記第2サンプルホールド容量から切り離されてもよい。これにより、画素信号の読出レベルの判定時に画素信号の読出しにかかる負荷が低減されるという作用をもたらす。
 また、第1の側面において、前記P相レベルのサンプリングタイミングを設定する第1サンプルホールドトランジスタと、前記D相レベルのサンプリングタイミングを設定する第2サンプルホールドトランジスタとを備え、前記切替回路は、前記画素信号の読出レベルの判定結果に基づいて、前記第2サンプルホールドトランジスタのオン・オフを切り替えてもよい。これにより、画素信号の読出レベルごとに読出しを実施することなく、画素信号の読出レベルに応じた画素からの読出しが実現されるという作用をもたらす。
 また、第1の側面において、前記画素からの画素信号の読出しと、前記画素信号の読出レベルの判定結果の読出しとで共有される垂直信号線を備えてもよい。これにより、配線数の増大を抑制しつつ、画素信号の読出レベルの判定結果が読出されるという作用をもたらす。
 また、第1の側面において、前記画素からの画素信号の読出しに用いられる垂直信号線と、前記画素信号の読出レベルの判定結果の読出しに用いられる読出し線とを備えてもよい。これにより、画素信号とは別個に画素信号の読出レベルの判定結果が読出されるという作用をもたらす。
 また、第2の側面は、画素内で画素信号を生成するステップと、前記画素信号の読出レベルを前記画素内で判定するステップと、前記画素信号の読出レベルの判定結果に基づいて前記画素信号の読出レベルを切り替えるステップと、前記画素信号の読出レベルが切り替えられた後、ローリングシャッタ動作に基づいて前記画素から前記画素信号を読出すステップとを備える撮像方法である。これにより、画素信号の読出レベルごとに読出しを実施することなく、画素信号の読出レベルに応じた画素からの読出しが実現されるという作用をもたらす。
 また、第2の側面において、前記画素信号の読出レベルの判定前に前記画素から前記画素信号が読出されなくてもよい。これにより、画素に入射する入射光の照度に応じた画素からの画素信号の読出しが高速化されるという作用をもたらす。
 また、第3の側面は、画素信号をサンプルホールド可能な画素内で前記画素信号を生成するステップと、前記画素信号の読出レベルを前記画素内で判定するステップと、前記画素信号の読出レベルの判定結果に基づいて前記画素信号の読出レベルを切り替えるステップと、前記画素信号の読出レベルが切り替えられた後、グローバルシャッタ動作に基づいて前記画素信号をサンプルホールドするステップと、前記サンプルホールドされた画素信号をロウごとに読出すステップとを備える撮像方法である。これにより、画素信号の読出レベルごとにサンプルホールドすることなく、画素信号の読出レベルに応じた画素からの読出しが実現されるという作用をもたらす。
 また、第3の側面において、前記画素信号の読出レベルの判定前に前記画素信号のD相レベルが前記画素にサンプルホールドされなくてもよい。これにより、画素に入射する入射光の照度に応じた画素からの画素信号の読出しが高速化されるという作用をもたらす。
第1の実施の形態に係る撮像装置の構成例を示すブロック図である。 第1の実施の形態に係る固体撮像装置の構成例を示すブロック図である。 第1の実施の形態に係る固体撮像装置に設けられた画素の第1の回路構成例を示す図である。 第1の実施の形態に係る固体撮像装置の画素信号の読出し処理を示すフローチャートである。 第1の実施の形態に係る固体撮像装置の画素信号の読出レベルと光量の関係を示す図である。 第1の実施の形態に係る固体撮像装置の1フレームに割り当てられる動作期間の一例を示すタイミングチャートである。 第1の実施の形態に係る画素の第1の回路構成例のグローバルシャッタ動作における低照度時の各部の波形の一例を示すタイミングチャートである。 第1の実施の形態に係る画素の第1の回路構成例のグローバルシャッタ動作における高照度時の各部の波形の一例を示すタイミングチャートである。 第1の実施の形態に係る画素の第1の回路構成例の読出し動作時の各部の波形の一例を示すタイミングチャートである。 第1の実施の形態に係るコンパレータの第1の回路構成例を示す図である。 第1の実施の形態に係るコンパレータの第2の回路構成例を示す図である。 第1の実施の形態に係るコンパレータの第2の回路構成例における各部の電圧と光量の関係を示す図である。 第1の実施の形態に係るコンパレータの後段の回路構成例を示す図である。 第1の実施の形態に係る固体撮像装置に設けられた画素の第2の回路構成例を示す図である。 第1の実施の形態に係る画素の第2の回路構成例のグローバルシャッタ動作における各部の波形の一例を示すタイミングチャートである。 第1の実施の形態に係る固体撮像装置に設けられた画素の第3の回路構成例を示す図である。 第1の実施の形態に係る画素の第3の回路構成例のグローバルシャッタ動作における各部の波形の一例を示すタイミングチャートである。 第1の実施の形態に係る固体撮像装置に設けられた画素の第4の回路構成例を示す図である。 第2の実施の形態に係る固体撮像装置に設けられた画素の回路構成例を示す図である。 第2の実施の形態に係る画素の読出し動作時の各部の波形の一例を示すタイミングチャートである。 第3の実施の形態に係る固体撮像装置に設けられた画素の回路構成例を示す図である。 第3の実施の形態に係る固体撮像装置の画素信号の読出し処理を示すフローチャートである。 第3の実施の形態に係る画素のローリングシャッタ動作における低照度時の各部の波形の一例を示すタイミングチャートである。 第3の実施の形態に係る画素のローリングシャッタ動作における高照度時の各部の波形の一例を示すタイミングチャートである。 第4の実施の形態に係る固体撮像装置に設けられた画素の回路構成例を示す図である。 第4の実施の形態に係る固体撮像装置の画素信号の読出し処理を示すフローチャートである。 第4の実施の形態に係る画素のグローバルシャッタ動作における低照度時の各部の波形の一例を示すタイミングチャートである。 第4の実施の形態に係る画素のグローバルシャッタ動作における中照度時の各部の波形の一例を示すタイミングチャートである。 第4の実施の形態に係る画素のグローバルシャッタ動作における高照度時の各部の波形の一例を示すタイミングチャートである。 第5の実施の形態に係る固体撮像装置に設けられた画素の第1の回路構成例を示す図である。 第5の実施の形態に係る固体撮像装置に設けられた画素の第2の回路構成例を示す図である。 第5の実施の形態に係る固体撮像装置に設けられた画素の第3の回路構成例を示す図である。 第5の実施の形態に係る固体撮像装置に設けられた画素の第4の回路構成例を示す図である。 第5の実施の形態に係る固体撮像装置に設けられた画素の第5の回路構成例を示す図である。 第5の実施の形態に係る固体撮像装置に設けられた画素の第6の回路構成例を示す図である。 第6の実施の形態に係る固体撮像装置に設けられた画素の回路構成例を示す図である。 第6の実施の形態に係る固体撮像装置の画素信号の読出し処理を示すフローチャートである。 第6の実施の形態に係る固体撮像装置の1フレームに割り当てられる動作期間の一例を示すタイミングチャートである。 第6の実施の形態に係る画素の第1の回路構成例のグローバルシャッタ動作における低照度時の各部の波形の一例を示すタイミングチャートである。 第6の実施の形態に係る画素の第1の回路構成例のグローバルシャッタ動作における高照度時の各部の波形の一例を示すタイミングチャートである。 第7の実施の形態に係る固体撮像装置に設けられた画素の回路構成例を示す図である。 第7の実施の形態に係る固体撮像装置の画素信号の読出し処理を示すフローチャートである。 第7の実施の形態に係る画素のグローバルシャッタ動作における低照度時の各部の波形の一例を示すタイミングチャートである。 第7の実施の形態に係る画素のグローバルシャッタ動作における高照度時の各部の波形の一例を示すタイミングチャートである。 第8の実施の形態に係る固体撮像装置に設けられた画素の回路構成例を示す図である。 第8の実施の形態に係る固体撮像装置の画素信号の読出し処理を示すフローチャートである。 第8の実施の形態に係る画素のグローバルシャッタ動作における低照度時の各部の波形の一例を示すタイミングチャートである。 第8の実施の形態に係る画素のグローバルシャッタ動作における高照度時の各部の波形の一例を示すタイミングチャートである。 第9の実施の形態に係る固体撮像装置に設けられた画素の回路構成例を示す図である。 第9の実施の形態に係る固体撮像装置の画素信号の読出し処理を示すフローチャートである。 第9の実施の形態に係る固体撮像装置の1フレームに割り当てられる動作期間の一例を示すタイミングチャートである。 第9の実施の形態に係る画素の第1の回路構成例のグローバルシャッタ動作における低照度時の各部の波形の一例を示すタイミングチャートである。 第9の実施の形態に係る画素の第1の回路構成例のグローバルシャッタ動作における高照度時の各部の波形の一例を示すタイミングチャートである。 第10の実施の形態に係る固体撮像装置の第1の積層例を示す斜視図である。 第10の実施の形態に係る固体撮像装置の第1の積層例における画素の分割位置を示す図である。 第10の実施の形態に係る固体撮像装置の第2の積層例を示す斜視図である。 第10の実施の形態に係る固体撮像装置の第2の積層例における画素の分割位置を示す図である。 車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の一例を示す説明図である。
 以下、本技術を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
 1.第1の実施の形態(グローバルシャッタ動作に基づいてサンプルホールド可能な画素信号の読出レベルを判定する判定回路および画素信号の読出レベルを切り替える切替回路を画素に設けた例)
 2.第2の実施の形態(グローバルシャッタ動作に基づいてサンプルホールド可能な画素信号の読出レベルを判定する判定回路および画素信号の生成時の変換効率を切り替える切替回路を画素に設け、判定結果を画素から出力する読出し線を設けた例)
 3.第3の実施の形態(ローリングシャッタ動作に基づいて読出される画素信号の読出レベルを判定する判定回路および画素信号の生成時の変換効率を切り替える切替回路を画素に設け、判定結果を画素から出力する読出し線を設けた例)
 4.第4の実施の形態(グローバルシャッタ動作に基づいてサンプルホールド可能な画素信号の変換効率を3段階に渡って判定する判定回路および画素信号の読出レベルを切り替える切替回路を画素に設けた例)
 5.第5の実施の形態(グローバルシャッタ動作に基づいてサンプルホールド可能な画素信号の読出レベルを判定する判定回路を複数の画素で共有した例)
 6.第6の実施の形態(グローバルシャッタ動作に基づいてサンプルホールド可能な画素信号の読出レベルを判定する判定回路およびサンプルホールドされるD相レベルを切り替える切替回路を画素に設けた例)
 7.第7の実施の形態(グローバルシャッタ動作に基づいてサンプルホールド可能な画素信号の読出レベルを判定する判定回路および画素信号の生成に用いられる高感度フォトダイオードと低感度フォトダイオードとを切り替える切替回路を画素に設けた例)
 8.第8の実施の形態(グローバルシャッタ動作に基づいてサンプルホールド可能な画素信号の読出レベルを判定する判定回路および長時間露光部と短時間露光部とを切り替える切替回路を画素に設けた例)
 9.第9の実施の形態(グローバルシャッタ動作に基づいてサンプルホールド可能な画素信号の読出レベルを判定する判定回路およびフォトダイオードの露光時間を切り替える切替回路を画素に設けた例)
 10.第10の実施の形態(画素アレイ部を積層した例)
 11.移動体への応用例
 <1.第1の実施の形態>
 図1は、第1の実施の形態に係る撮像装置の構成例を示すブロック図である。
 同図において、撮像装置100は、光学系101、固体撮像装置102、撮像制御部103、画像処理部104、記憶部105、表示部106および操作部107を備える。撮像制御部103、画像処理部104、記憶部105、表示部106および操作部107は、バス108を介して互いに接続されている。なお、撮像装置100は、単体としても用いられてもよいし、スマートフォンなどの携帯端末に組み込まれてもよいし、認証装置や監視装置に組み込まれてもよいし、車両やドローンに組み込まれてもよい。
 光学系101は、被写体からの光を固体撮像装置102に入射させ、光学像を固体撮像装置102の受光面に結像させる。光学系101は、例えば、フォーカスレンズ、ズームレンズおよび絞りなどを備えることができる。光学系101は、広角レンズ、標準レンズおよび望遠レンズなどの複数のレンズを備えてもよい。
 固体撮像装置102は、受光面に結像された光学像を画素ごとに電気信号に変換し、その電気信号をデジタル化して出力する。このとき、固体撮像装置102は、入射光の照度に応じた複数の読出レベルの画素信号を出力することができる。固体撮像装置102は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサである。CMOSイメージセンサは、裏面照射型イメージセンサでもよいし、表面照射型イメージセンサでもよい。
 撮像制御部103は、操作部107からの指令に基づいて固体撮像装置102による撮像を制御する。このとき、撮像制御部103は、固体撮像装置102の露光時間、露光量および撮像タイミングなどを制御することができる。
 画像処理部104は、固体撮像装置102からの出力に基づいて画像処理を実施する。画像処理は、例えば、ガンマ補正、ホワイトバランス処理、シャープネス処理、階調変換処理である。画像処理部104は、ソフトウェアに基づいて処理を実行するプロセッサを備えてもよい。また、画像処理部104は、固体撮像装置102から出力された読出レベルが互いに異なる画素信号を合成し、HDR(High Dynamic Rang)画像を生成することができる。
 記憶部105は、固体撮像装置102で撮像された撮像画像を記憶したり、固体撮像装置102の撮像パラメータなどを記憶したりする。また、記憶部105は、ソフトウェアに基づいて撮像装置100を動作させるプログラムを記憶することができる。記憶部105は、ROM(Read Only Memory)、RAM(Random Access Memory)およびメモリカードを含んでもよい。
 表示部106は、撮像画像を表示したり、撮像操作をサポートする各種情報を表示したりする。表示部106は、液晶ディスプレイでもよいし、有機EL(Electro Luminescence)ディスプレイでもよいし、マイクロLEDディスプレイでもよい。
 操作部107は、撮像装置100を操作するユーザインターフェースを提供する。操作部107は、例えば、撮像装置100に設けられたボタン、ダイヤルおよびスイッチを含んでもよい。操作部107は、表示部106とともにタッチパネルで構成してもよい。
 なお、撮像装置100の形態によっては、上述の機能の一部がなくてよいし、逆に開示していない機能をさらに有してもよい。
 図2は、第1の実施の形態に係る固体撮像装置の構成例を示すブロック図である。
 同図において、固体撮像装置102は、画素アレイ部111、垂直走査回路112、カラム読出し回路113、カラム信号処理部114、水平走査回路115および制御回路116を備える。
 画素アレイ部111は、複数の画素PIXを備える。これらの画素PIXは、ロウ方向(水平方向とも言う)およびカラム方向(垂直方向とも言う)に沿ってマトリックス状に配列される。各画素PIXは、複数の読出レベルの画素信号を生成可能である。各画素PIXは、変換効率の切替に基づいて複数の読出レベルを生成してもよいし、感度の切替に基づいて複数の読出レベルを生成してもよいし、露光時間の切替に基づいて複数の読出レベルを生成してもよい。各画素PIXは、フォトダイオードからオーバーフローした電荷を蓄積するキャパシタを備えてもよい。このキャパシタは、横型オーバーフロー蓄積容量でもよい。このとき、各画素PIXは、LOFIC(Lateral Overflow Integration Capacitor)画素を構成することができる。各画素PIXは、互いに感度が異なる複数のフォトダイオードを備えてもよい。各画素PIXは、フォトダイオードから転送された電荷をサンプルホールドするサンプルホールド回路を備えてもよい。各画素PIXは、ローリングシャッタ動作に基づいて画素信号を読出してもよいし、グローバルシャッタ動作に基づいて画素信号を読出してもよい。各画素PIXは、信号の読出し時にカラム読出し回路113との間でソースフォロワを構成することができる。
 各画素PIXは、ロウごとに水平駆動線118に接続され、カラムごとに垂直信号線117にそれぞれに接続される。水平駆動線118は、各画素120からの信号の読出し時に各画素PIXをロウごとに駆動する。垂直信号線117は、各画素PIXからの信号読出し時に流れる電流に基づく電位をカラムごとにカラム信号処理部114に伝送する。
 各画素PIXは、ベイヤ配列を構成してもよいし、クワッドベイヤ配列を構成してもよい。各画素PIXで受光される光は、可視光であってもよいし、近赤外光(NIR:Near InfraRed)、短波赤外光(SWIR:Short Wavelength InfraRed)、紫外光またはX線などでもよい。
 垂直走査回路112は、読出し対象となる画素PIXをカラム方向に走査する。垂直走査回路112は、垂直レジスタを用いて構成してもよい。垂直走査回路112は、読出し対象となる画素PIXを指定するデコーダを備えてもよい。
 カラム読出し回路113は、各画素PIXからの信号の読出し時に、各画素PIXとの間でソースフォロワを構成することができる。このとき、カラム読出し回路113は、各画素PIXに保持された電荷に基づいて垂直信号線117の電位をそれぞれ変化させることができる。
 カラム信号処理部114は、各画素PIXからカラム方向に伝送された信号を処理する。例えば、カラム信号処理部114は、各画素PIXからカラム方向に伝送された信号に基づいて、相関二重サンプリング(CDS:Correlated Double Sampling)処理を実施することができる。また、カラム信号処理部114は、各画素PIXからカラム方向に伝送された信号に基づいて、AD(Analog to Digital)変換処理を実施し、撮像信号Goutを出力することができる。
 カラム信号処理部114は、カラムADC部114Aを備える。カラムADC部114Aは、AD変換処理をカラムごとに並列に実施することができる。このとき、カラムADC部114Aは、各画素PIXから読出された画素信号と参照信号との比較結果に基づいてカラムごとにAD変換することができる。
 水平走査回路115は、読出し対象となる画素PIXをロウ方向に走査する。水平走査回路115は、水平レジスタを用いて構成してもよい。
 制御回路116は、垂直走査回路112、カラム読出し回路113、カラム信号処理部114および水平走査回路115を制御する。例えば、制御回路116は、カラム方向の走査タイミング、ロウ方向の走査タイミング、カラム読出し回路113の動作タイミングおよびカラム信号処理部114の処理タイミングを制御することができる。このとき、制御回路116は、各フレームにおいて、蓄積動作、シャッタ動作およびリード動作がロウごとに実施されるように、垂直走査回路112、カラム読出し回路113、カラム信号処理部114および水平走査回路115を連携させることができる。
 図3は、第1の実施の形態に係る固体撮像装置に設けられた画素の第1の回路構成例を示す図である。
 同図において、画素PIXは、グローバルシャッタ動作に基づいて画素信号をサンプルホールドし、そのサンプルホールドした画素信号を出力可能である。画素PIXは、画素信号の読出レベルV1の判定結果に基づいて画素信号の読出レベルV1を画素PIX内で切り替える。画素PIXは、複数の読出レベルV1の画素信号を生成可能である。このとき、画素PIXは、画素信号の読出レベルV1の判定前に画素信号が画素PIXから出力されないようにすることができる。また、画素PIXは、グローバルシャッタ動作において、画素信号の読出レベルの判定前に画素信号のD相レベルが画素PIXにサンプルホールドされないようにすることができる。画素PIXから読出された画素信号は、垂直信号線117を介してADC(Analog to Digital Converter)135に伝送される。ADC135は、画素PIXから読出された画素信号をAD変換する。ADC135は、カラムごとに設けることができる。
 画素PIXは、フォトダイオードPD、転送トランジスタ122、リセットトランジスタ123、126、切替トランジスタ124、増幅トランジスタ125、127、選択トランジスタ128およびフローティングデフュージョンFD1、FD2を備える。さらに、画素PIXは、サンプルホールド回路SH、判定値読出しトランジスタ129、電流源130、134、コンパレータ131、ラッチ回路132およびセレクタ133を備える。サンプルホールド回路SHは、サンプルホールド容量C1、C2およびサンプルホールドトランジスタST1、ST2を備える。
 転送トランジスタ122、リセットトランジスタ123、切替トランジスタ124、増幅トランジスタ125、127、選択トランジスタ128、判定値読出しトランジスタ129およびサンプルホールドトランジスタST1、ST2は、MOS(Metal Oxide Semiconductor)トランジスタでもよい。
 フォトダイオードPDは、光電変換を実施し、光電変換した電荷を蓄積する。転送トランジスタ122は、フォトダイオードPDに蓄積された電荷をフローティングデフュージョンFD1に転送する。リセットトランジスタ123は、フォトダイオードPDおよびフローティングデフュージョンFD1をリセットする。切替トランジスタ124は、増幅トランジスタ125における変換効率を切り替える。増幅トランジスタ125は、フローティングデフュージョンFD1の電位に応じた信号を出力する。リセットトランジスタ126は、フローティングデフュージョンFD2をリセットする。増幅トランジスタ127は、フローティングデフュージョンFD2の電位に応じた信号を出力する。選択トランジスタ128は、増幅トランジスタ127の出力を選択する。判定値読出しトランジスタ129は、読出レベルV1の判定結果VCOの読出しタイミングを設定する。このとき、画素PIXは、読出レベルV1の判定結果VCOを垂直信号線117に出力することができる。
 サンプルホールド回路SHは、増幅トランジスタ125から出力された画素信号をサンプルホールドする。このとき、サンプルホールド回路SHは、グローバルシャッタ動作に基づいて、画素信号をサンプルホールドすることができる。サンプルホールド容量C1は、増幅トランジスタ125から出力されたP相レベル(リセットレベルとも言う)をサンプルホールドする。サンプルホールド容量C2は、増幅トランジスタ125から出力されたD相レベル(信号レベルとも言う)をサンプルホールドする。サンプルホールドトランジスタST1は、増幅トランジスタ125から出力されたP相レベルのサンプリングタイミングを設定する。サンプルホールドトランジスタST2は、増幅トランジスタ125から出力されたD相レベルのサンプリングタイミングを設定する。
 電流源130は、増幅トランジスタ125との間でソースフォロアを構成する。電流源134は、増幅トランジスタ127との間でソースフォロアを構成する。判定値読出しトランジスタ129は、ラッチ回路132にラッチされた判定結果VCOの読出しタイミングを設定する。
 コンパレータ131は、増幅トランジスタ125から出力された画素信号の読出レベルV1を画素PIX内で判定する。このとき、コンパレータ131は、画素信号の読出レベルV1を参照電圧VRFと比較する。そして、コンパレータ131は、画素信号の読出レベルV1が参照電圧VRF未満の場合、画素PIXに入射される入射光の照度が高照度であると判定することができる。コンパレータ131は、画素PIXに入射される入射光の照度が高照度の場合、画素信号の読出レベルの判定結果VCOをハイレベルに設定することができる。一方、コンパレータ131は、画素信号の読出レベルV1が参照電圧VRF以上の場合、画素PIXに入射される入射光の照度が低照度であると判定することができる。コンパレータ131は、画素PIXに入射される入射光の照度が低照度の場合、画素信号の読出レベルの判定結果VCOをロウレベルに設定することができる。このとき、コンパレータ131は、画素信号の読出レベルV1の判定時にサンプルホールド回路SHから切り離されてもよい。なお、コンパレータ131は、特許請求の範囲に記載の判定回路の一例である。
 ラッチ回路132は、増幅トランジスタ125から出力された画素信号の読出レベルV1の判定結果VCOをラッチする。コンパレータ131およびラッチ回路132は、アクティブ信号CMに基づいてアクティブ化される。
 セレクタ133は、増幅トランジスタ125から出力される画素信号の読出レベルV1を切り替える。このとき、セレクタ133は、切替信号FELに基づいて、画素信号の読出レベルV1の判定結果VCOと切替信号FDGiとを切り替えることができる。切替信号FDGiは、フローティングデフュージョンFD1のリセット時にハイレベルに設定し、切替トランジスタ124をオンすることができる。これにより、フローティングデフュージョンFD1のリセット時にリセットトランジスタ123をオンすることで、リセットトランジスタ123および切替トランジスタ124を介してフローティングデフュージョンFD1を電源電位VDDに接続することができる。なお、セレクタ133は、特許請求の範囲に記載の切替回路の一例である。
 転送トランジスタ122は、フォトダイオードPDのカソードとフローティングデフュージョンFD1との間に接続される。リセットトランジスタ123は、電源電位VDDと切替トランジスタ124との間に接続される。切替トランジスタ124は、リセットトランジスタ123とフローティングデフュージョンFD1との間に接続される。リセットトランジスタ123と切替トランジスタ124との接続点と電源電位VDDとの間には、容量C0が接続される。容量C0は、増幅トランジスタ125における変換効率の設定に用いることができる。増幅トランジスタ127と選択トランジスタ128とは、直列に接続される。増幅トランジスタ127のドレインは、電源電位VDDに接続される。増幅トランジスタ127のゲートは、フローティングデフュージョンFD2に接続される。選択トランジスタ128のソースは、垂直信号線117に接続される。リセットトランジスタ126は、フローティングデフュージョンFD2と電源電位VDDとの間に接続される。サンプルホールド回路SHは、増幅トランジスタ125のソースと、フローティングデフュージョンFD2との間に接続される。判定値読出しトランジスタ129は、ラッチ回路132の出力とフローティングデフュージョンFD2との間に接続される。サンプルホールド容量C1とサンプルホールドトランジスタST1とは、直列に接続される。サンプルホールド容量C2とサンプルホールドトランジスタST2とは、直列に接続される。これらの直列回路は、増幅トランジスタ125のソースと、フローティングデフュージョンFD2との間に並列に接続される。
 転送トランジスタ122のゲートには、転送信号TRGが印加される。リセットトランジスタ123のゲートには、リセット信号RSTが印加される。切替トランジスタ124のゲートには、切替信号FDGが印加される。リセットトランジスタ126のゲートには、リセット信号RBが印加される。選択トランジスタ128のゲートには、選択信号SELが印加される。サンプルホールドトランジスタST1のゲートには、サンプルホールド信号SRが印加される。サンプルホールドトランジスタST2のゲートには、サンプルホールド信号SDが印加される。判定値読出しトランジスタ129のゲートには、判定値読出し信号SBが印加される。転送信号TRG、リセット信号RST、RB、選択信号SEL、切替信号FDGiおよびサンプルホールド信号SR、SDは、図2の水平駆動線118を介して画素PIXに伝送することができる。
 図4は、第1の実施の形態に係る固体撮像装置の画素信号の読出し処理を示すフローチャートである。
 同図において、リセットトランジスタ123および切替トランジスタ124がオンされ、フローティングデフュージョンFD1がリセットされる(ステップS101)。
 次に、サンプルホールドトランジスタST1がオンされ、増幅トランジスタ125から出力されたP相レベルがサンプルホールド容量C1にサンプリングされる(ステップS102)。
 次に、転送トランジスタ122がオンされ、フォトダイオードPDに蓄積された電荷がフローティングデフュージョンFD1に転送される(ステップS103)。
 次に、コンパレータ131において、増幅トランジスタ125から出力された画素信号の読出レベルV1に基づいて照度判定される(ステップS104)。照度判定は、切替トランジスタ124がオフされて高変換効率が維持された状態で実施することができる。そして、照度が高照度の場合、切替トランジスタ124がオンされて低変換効率に切り替えられる(ステップS105)。そして、サンプルホールドトランジスタST2がオンされ、増幅トランジスタ125から低変換効率で出力されたD相レベルがサンプルホールド容量C2にサンプリングされる(ステップS106)。
 一方、照度が低照度の場合、切替トランジスタ124がオフされて高変換効率が維持される。そして、サンプルホールドトランジスタST2がオンされ、増幅トランジスタ125から高変換効率で出力されたD相レベルがサンプルホールド容量C2にサンプリングされる(ステップS106)。
 図5は、第1の実施の形態に係る固体撮像装置の画素信号の読出レベルと光量の関係を示す図である。なお、同図におけるaは、センサ出力と光量との関係を示す図、同図におけるbは、HDR(High Dynamic Rang)画像合成出力と光量との関係を示す図、同図におけるcは、SNRと光量との関係を示す図である。なお、センサ出力は、画素PIXから読出された画素信号をカラム信号処理部でAD変換したデジタル出力を示す。
 同図におけるaにおいて、コンパレータ131において、HCG(High Conversion Gain)出力が判定閾値STHと比較される。判定閾値STHは、参照電圧VRFに基づいて設定することができる。HCG出力が判定閾値STHに達すると、セレクタ133にてLCG(Low Conversion Gain)出力に切り替えられる。判定閾値STHは、飽和レベルSALより低くすることができる。
 同図におけるbにおいて、判定閾値STH未満ではHCG出力が採用され、判定閾値STH以上ではLCG出力が採用される。そして、HCG出力とLCG出力を合成することにより、LCG出力またはHCG出力のみを採用した場合に比べて、変換効率比だけダイナミックレンジを向上させることができる。
 同図におけるcにおいて、判定閾値STH未満ではHCG出力を採用し、判定閾値STH以上ではLCG出力を採用し、HCG出力とLCG出力を合成する。これにより、SNRの低下を抑制しつつ、ダイナミックレンジを向上させることができる。
 図6は、第1の実施の形態に係る固体撮像装置の1フレームに割り当てられる動作期間の一例を示すタイミングチャートである。
 同図において、1フレームには、グローバルシャッタ期間GSと、読出し期間RDが割り当てられる。グローバルシャッタ期間GSでは、画素アレイ部111に配置された全ての画素PIXについて、グローバルシャッタ動作が一斉に実行される。グローバルシャッタ動作では、画素アレイ部111に配置された各画素PIXにおいて、P相サンプリング、照度判定およびD相サンプリングが一斉に実行される。D相サンプリングでは、各画素PIXにおける照度判定結果に基づいて、HCG出力およびLCG出力のいずれか一方のみが画素PIXごとに個別にD相サンプリングされる。ここで、各画素PIXの照度判定結果に応じたHCG出力およびLCG出力のいずれか一方のみを各画素PIXにD相サンプリングすることができる。これにより、HCG出力およびLCG出力の両方を画素PIXごとにD相サンプリングする必要がなくなり、グローバルシャッタ期間GSを短縮することができる。
 読出し期間RDでは、画素アレイ部111に配置された画素PIXについて、P相読出しおよびD相読出しがロウごとに実行される。ここで、P相読出しおよびD相読出しにおいて、各画素PIXの照度判定結果に応じたHCG出力およびLCG出力のいずれか一方のみを各画素PIXから読出せばよく、HCG出力およびLCG出力の両方を各画素PIXから読出す必要がなくなることから、読出し期間RDを短縮することができる。このとき、照度判定を画素PIX内で実施する方法では、変換効率切替ありの読出し期間RDを変換効率切替なしの読出し期間RDと等しくすることができる。一方、照度判定を画素PIX外で行う方法では、変換効率切替ありの読出し期間RDは、変換効率切替なしの読出し期間RDの2倍になる。
 図7は、第1の実施の形態に係る画素の第1の回路構成例のグローバルシャッタ動作における低照度時の各部の波形の一例を示すタイミングチャートである。
 同図において、このグローバルシャッタ動作では、PDリセット期間P11、露光期間P12、FDリセット期間P13、P相サンプリング期間P14、電荷転送期間P15、照度判定期間P16、変換効率切替期間P17およびD相サンプリング期間P18が設けられる。
 PDリセット期間P11では、リセット信号RB、サンプルホールド信号SR、SD、アクティブ信号CMおよび切替信号FELがロウレベルに設定される。このとき、リセットトランジスタ126およびサンプルホールドトランジスタST1、ST2はオフされ、コンパレータ131およびラッチ回路132は非アクティブ化され、セレクタ133にて切替信号FDGiが選択される。そして、転送信号TRG、リセット信号RSTおよび切替信号FDGが立ち上がり、転送トランジスタ122、リセットトランジスタ123および切替トランジスタ124がオンされる。このとき、増幅トランジスタ125における変換効率が低変換効率に設定されるとともに、フォトダイオードPDおよびフローティングデフュージョンFD1の電荷がリセットされる。
 露光期間P12では、転送信号TRG、リセット信号RSTおよび切替信号FDGが立ち下がり、転送トランジスタ122、リセットトランジスタ123および切替トランジスタ124がオフされる。このとき、増幅トランジスタ125における変換効率が高変換効率に設定されるとともに、入射光の光量に応じてフォトダイオードPDに電荷が蓄積される。
 FDリセット期間P13では、リセット信号RSTおよび切替信号FDGが立ち上がり、リセットトランジスタ123および切替トランジスタ124がオンされる。このとき、増幅トランジスタ125における変換効率が低変換効率に設定されるとともに、フローティングデフュージョンFD1の電荷がリセットされる。
 P相サンプリング期間P14では、リセット信号RBおよびサンプルホールド信号SRが立ち上がり、リセットトランジスタ126およびサンプルホールドトランジスタST1がオンされる。このとき、増幅トランジスタ125から出力されたP相レベルに応じた電荷がサンプルホールド容量C1に保持される。
 電荷転送期間P15では、転送信号TRGが立ち上がり、転送トランジスタ122がオンされる。このとき、フォトダイオードPDに蓄積された電荷がフローティングデフュージョンFD1に転送される。ここで、フローティングデフュージョンFD1に転送された電荷に応じた電圧が増幅トランジスタ125のゲートに印加される。そして、増幅トランジスタ125と電流源130との間のソースフォロワ動作に基づいて、増幅トランジスタ125のゲートに印加された電圧に応じた読出レベルV1がコンパレータ131に入力される。
 照度判定期間P16では、アクティブ信号CMが立ち上がり、コンパレータ131およびラッチ回路132がアクティブ化される。そして、コンパレータ131にて画素信号の読出レベルV1が参照電圧VRFと比較され、読出レベルV1の判定結果VCOがラッチ回路132にラッチされる。低照度時では、画素信号の読出レベルV1が参照電圧VRF以上となり、判定結果VCOはロウレベルに設定される。
 変換効率切替期間P17では、切替信号FELが立ち上がる。このとき、セレクタ133は、ラッチ回路132にラッチされた判定結果VCOを切替信号FDGとして選択し、切替トランジスタ124のゲートに印加する。ここで、低照度時では、判定結果VCOはロウレベルに設定される。このため、切替信号FDGはロウレベルを維持し、切替トランジスタ124はオフされる。従って、増幅トランジスタ125の変換効率は高変換効率に設定され、画素信号の読出レベルV1は、HCG出力に設定される。
 D相サンプリング期間P18では、リセット信号RBおよびサンプルホールド信号SDが立ち上がり、リセットトランジスタ126およびサンプルホールドトランジスタST2がオンされる。このとき、増幅トランジスタ125から出力された高変換効率のD相レベル(HCG出力)に応じた電荷がサンプルホールド容量C2に保持される。
 図8は、第1の実施の形態に係る画素の第1の回路構成例のグローバルシャッタ動作における高照度時の各部の波形の一例を示すタイミングチャートである。
 同図において、PDリセット期間P11、露光期間P12、FDリセット期間P13、P相サンプリング期間P14および電荷転送期間P15の高照度時の動作は、低照度時の動作と同様である。
 照度判定期間P16において、アクティブ信号CMが立ち上がり、コンパレータ131およびラッチ回路132がアクティブ化される。そして、コンパレータ131にて画素信号の読出レベルV1が参照電圧VRFと比較され、読出レベルV1の判定結果VCOがラッチ回路132にラッチされる。高照度時では、画素信号の読出レベルV1が参照電圧VRF未満となり、判定結果VCOはハイレベルに設定される。
 変換効率切替期間P17では、切替信号FELが立ち上がる。このとき、セレクタ133は、ラッチ回路132にラッチされた判定結果VCOを切替信号FDGとして選択し、切替トランジスタ124のゲートに印加する。このとき、高照度時では、判定結果VCOはハイレベルに設定される。このため、切替信号FDGが立ち上がり、切替トランジスタ124はオンされる。従って、増幅トランジスタ125の変換効率は低変換効率に設定され、画素信号の読出レベルV1は、LCG出力に設定される。
 D相サンプリング期間P18では、リセット信号RBおよびサンプルホールド信号SDが立ち上がり、リセットトランジスタ126およびサンプルホールドトランジスタST2がオンされる。このとき、増幅トランジスタ125から出力された低変換効率のD相レベル(LCG出力)に応じた電荷がサンプルホールド容量C2に保持される。
 図9は、第1の実施の形態に係る画素の第1の回路構成例の読出し動作時の各部の波形の一例を示すタイミングチャートである。
 同図において、この読出し動作では、P相読出し期間P21、D相読出し期間P22および判定結果読出し期間P23が設けられる。
 P相読出し期間P21では、リセット信号RST、切替信号FDGおよび選択信号SELがハイレベルに設定される。このとき、リセットトランジスタ123、切替トランジスタ124および選択トランジスタ128がオンされる。また、サンプルホールド信号SD、リセット信号RB、判定値読出し信号SBおよび切替信号FELがロウレベルに設定される。このとき、サンプルホールドトランジスタST2、リセットトランジスタ126、判定値読出しトランジスタ129はオフされ、セレクタ133にて切替信号FDGiが選択される。そして、サンプルホールド信号SRが立ち上がり、サンプルホールドトランジスタST1がオンされる。このとき、サンプルホールド容量C1に保持されていた電荷がフローティングデフュージョンFD2に転送される。ここで、フローティングデフュージョンFD2に転送された電荷に応じた電圧が増幅トランジスタ127のゲートに印加される。そして、増幅トランジスタ127と電流源134との間のソースフォロワ動作に基づいて、増幅トランジスタ127のゲートに印加されたP相レベルに応じて垂直信号線117の電位VSLが設定され、ADC135に入力される。その後、サンプルホールド信号SRが立ち下がり、サンプルホールドトランジスタST1がオフされる。
 P相読出し期間P21後、リセット信号RBが立ち上がり、リセットトランジスタ126はオンされる。このとき、フローティングデフュージョンFD2がリセットされる。その後、セット信号RBが立ち下がり、リセットトランジスタ126はオフされる。
 D相読出し期間P22では、サンプルホールド信号SDが立ち上がり、サンプルホールドトランジスタST2がオンされる。このとき、サンプルホールド容量C2に保持されていた電荷がフローティングデフュージョンFD2に転送される。ここで、フローティングデフュージョンFD2に転送された電荷に応じた電圧が増幅トランジスタ127のゲートに印加される。そして、増幅トランジスタ127と電流源134との間のソースフォロワ動作に基づいて、増幅トランジスタ127のゲートに印加されたD相レベルに応じて垂直信号線117の電位VSLが設定され、ADC135に入力される。その後、サンプルホールド信号SDが立ち下がり、サンプルホールドトランジスタST2がオフされる。
 判定結果読出し期間P23では、判定値読出し信号SBが立ち上がり、判定値読出しトランジスタ129がオンされる。このとき、判定結果VCOに応じた電荷がフローティングデフュージョンFD2に転送される。ここで、フローティングデフュージョンFD2に転送された電荷に応じた電圧が増幅トランジスタ127のゲートに印加される。そして、増幅トランジスタ127と電流源134との間のソースフォロワ動作に基づいて、増幅トランジスタ127のゲートに印加された判定電圧に応じて垂直信号線117の電位VSLが設定され、ADC135に入力される。その後、判定値読出し信号SBが立ち下がり、判定値読出しトランジスタ129がオフされる。
 判定結果読出し期間P23後、リセット信号RST、切替信号FDGおよび選択信号SELが立ち下がり、リセットトランジスタ123、切替トランジスタ124および選択トランジスタ128がオフされる。
 図10は、第1の実施の形態に係るコンパレータの第1の回路構成例を示す図である。
 同図において、コンパレータ131は、差動入力に基づいて、画素信号の読出レベルV1を参照電圧VRFと比較することができる。このとき、コンパレータ131は、画素信号の読出レベルV1と参照電圧VRFとの差分に応じた電圧を出力する。コンパレータ131は、PMOSトランジスタ141、142、145、NMOSトランジスタ143、144および電流源146、147を備える。
 PMOSトランジスタ141とNMOSトランジスタ143とは互いに直列に接続されている。PMOSトランジスタ142とNMOSトランジスタ144とは互いに直列に接続されている。各PMOSトランジスタ141、142のソースは、電源電位VDDに接続され、各PMOSトランジスタ141、142のゲートは、PMOSトランジスタ141のドレインに接続される。このとき、PMOSトランジスタ141、142は、カレントミラーを構成することができる。
 NMOSトランジスタ143のゲートには、画素信号の読出レベルV1が入力される。NMOSトランジスタ144のゲートには、参照電圧VRFが入力される。各NMOSトランジスタ143、144のソースは、電流源146を介して接地電位に接続される。NMOSトランジスタ144のドレインは、PMOSトランジスタ145のゲートに接続される。PMOSトランジスタ145のソースは、電源電位VDDに接続される。PMOSトランジスタ145のドレインは、電流源147を介して接地電位に接続される。
 ラッチ回路132は、NMOSトランジスタ151および容量152を備える。NMOSトランジスタ151のドレインは、PMOSトランジスタ145のドレインに接続される。NMOSトランジスタ151のソースと接地電位との間には、容量152が接続される。
 図11は、第1の実施の形態に係るコンパレータの第2の回路構成例を示す図である。
 同図において、コンパレータ131Aは、シングルエンド入力に基づいて、画素信号の読出レベルV1を参照電圧VRFと比較することができる。このとき、コンパレータ131Aは、画素信号の読出レベルV1と参照電圧VRFとの差分に基づいて出力を反転させることができる。コンパレータ131Aは、PMOSトランジスタ161、NMOSトランジスタ162および電流源163を備える。
 PMOSトランジスタ161は、増幅トランジスタ125と電流源130との間に接続される。このとき、PMOSトランジスタ161のソースには、画素信号の読出レベルV1が印加される。PMOSトランジスタ161のゲートには、参照電圧VRFが印加される。PMOSトランジスタ161のドレインからは電圧V2が出力される。
 NMOSトランジスタ162と電流源163とは互いに直列に接続される。NMOSトランジスタ162のゲートは、PMOSトランジスタ161のドレインに接続される。このとき、NMOSトランジスタ162のゲートには、ドレイン電圧V2が印加される。NMOSトランジスタ162のドレインは、NMOSトランジスタ151のドレインに接続される。NMOSトランジスタ162のドレインからはドレイン電圧V3が出力される。
 図12は、第1の実施の形態に係るコンパレータの第2の回路構成例における各部の電圧と光量の関係を示す図である。
 同図におけるaにおいて、画素信号の読出レベルV1は、増幅トランジスタ125からのHCG出力に基づいて設定される。光量が0では画素信号の読出レベルV1は、リセットレベルRLに設定される。光量の増大に伴って、画素信号の読出レベルV1は低下し、VRF+Vthに近づく。Vthは、PMOSトランジスタ161の閾値電圧である。このとき、同図におけるbに示すように、画素信号の読出レベルV1の低下に伴って、PMOSトランジスタ161のドレイン電圧V2も低下する。同図におけるcに示すように、画素信号の読出レベルV1がVRF+Vthに一致する前は、NMOSトランジスタ162のドレイン電圧V3は、ロウレベルに設定される。
 そして、画素信号の読出レベルV1がVRF+Vthに一致すると、同図におけるbに示すように、PMOSトランジスタ161のドレイン電圧V2はほぼ0になる。このとき、同図におけるcに示すように、NMOSトランジスタ162のドレイン電圧V3は、ハイレベルに反転する。
 図13は、第1の実施の形態に係るコンパレータの後段の回路構成例を示す図である。
 図13において、この構成では、図11のコンパレータ131Aの後段にラッチ回路132を介してセレクタ133が接続される。
 セレクタ133は、NMOSトランジスタ171、172を備える。NMOSトランジスタ171、172は、互いに直列に接続される。NMOSトランジスタ171、172の接続点は、切替トランジスタ124のゲートに接続される。NMOSトランジスタ171のドレインには、画素信号の読出レベルV1の判定結果VCOが印加される。NMOSトランジスタ172のソースには、切替信号FDGiが印加される。NMOSトランジスタ171のゲートには、切替信号FELが印加される。NMOSトランジスタ172のゲートには、切替信号FELBが印加される。切替信号FELBは、切替信号FELを反転させた信号である。このとき、セレクタ133は、切替信号FELがハイレベルでは、画素信号の読出レベルV1の判定結果VCOを切替信号FDGとして選択し、切替信号FELがロウレベルでは、切替信号FDGiを切替信号FDGとして選択することができる。
 図14は、第1の実施の形態に係る固体撮像装置に設けられた画素の第2の回路構成例を示す図である。
 図14において、画素PIXAは、図3のサンプルホールド回路SHに代えて、サンプルホールド回路SHAを備える。画素PIXAのそれ以外の構成は、図3の画素PIXの構成と同様である。サンプルホールド回路SHAは、サンプルホールド容量C1A、C2AおよびサンプルホールドトランジスタST1A、ST2Aを備える。
 サンプルホールド容量C1Aは、増幅トランジスタ125から出力されたD相レベルをサンプルホールドする。サンプルホールド容量C2Aは、増幅トランジスタ125から出力されたP相レベルをサンプルホールドする。サンプルホールドトランジスタST1Aは、増幅トランジスタ125から出力されたP相レベルの転送タイミングおよびD相レベルのサンプリングタイミングを設定する。サンプルホールドトランジスタST2Aは、増幅トランジスタ125から出力されたP相レベルのサンプリングタイミングを設定する。
 サンプルホールドトランジスタST1Aのゲートには、サンプルホールド信号S1が印加される。サンプルホールドトランジスタST2Aのゲートには、サンプルホールド信号S2が印加される。
 図15は、第1の実施の形態に係る画素の第2の回路構成例のグローバルシャッタ動作における各部の波形の一例を示すタイミングチャートである。なお、同図では、グローバルシャッタ動作における高照度時の各部の波形の一例を示した。グローバルシャッタ動作における低照度時のサンプルホールド信号S1、S2の波形は、グローバルシャッタ動作における高照度時のサンプルホールド信号S1、S2の波形と同様である。
 同図において、このグローバルシャッタ動作では、PDリセット期間P11A、P相サンプリング期間P12A、電荷転送期間P13A、照度判定期間P14A、変換効率切替期間P15AおよびD相サンプリング期間P16Aが設けられる。なお、同図では、露光期間は省略して示した。
 PDリセット期間P11Aでは、転送信号TRG、サンプルホールド信号S1、S2、アクティブ信号CMおよび切替信号FELがロウレベルに設定される。このとき、転送トランジスタ122およびサンプルホールドトランジスタST1、ST2はオフされ、コンパレータ131およびラッチ回路132は非アクティブ化され、セレクタ133にて切替信号FDGiが選択される。そして、リセット信号RSTおよび切替信号FDGが立ち上がり、リセットトランジスタ123および切替トランジスタ124がオンされる。このとき、増幅トランジスタ125における変換効率が低変換効率に設定されるとともに、フローティングデフュージョンFD1の電荷がリセットされる。
 P相サンプリング期間P12Aでは、リセット信号RSTおよび切替信号FDGが立ち下がり、リセットトランジスタ123および切替トランジスタ124がオフされる。このとき、増幅トランジスタ125における変換効率が高変換効率に設定される。また、サンプルホールド信号S1、S2が立ち上がり、サンプルホールドトランジスタST1A、ST2Aがオンされる。このとき、増幅トランジスタ125から出力されたP相レベルに応じた電荷がサンプルホールド容量C2Aに保持される。
 電荷転送期間P13Aでは、転送信号TRGが立ち上がり、転送トランジスタ122がオンされる。このとき、フォトダイオードPDに蓄積された電荷がフローティングデフュージョンFD1に転送される。ここで、フローティングデフュージョンFD1に転送された電荷に応じた電圧が増幅トランジスタ125のゲートに印加される。そして、増幅トランジスタ125と電流源130との間のソースフォロワ動作に基づいて、増幅トランジスタ125のゲートに印加された電圧に応じた読出レベルV1がコンパレータ131に入力される。
 照度判定期間P14Aにおいて、アクティブ信号CMが立ち上がり、コンパレータ131およびラッチ回路132がアクティブ化される。そして、コンパレータ131にて画素信号の読出レベルV1が参照電圧VRFと比較され、読出レベルV1の判定結果VCOがラッチ回路132にラッチされる。高照度時では、画素信号の読出レベルV1が参照電圧VRF以上となり、判定結果VCOはハイレベルに設定される。
 変換効率切替期間P15Aでは、切替信号FELが立ち上がる。このとき、セレクタ133は、ラッチ回路132にラッチされた判定結果VCOを切替信号FDGとして選択し、切替トランジスタ124のゲートに印加する。このとき、高照度時では、判定結果VCOはハイレベルに設定される。このため、切替信号FDGが立ち上がり、切替トランジスタ124はオンされる。従って、増幅トランジスタ125の変換効率は低変換効率に設定され、画素信号の読出レベルV1は、LCG出力に設定される。
 D相サンプリング期間P16Aでは、サンプルホールド信号S1が立ち上がり、サンプルホールドトランジスタST1Aがオンされる。このとき、増幅トランジスタ125から出力された低変換効率のD相レベルに応じた電荷がサンプルホールド容量C1Aに保持される。
 図16は、第1の実施の形態に係る固体撮像装置に設けられた画素の第3の回路構成例を示す図である。
 図16において、画素PIXBは、図3のサンプルホールド回路SHに代えて、サンプルホールド回路SHBを備える。画素PIXBのそれ以外の構成は、図3の画素PIXの構成と同様である。サンプルホールド回路SHBは、サンプルホールド容量C1B、C2BおよびサンプルホールドトランジスタST1B、ST2B、ST3を備える。
 サンプルホールド容量C1Bは、増幅トランジスタ125から出力されたP相レベルをサンプルホールドする。サンプルホールド容量C2Bは、増幅トランジスタ125から出力されたD相レベルをサンプルホールドする。サンプルホールドトランジスタST1Bは、増幅トランジスタ125から出力されたP相レベルのサンプリングタイミングを設定する。サンプルホールドトランジスタST2Bは、増幅トランジスタ125から出力されたD相レベルのサンプリングタイミングを設定する。サンプルホールドトランジスタST3は、サンプルホールド回路SHBと増幅トランジスタ125との接続を切り替える。
 サンプルホールドトランジスタST1Bのゲートには、サンプルホールド信号S1が印加される。サンプルホールドトランジスタST2Bのゲートには、サンプルホールド信号S2が印加される。サンプルホールドトランジスタST3には、サンプルホールド信号SPHが印加される。
 図17は、第1の実施の形態に係る画素の第3の回路構成例のグローバルシャッタ動作における各部の波形の一例を示すタイミングチャートである。なお、同図では、グローバルシャッタ動作における高照度時の各部の波形の一例を示した。
 同図において、このグローバルシャッタ動作では、PDリセット期間P11B、P相サンプリング期間P12B、電荷転送期間P13B、照度判定期間P14B、変換効率切替期間P15BおよびD相サンプリング期間P16Bが設けられる。なお、同図では、露光期間は省略して示した。
 PDリセット期間P11Bでは、転送信号TRG、サンプルホールド信号S1、S2、SPH、アクティブ信号CMおよび切替信号FELがロウレベルに設定される。このとき、転送トランジスタ122およびサンプルホールドトランジスタST1B、ST2B、ST3はオフされ、コンパレータ131およびラッチ回路132は非アクティブ化され、セレクタ133にて切替信号FDGiが選択される。そして、リセット信号RSTおよび切替信号FDGが立ち上がり、リセットトランジスタ123および切替トランジスタ124がオンされる。このとき、増幅トランジスタ125における変換効率が低変換効率に設定されるとともに、フローティングデフュージョンFD1の電荷がリセットされる。
 P相サンプリング期間P12Bでは、リセット信号RSTおよび切替信号FDGが立ち下がり、リセットトランジスタ123および切替トランジスタ124がオフされる。このとき、増幅トランジスタ125における変換効率が高変換効率に設定される。また、サンプルホールド信号S1、SPHが立ち上がり、サンプルホールドトランジスタST1B、ST3がオンされる。このとき、増幅トランジスタ125から出力されたP相レベルに応じた電荷がサンプルホールド容量C2Bに保持される。
 電荷転送期間P13Bでは、転送信号TRGが立ち上がり、転送トランジスタ122がオンされる。このとき、フォトダイオードPDに蓄積された電荷がフローティングデフュージョンFD1に転送される。ここで、フローティングデフュージョンFD1に転送された電荷に応じた電圧が増幅トランジスタ125のゲートに印加される。そして、増幅トランジスタ125と電流源130との間のソースフォロワ動作に基づいて、増幅トランジスタ125のゲートに印加された電圧に応じた読出レベルV1がコンパレータ131に入力される。
 照度判定期間P14Bにおいて、アクティブ信号CMが立ち上がり、コンパレータ131およびラッチ回路132がアクティブ化される。そして、コンパレータ131にて画素信号の読出レベルV1が参照電圧VRFと比較され、読出レベルV1の判定結果VCOがラッチ回路132にラッチされる。高照度時では、画素信号の読出レベルV1が参照電圧VRF以上となり、判定結果VCOはハイレベルに設定される。
 変換効率切替期間P15Bでは、切替信号FELが立ち上がる。このとき、セレクタ133は、ラッチ回路132にラッチされた判定結果VCOを切替信号FDGとして選択し、切替トランジスタ124のゲートに印加する。このとき、高照度時では、判定結果VCOはハイレベルに設定される。このため、切替信号FDGが立ち上がり、切替トランジスタ124はオンされる。従って、増幅トランジスタ125の変換効率は低変換効率に設定され、画素信号の読出レベルV1は、LCG出力に設定される。
 D相サンプリング期間P16Bでは、サンプルホールド信号S2、SPHが立ち上がり、サンプルホールドトランジスタST1B、ST3Aがオンされる。このとき、増幅トランジスタ125から出力された低変換効率のD相レベルに応じた電荷がサンプルホールド容量C1Bに保持される。
 図18は、第1の実施の形態に係る固体撮像装置に設けられた画素の第4の回路構成例を示す図である。
 図18において、画素PIXCは、図3のサンプルホールド回路SHに代えて、サンプルホールド回路SHCを備える。画素PIXCのそれ以外の構成は、図3の画素PIXの構成と同様である。サンプルホールド回路SHCは、サンプルホールド容量C1C、C2CおよびサンプルホールドトランジスタST1C、ST2Cを備える。
 サンプルホールド容量C1Cは、増幅トランジスタ125から出力されたD相レベルをサンプルホールドする。サンプルホールド容量C2Cは、増幅トランジスタ125から出力されたP相レベルをサンプルホールドする。サンプルホールドトランジスタST1Cは、増幅トランジスタ125から出力されたP相レベルの転送タイミングおよびD相レベルのサンプリングタイミングを設定する。サンプルホールドトランジスタST2Cは、増幅トランジスタ125から出力されたP相レベルのサンプリングタイミングを設定する。
 サンプルホールドトランジスタST1Cのゲートには、サンプルホールド信号S1が印加される。サンプルホールドトランジスタST2Cのゲートには、サンプルホールド信号S2が印加される。
 なお、図18の画素PIXCのグローバルシャッタ動作におけるサンプルホールド信号S1、S2の波形は、図14の画素PIXAのグローバルシャッタ動作におけるサンプルホールド信号S1、S2の波形と同様である。
 このように、上述の第1の実施の形態では、グローバルシャッタ動作に基づいてサンプルホールド可能な画素信号の読出レベルV1を判定するコンパレータ131および画素信号の読出レベルV1を切り替えるセレクタ133を画素PIXに設ける。これにより、LCG出力およびHCG出力ごとに画素PIXからの読出しを実施することなく、照度に応じたLCG出力またはHCG出力の画素PIXからの読出しを実現することができる。このため、変換効率の高低に応じた読出し期間RDの増大を抑制しつつ、HDR画像を生成することができる。
 また、LCG出力およびHCG出力ごとにサンプルホールドすることなく、照度に応じたLCG出力またはHCG出力のサンプルホールドを実現することができる。このため、グローバルシャッタ期間GSおよびサンプルホールド回路SHの回路規模の増大を抑制しつつ、動画像の歪のないHDR画像を生成することができる。
 <2.第2の実施の形態>
 上述の第1の実施の形態では、画素PIX内で判定された読出レベルV1の判定結果に基づいて読出レベルV1を切り替えるとともに、垂直信号線117を介して判定結果VCOを読出した。この第2の実施の形態では、画素PIX内で判定された読出レベルV1の判定結果に基づいて読出レベルV1を切り替えるとともに、判定結果VCOを画素から出力する読出し線を設ける。
 図19は、第2の実施の形態に係る固体撮像装置に設けられた画素の回路構成例を示す図である。
 同図において、この固体撮像装置は、図3の画素PIXに代えて、画素PIX2を備える。また、この固体撮像装置は、上述の第1の実施の形態の固体撮像装置に読出し線119が追加されている。この固体撮像装置のそれ以外の構成は、上述の第1の実施の形態の固体撮像装置の構成と同様である。
 画素PIX2は、図3の判定値読出しトランジスタ129に代えて、判定値読出しトランジスタ229を備える。画素PIX2のそれ以外の構成は、図3の画素PIXの構成と同様である。
 判定値読出しトランジスタ229は、ラッチ回路132にラッチされた判定結果VCOの読出しタイミングを設定する。判定値読出しトランジスタ229は、ラッチ回路132の出力と読出し線119との間に接続される。判定値読出しトランジスタ229のゲートには、選択信号SELが印加される。
 読出し線119は、カラムごとに設けられる。読出し線119は、垂直信号線117に並列させてもよい。読出し線119は、判定結果VCOをカラム方向に伝送する。判定結果VCOは、バッファ136を介して読出し線119から読出してもよい。
 図20は、第2の実施の形態に係る画素の読出し動作時の各部の波形の一例を示すタイミングチャートである。
 同図において、このタイミングチャートでは、上述の第1の実施の形態の判定結果読出し期間P23に代えて、判定結果読出し期間P31を備える。また、このタイミングチャートでは、上述の第1の実施の形態の判定結果読出し期間P23が除去される。このタイミングチャートのそれ以外の波形は、上述の第1の実施の形態のタイミングチャートの波形と同様である。
 判定結果読出し期間P31は、P相読出し期間P21およびD相読出し期間P22と重複して設定することができる。
 判定結果読出し期間P31では、選択信号SELが立ち上がり、判定値読出しトランジスタ229がオンされる。このとき、判定結果VCOに応じた電圧が読出し線119に印加され、バッファ136を介して読出される。その後、選択信号SELが立ち下がり、判定値読出しトランジスタ229がオフされる。
 このように、上述の第2の実施の形態では、画素PIX2内で判定された読出レベルV1の判定結果に基づいて読出レベルV1を切り替えるとともに、判定結果VCOを画素PIX2から出力する読出し線119を設ける。これにより、画素信号とは別個に画素信号の読出レベルV1の判定結果VCOを読出すことができ、判定結果VCOの読出タイミングの制約を緩和することができる。
 なお、この第2の実施の形態では、図3のサンプルホールド回路SHを画素PIX2に設けた例を示した。この第2の実施の形態においても、図3のサンプルホールド回路SHに代えて、図14のサンプルホールド回路SHAを設けてもよいし、図16のサンプルホールド回路SHBを設けてもよいし、図18のサンプルホールド回路SHCを設けてもよい。
 <3.第3の実施の形態>
 上述の第1の実施の形態では、グローバルシャッタ動作可能な画素PIX内で判定された読出レベルV1の判定結果に基づいて読出レベルV1を切り替えた。この第3の実施の形態では、ローリングシャッタ動作可能な画素内で判定された読出レベルV1の判定結果に基づいて読出レベルV1を切り替える。
 図21は、第3の実施の形態に係る固体撮像装置に設けられた画素の回路構成例を示す図である。
 同図において、この画素PIX3は、図19のサンプルホールド回路SH、リセットトランジスタ126、増幅トランジスタ127およびフローティングデフュージョンFD2が画素PIX2から除去されている。また、この画素PIX3は、切離トランジスタ301が図19の画素PIX2に追加されている。さらに、この画素PIX3では、判定値読出しトランジスタ229のゲートには、選択信号SELに代えて判定値読出し信号SBが印加される。この画素PIX3のそれ以外の構成は、上述の第2の実施の形態の画素PIX2の構成と同様である。このとき、画素PIX3は、画素信号の読出レベルV1の判定結果に基づいて画素信号の読出レベルV1を切り替えた後、ローリングシャッタ動作に基づいて画素信号を読出すことができる。
 切離トランジスタ301は、アクティブ信号CMに基づいて、増幅トランジスタ125とコンパレータ131との切離を制御する。このとき、画素信号の読出し時に切離トランジスタ301を介してコンパレータ131から増幅トランジスタ125を切り離すことができる。これにより、画素PIX3内で読出レベルV1の判定を可能としつつ、画素信号の読出し時の負荷を低減することができる。切離トランジスタ301は、増幅トランジスタ125と、コンパレータ131の読出レベルV1の入力との間に接続される。切離トランジスタ301と増幅トランジスタ125との接続点は、選択トランジスタ128を介して垂直信号線117に接続される。
 図22は、第3の実施の形態に係る固体撮像装置の画素信号の読出し処理を示すフローチャートである。
 同図において、リセットトランジスタ123および切替トランジスタ124がオンされ、フローティングデフュージョンFD1がリセットされる(ステップS301)。
 次に、選択トランジスタ128がオンされ、フローティングデフュージョンFD1の電荷に応じたP相レベルが増幅トランジスタ125のゲートに印加される。そして、増幅トランジスタ125と電流源134との間のソースフォロワ動作に基づいて、増幅トランジスタ125のゲートに印加されたP相レベルに応じて垂直信号線117の電位VSLが設定され、ADC135に入力される。そして、ADC135において、増幅トランジスタ125から出力されたP相レベルがAD変換される(ステップS302)。
 次に、選択トランジスタ128がオフ、転送トランジスタ122がオンされ、フォトダイオードPDに蓄積された電荷がフローティングデフュージョンFD1に転送される(ステップS303)。
 次に、切離トランジスタ301がオンされ、増幅トランジスタ125から出力された画素信号の読出レベルV1が、切離トランジスタ301を介してコンパレータ131に入力される。そして、コンパレータ131において、増幅トランジスタ125から出力された画素信号の読出レベルV1に基づいて照度判定される(ステップS304)。照度判定は、切替トランジスタ124がオフされて高変換効率が維持された状態で実施することができる。そして、照度が高照度の場合、切替トランジスタ124がオンされて低変換効率に切り替えられる(ステップS305)。そして、選択トランジスタ128がオンされ、フローティングデフュージョンFD1の電荷に応じた低変換効率のP相レベルが増幅トランジスタ125のゲートに印加される。そして、増幅トランジスタ125と電流源134との間のソースフォロワ動作に基づいて、増幅トランジスタ125のゲートに印加された低変換効率のD相レベルに応じて垂直信号線117の電位VSLが設定され、ADC135に入力される。そして、ADC135において、増幅トランジスタ125から出力された低変換効率のD相レベルがAD変換される(ステップS306)。その後、判定値読出しトランジスタ129がオンされ、判定結果VCOが読出し線119を介して読出される。
 一方、照度が低照度の場合、切替トランジスタ124がオフされて高変換効率が維持される。そして、選択トランジスタ128がオンされ、フローティングデフュージョンFD1の電荷に応じた高変換効率のD相レベルが増幅トランジスタ125のゲートに印加される。そして、増幅トランジスタ125と電流源134との間のソースフォロワ動作に基づいて、増幅トランジスタ125のゲートに印加された高変換効率のD相レベルに応じて垂直信号線117の電位VSLが設定され、ADC135に入力される。そして、ADC135において、増幅トランジスタ125から出力された高変換効率のD相レベルがAD変換される(ステップS306)。その後、判定値読出しトランジスタ129がオンされ、判定結果VCOが読出し線119を介して読出される。
 図23は、第3の実施の形態に係る画素のローリングシャッタ動作における低照度時の各部の波形の一例を示すタイミングチャートである。
 同図において、このローリングシャッタ動作では、PDリセット期間P31、P相AD期間P32、電荷転送期間P33、照度判定期間P34、変換効率切替期間P35およびD相AD・判定結果送信期間P36が設けられる。なお、同図では、露光期間は省略して示した。
 PDリセット期間P31では、転送信号TRG、判定値読出し信号SB、選択信号SEL、アクティブ信号CMおよび切替信号FELがロウレベルに設定される。このとき、転送トランジスタ122、判定値読出しトランジスタ229および選択トランジスタ128はオフされ、コンパレータ131およびラッチ回路132は非アクティブ化され、セレクタ133にて切替信号FDGiが選択される。そして、リセット信号RSTおよび切替信号FDGが立ち上がり、リセットトランジスタ123および切替トランジスタ124がオンされる。このとき、増幅トランジスタ125における変換効率が低変換効率に設定されるとともに、フローティングデフュージョンFD1の電荷がリセットされる。
 P相AD期間P32では、リセット信号RSTおよび切替信号FDGが立ち下がり、リセットトランジスタ123および切替トランジスタ124がオフされる。このとき、増幅トランジスタ125における変換効率が高変換効率に設定される。また、選択信号SELが立ち上がり、選択トランジスタ128Aがオンされる。このとき、フローティングデフュージョンFD1の電荷に応じたP相レベルが増幅トランジスタ125のゲートに印加される。そして、増幅トランジスタ125と電流源134との間のソースフォロワ動作に基づいて、増幅トランジスタ125のゲートに印加されたP相レベルに応じて垂直信号線117の電位VSLが設定され、ADC135に入力される。そして、ADC135において、増幅トランジスタ125から出力されたP相レベルがAD変換される。
 電荷転送期間P33では、転送信号TRGが立ち上がり、転送トランジスタ122がオンされる。このとき、フォトダイオードPDに蓄積された電荷がフローティングデフュージョンFD1に転送される。ここで、フローティングデフュージョンFD1に転送された電荷に応じた電圧が増幅トランジスタ125のゲートに印加される。そして、増幅トランジスタ125と電流源130との間のソースフォロワ動作に基づいて、増幅トランジスタ125のゲートに印加された電圧に応じた読出レベルV1がコンパレータ131に入力される。
 照度判定期間P34において、アクティブ信号CMが立ち上がり、コンパレータ131およびラッチ回路132がアクティブ化される。そして、コンパレータ131にて画素信号の読出レベルV1が参照電圧VRFと比較され、読出レベルV1の判定結果VCOがラッチ回路132にラッチされる。低照度時では、画素信号の読出レベルV1が参照電圧VRF以上となり、判定結果VCOはロウレベルに設定される。
 変換効率切替期間P35では、切替信号FELが立ち上がる。このとき、セレクタ133は、ラッチ回路132にラッチされた判定結果VCOを切替信号FDGとして選択し、切替トランジスタ124のゲートに印加する。このとき、低照度時では、判定結果VCOはロウレベルに設定される。このため、切替信号FDGはロウレベルを維持し、切替トランジスタ124はオフされる。従って、増幅トランジスタ125の変換効率は高変換効率に設定され、画素信号の読出レベルV1は、HCG出力に設定される。
 D相AD・判定結果送信期間P36では、選択信号SELおよび判定値読出し信号SBが立ち上がり、選択トランジスタ128および判定値読出しトランジスタ229がオンされる。このとき、フローティングデフュージョンFD1の電荷に応じた高変換効率のD相レベルが増幅トランジスタ125のゲートに印加される。そして、増幅トランジスタ125と電流源134との間のソースフォロワ動作に基づいて、増幅トランジスタ125のゲートに印加された高変換効率のD相レベルに応じて垂直信号線117の電位VSLが設定され、ADC135に入力される。そして、ADC135において、増幅トランジスタ125から出力された高変換効率のD相レベルがAD変換される。また、低照度を示す判定結果VCOが判定値読出しトランジスタ129を介して読出し線119に読出される。
 図24は、第3の実施の形態に係る画素のローリングシャッタ動作における高照度時の各部の波形の一例を示すタイミングチャートである。
 同図において、高照度時のPDリセット期間P31、P相AD期間P32、電荷転送期間P33および照度判定期間P34の動作は、低照度時のPDリセット期間P31、P相AD期間P32、電荷転送期間P33および照度判定期間P34の動作と同様である。ただし、高照度時では、画素信号の読出レベルV1が参照電圧VRF未満となり、判定結果VCOはハイレベルに設定される。
 変換効率切替期間P35では、切替信号FELが立ち上がる。このとき、セレクタ133は、ラッチ回路132にラッチされた判定結果VCOを切替信号FDGとして選択し、切替トランジスタ124のゲートに印加する。ここで、高照度時では、判定結果VCOはハイレベルに設定される。このため、切替信号FDGが立ち上がり、切替トランジスタ124はオンされる。従って、増幅トランジスタ125の変換効率は低変換効率に設定され、画素信号の読出レベルV1は、LCG出力に設定される。
 D相AD・判定結果送信期間P36では、選択信号SELおよび判定値読出し信号SBが立ち上がり、選択トランジスタ128および判定値読出しトランジスタ229がオンされる。このとき、フローティングデフュージョンFD1の電荷に応じた低変換効率のD相レベルが増幅トランジスタ125のゲートに印加される。そして、増幅トランジスタ125と電流源134との間のソースフォロワ動作に基づいて、増幅トランジスタ125のゲートに印加された低変換効率のD相レベルに応じて垂直信号線117の電位VSLが設定され、ADC135に入力される。そして、ADC135において、増幅トランジスタ125から出力された低変換効率のD相レベルがAD変換される。また、高照度を示す判定結果VCOが判定値読出しトランジスタ129を介して読出し線119に読出される。
 このように、上述の第3の実施の形態では、ローリングシャッタ動作可能な画素PIX3内で判定された読出レベルV1の判定結果に基づいて読出レベルV1を切り替える。これにより、LCG出力およびHCG出力ごとに画素PIX3からの読出しを実施することなく、照度に応じたLCG出力またはHCG出力の画素PIX3からの読出しを実現することができる。このため、ローリングシャッタ動作可能な画素PIX3においても、フレームレートの低下を抑制しつつ、HDR画像を生成することができる。
 <4.第4の実施の形態>
 上述の第1の実施の形態では、グローバルシャッタ動作可能な画素PIX内で判定された読出レベルV1の判定結果に基づいて読出レベルV1を2段階に切り替えた。この第4の実施の形態では、グローバルシャッタ動作可能な画素内で判定された読出レベルV1の判定結果に基づいて読出レベルV1を3段階に切り替える。
 図25は、第4の実施の形態に係る固体撮像装置に設けられた画素の回路構成例を示す図である。
 同図において、この画素PIX4は、パストランジスタ401、オーバーフロー制御トランジスタ402および容量C4が図3の画素PIXに追加されている。また、この画素PIX4は、判定値読出しトランジスタ429、ラッチ回路432およびセレクタ433が図3の画素PIXに追加されている。この画素PIX4のそれ以外の構成は、上述の第1の実施の形態の画素PIXの構成と同様である。
 容量C4は、フォトダイオードPDからオーバーフローした電荷を蓄積する。容量C4は、LOFIC(Lateral Overflow Integration Capacitor)でもよい。容量C4は遮光されてもよい。容量C4は、容量C4は、MIM(Metal Insulation Metal)容量を用いることができる。容量C4は、3次元MIM容量でもよい。容量C4は、高誘電体キャパシタでもよい。
 パストランジスタ401は、容量C4に蓄積された電荷がフローティングデフュージョンFD1に転送されるパスを設定する。オーバーフロー制御トランジスタ402は、フォトダイオードPDから容量C4への電荷のオーバーフローを制御する。
 パストランジスタ401は、オーバーフロー制御トランジスタ402と容量C4の接続点と、リセットトランジスタ123と切替トランジスタ124の接続点との間に接続されている。オーバーフロー制御トランジスタ402は、フォトダイオードPDと容量C4との間に接続される。
 パストランジスタ401のゲートには、パス設定信号FCGが印加される。オーバーフロー制御トランジスタ402のゲートには、オーバーフロー制御電圧OFGが印加される。容量C4には、制御電源電圧MVDDが印加される。ここで、制御電源電圧MVDDに基づいて容量C4をパルス駆動することにより、容量C4の暗電流を低減することができる。
 判定値読出しトランジスタ429は、ラッチ回路432にラッチされた判定結果VCO1の読出しタイミングを設定する。判定値読出しトランジスタ429のゲートには、判定値読出し信号SB1が印加される。判定値読出しトランジスタ129は、ラッチ回路132にラッチされた判定結果VCO0の読出しタイミングを設定する。判定値読出しトランジスタ129のゲートには、判定値読出し信号SB0が印加される。
 ラッチ回路432は、増幅トランジスタ125から出力された画素信号の読出レベルV1の判定結果VCO1をラッチする。ラッチ回路432は、アクティブ信号CM1に基づいてアクティブ化される。ラッチ回路132は、増幅トランジスタ125から出力された画素信号の読出レベルV1の判定結果VCO0をラッチする。ラッチ回路132は、アクティブ信号CM0に基づいてアクティブ化される。
 セレクタ433は、増幅トランジスタ125から出力される画素信号の読出レベルV1を切り替える。このとき、セレクタ433は、切替信号FEL1に基づいて、画素信号の読出レベルV1の判定結果VCO1とパス設定信号FCGiとを切り替えることができる。パス設定信号FCGiは、フローティングデフュージョンFD1のリセット時にハイレベルに設定し、パストランジスタ401をオンすることができる。これにより、フローティングデフュージョンFD1のリセット時にリセットトランジスタ123をオンすることで、リセットトランジスタ123およびパストランジスタ401を介して容量C4を電源電位VDDに接続することができる。セレクタ133は、切替信号FEL0に基づいて、画素信号の読出レベルV1の判定結果VCO0と切替信号FDGiとを切り替えることができる。
 図26は、第4の実施の形態に係る固体撮像装置の画素信号の読出し処理を示すフローチャートである。
 同図において、リセットトランジスタ123および切替トランジスタ124がオンされ、フローティングデフュージョンFD1がリセットされる(ステップS401)。
 次に、サンプルホールドトランジスタST1がオンされ、増幅トランジスタ125から出力されたP相レベルがサンプルホールド容量C1にサンプリングされる(ステップS402)。
 次に、転送トランジスタ122がオンされ、フォトダイオードPDに蓄積された電荷がフローティングデフュージョンFD1に転送される(ステップS403)。
 次に、コンパレータ131において、増幅トランジスタ125から出力された画素信号の読出レベルV1に基づいて第1照度判定が実施される(ステップS404)。第1照度判定は、切替トランジスタ124およびパストランジスタ401がオフされて高変換効率が維持された状態で実施することができる。そして、第1照度判定において照度が高照度の場合、切替トランジスタ124がオンされて中変換効率に切り替えられ(ステップS405)、第2照度判定が実施される(ステップS406)。
 一方、第1照度判定において照度が低照度の場合、第2照度判定が実施される(ステップS406)。第2照度判定は、切替トランジスタ124がオン、パストランジスタ401がオフされて中変換効率が維持された状態で実施することができる。そして、第2照度判定において照度が高照度の場合、第1照度判定で高照度と判定されたときは、切替トランジスタ124およびパストランジスタ401がオンされて低変換効率に切り替えられる(ステップS407)。そして、サンプルホールドトランジスタST2がオンされ、増幅トランジスタ125から低変換効率で出力されたD相レベルがサンプルホールド容量C2にサンプリングされる(ステップS408)。
 一方、第2照度判定において照度が低照度の場合、第1照度判定で低照度と判定されたときは、切替トランジスタ124およびパストランジスタ401がオフされて高変換効率に切り替えられる。そして、サンプルホールドトランジスタST2がオンされ、増幅トランジスタ125から高変換効率で出力されたD相レベルがサンプルホールド容量C2にサンプリングされる(ステップS408)。
 また、第2照度判定において照度が低照度の場合、第1照度判定で高照度と判定されたときは、切替トランジスタ124がオン、パストランジスタ401がオフされて中変換効率が維持される。そして、サンプルホールドトランジスタST2がオンされ、増幅トランジスタ125から中変換効率で出力されたD相レベルがサンプルホールド容量C2にサンプリングされる(ステップS408)。
 図27は、第4の実施の形態に係る画素のグローバルシャッタ動作における低照度時の各部の波形の一例を示すタイミングチャートである。
 同図において、このグローバルシャッタ動作では、PDリセット期間P41、露光期間P42、FDリセット期間P43、P相サンプリング期間P44、電荷転送期間P45、照度判定期間P46、P48、変換効率切替期間P47、P49およびD相サンプリング期間P50が設けられる。
 PDリセット期間P41では、リセット信号RB、サンプルホールド信号SR、SD、アクティブ信号CM0、CM1および切替信号FEL0、FEL1がロウレベルに設定される。このとき、リセットトランジスタ126およびサンプルホールドトランジスタST1、ST2はオフされ、ラッチ回路132、432は非アクティブ化され、セレクタ133、433にて切替信号FDGiが選択される。また、オーバーフロー制御電圧OFGはハイレベルに設定され、オーバーフロー制御トランジスタ402はオンされる。そして、転送信号TRG、リセット信号RST、パス設定信号FCGおよび切替信号FDGが立ち上がり、転送トランジスタ122、リセットトランジスタ123、パストランジスタ401および切替トランジスタ124がオンされる。このとき、増幅トランジスタ125における変換効率が低変換効率に設定されるとともに、フォトダイオードPD、容量C4およびフローティングデフュージョンFD1の電荷がリセットされる。
 露光期間P42では、転送信号TRG、リセット信号RST、パス設定信号FCG、オーバーフロー制御電圧OFGおよび切替信号FDGが立ち下がり、転送トランジスタ122、リセットトランジスタ123、パストランジスタ401、オーバーフロー制御トランジスタ402および切替トランジスタ124がオフされる。このとき、増幅トランジスタ125における変換効率が高変換効率に設定されるとともに、入射光の光量に応じてフォトダイオードPDに電荷が蓄積されるとともに、フォトダイオードPDから溢れた電荷が容量C4に蓄積される。
 FDリセット期間P43では、リセット信号RSTおよび切替信号FDGが立ち上がり、リセットトランジスタ123および切替トランジスタ124がオンされる。このとき、増幅トランジスタ125における変換効率が中変換効率に設定されるとともに、フローティングデフュージョンFD1の電荷がリセットされる。
 P相サンプリング期間P44では、リセット信号RBおよびサンプルホールド信号SRが立ち上がり、リセットトランジスタ126およびサンプルホールドトランジスタST1がオンされる。このとき、増幅トランジスタ125から出力されたP相レベルに応じた電荷がサンプルホールド容量C1に保持される。
 電荷転送期間P45では、転送信号TRGが立ち上がり、転送トランジスタ122がオンされる。このとき、フォトダイオードPDに蓄積された電荷がフローティングデフュージョンFD1に転送される。ここで、フローティングデフュージョンFD1に転送された電荷に応じた電圧が増幅トランジスタ125のゲートに印加される。そして、増幅トランジスタ125と電流源130との間のソースフォロワ動作に基づいて、増幅トランジスタ125のゲートに印加された電圧に応じた読出レベルV1がコンパレータ131に入力される。
 照度判定期間P46では、アクティブ信号CM0が立ち上がり、コンパレータ131およびラッチ回路132がアクティブ化される。そして、コンパレータ131にて画素信号の読出レベルV1が参照電圧VRFと比較され、読出レベルV1の判定結果VCO0がラッチ回路132にラッチされる。低照度時では、画素信号の読出レベルV1が参照電圧VRF未満となり、判定結果VCO0はロウレベルに設定される。
 変換効率切替期間P47では、切替信号FEL0が立ち上がる。このとき、セレクタ133は、ラッチ回路132にラッチされた判定結果VCO0を切替信号FDGとして選択し、切替トランジスタ124のゲートに印加する。このとき、低照度時では、判定結果VCO0はロウレベルに設定される。このため、切替信号FDGはロウレベルを維持し、切替トランジスタ124はオフされる。従って、増幅トランジスタ125の変換効率は高変換効率に設定され、画素信号の読出レベルV1は、HCG出力に設定される。
 照度判定期間P48では、アクティブ信号CM1が立ち上がり、コンパレータ131およびラッチ回路432がアクティブ化される。そして、コンパレータ131にて画素信号の読出レベルV1が参照電圧VRFと比較され、読出レベルV1の判定結果VCO1がラッチ回路432にラッチされる。低照度時では、画素信号の読出レベルV1が参照電圧VRF未満となり、判定結果VCO1はロウレベルに設定される。
 変換効率切替期間P49では、切替信号FEL1が立ち上がる。このとき、セレク4133は、ラッチ回路142にラッチされた判定結果VCO1をパス設定信号FCGとして選択し、パストランジスタ401のゲートに印加する。このとき、低照度時では、判定結果VCO1はロウレベルに設定される。このため、パス設定信号FCGはロウレベルを維持し、パストランジスタ401はオフされる。従って、増幅トランジスタ125の変換効率は高変換効率に設定され、画素信号の読出レベルV1は、HCG出力が維持される。
 D相サンプリング期間P50では、リセット信号RBおよびサンプルホールド信号SDが立ち上がり、リセットトランジスタ126およびサンプルホールドトランジスタST2がオンされる。このとき、増幅トランジスタ125から出力された高変換効率のD相レベルに応じた電荷がサンプルホールド容量C2に保持される。
 図28は、第4の実施の形態に係る画素のグローバルシャッタ動作における中照度時の各部の波形の一例を示すタイミングチャートである。
 同図において、中照度時のPDリセット期間P41、露光期間P42、FDリセット期間P43、P相サンプリング期間P44および電荷転送期間P45の動作は、低照度時の中照度時のPDリセット期間P41、露光期間P42、FDリセット期間P43、P相サンプリング期間P44および電荷転送期間P45の動作と同様である。
 照度判定期間P46では、アクティブ信号CM0が立ち上がり、コンパレータ131およびラッチ回路132がアクティブ化される。そして、コンパレータ131にて画素信号の読出レベルV1が参照電圧VRFと比較され、読出レベルV1の判定結果VCO0がラッチ回路132にラッチされる。中照度時では、画素信号の読出レベルV1が参照電圧VRF未満となり、判定結果VCO0はハイレベルに設定される。
 変換効率切替期間P47では、切替信号FEL0が立ち上がる。このとき、セレクタ133は、ラッチ回路132にラッチされた判定結果VCO0を切替信号FDGとして選択し、切替トランジスタ124のゲートに印加する。このとき、中照度時では、判定結果VCO0はハイレベルに設定される。このため、切替信号FDGが立ち上がり、切替トランジスタ124はオンされる。従って、増幅トランジスタ125の変換効率は中変換効率に設定され、画素信号の読出レベルV1は、MCG(Middle Conversion Gain)出力に設定される。
 照度判定期間P48では、アクティブ信号CM1が立ち上がり、コンパレータ131およびラッチ回路432がアクティブ化される。そして、コンパレータ131にて画素信号の読出レベルV1が参照電圧VRFと比較され、読出レベルV1の判定結果VCO1がラッチ回路432にラッチされる。中照度時では、画素信号の読出レベルV1が参照電圧VRF以上となり、判定結果VCO1はロウレベルに設定される。
 変換効率切替期間P49では、切替信号FEL1が立ち上がる。このとき、セレク4133は、ラッチ回路142にラッチされた判定結果VCO1をパス設定信号FCGとして選択し、パストランジスタ401のゲートに印加する。ここで、中照度時では、判定結果VCO1はロウレベルに設定される。このため、パス設定信号FCGはロウレベルを維持し、パストランジスタ401はオフされる。従って、増幅トランジスタ125の変換効率は中変換効率を維持し、画素信号の読出レベルV1は、MCG出力を維持する。
 D相サンプリング期間P50では、リセット信号RBおよびサンプルホールド信号SDが立ち上がり、リセットトランジスタ126およびサンプルホールドトランジスタST2がオンされる。このとき、増幅トランジスタ125から出力された中変換効率のD相レベルに応じた電荷がサンプルホールド容量C2に保持される。
 図29は、第4の実施の形態に係る画素のグローバルシャッタ動作における高照度時の各部の波形の一例を示すタイミングチャートである。
 同図において、高照度時のPDリセット期間P41、露光期間P42、FDリセット期間P43、P相サンプリング期間P44および電荷転送期間P45の動作は、低照度時のPDリセット期間P41、露光期間P42、FDリセット期間P43、P相サンプリング期間P44および電荷転送期間P45の動作と同様である。
 照度判定期間P46では、アクティブ信号CM0が立ち上がり、コンパレータ131およびラッチ回路132がアクティブ化される。そして、コンパレータ131にて画素信号の読出レベルV1が参照電圧VRFと比較され、読出レベルV1の判定結果VCO0がラッチ回路132にラッチされる。高照度時では、画素信号の読出レベルV1が参照電圧VRF未満となり、判定結果VCO0はハイレベルに設定される。
 変換効率切替期間P47では、切替信号FEL0が立ち上がる。このとき、セレクタ133は、ラッチ回路132にラッチされた判定結果VCO0を切替信号FDGとして選択し、切替トランジスタ124のゲートに印加する。このとき、高照度時では、判定結果VCO0はハイレベルに設定される。このため、切替信号FDGが立ち上がり、切替トランジスタ124はオンされる。従って、増幅トランジスタ125の変換効率は中変換効率に設定され、画素信号の読出レベルV1は、MCG出力に設定される。
 照度判定期間P48では、アクティブ信号CM1が立ち上がり、コンパレータ131およびラッチ回路432がアクティブ化される。そして、コンパレータ131にて画素信号の読出レベルV1が参照電圧VRFと比較され、読出レベルV1の判定結果VCO1がラッチ回路432にラッチされる。高照度時では、画素信号の読出レベルV1が参照電圧VRF未満となり、判定結果VCO1はハイレベルに設定される。
 変換効率切替期間P49では、切替信号FEL1が立ち上がる。このとき、セレク4133は、ラッチ回路142にラッチされた判定結果VCO1をパス設定信号FCGとして選択し、パストランジスタ401のゲートに印加する。このとき、高照度時では、判定結果VCO1はハイレベルに設定される。このため、パス設定信号FCGはハイレベルに設定され、パストランジスタ401はオンされる。従って、増幅トランジスタ125の変換効率は低変換効率に設定され、画素信号の読出レベルV1は、MCG出力からLCG出力に変更される。
 D相サンプリング期間P50では、リセット信号RBおよびサンプルホールド信号SDが立ち上がり、リセットトランジスタ126およびサンプルホールドトランジスタST2がオンされる。このとき、増幅トランジスタ125から出力された低変換効率のD相レベルに応じた電荷がサンプルホールド容量C2に保持される。
 このように、上述の第4の実施の形態では、グローバルシャッタ動作可能な画素PIX4内で判定された読出レベルV1の判定結果に基づいて読出レベルV1を3段階に切り替える。これにより、LCG出力、MCG出力およびHCG出力ごとに画素PIX4からの読出しを実施することなく、照度に応じたLCG出力、MCG出力またはHCG出力の画素PIX4からの読出しを実現することができる。このため、読出レベルV1が3段階に切り替えられる場合においても、フレームレートの低下を抑制しつつ、HDR画像を生成することができる。
 <5.第5の実施の形態>
 上述の第1の実施の形態では、グローバルシャッタ動作に基づいてサンプルホールド可能な画素信号の読出レベルV1を判定するコンパレータ131を画素PIXに設けた。この第5の実施の形態では、グローバルシャッタ動作に用いられるリセットトランジスタ126、増幅トランジスタ127および選択トランジスタ128を複数の画素で共有する。
 図30は、第5の実施の形態に係る固体撮像装置に設けられた画素の第1の回路構成例を示す図である。
 図30において、この固体撮像装置は、図3の画素PIXに代えて、画素PIX5A、PIX5Bを備える。第5の実施の形態の固体撮像装置の第1の例のそれ以外の構成は、上述の第1の実施の形態の固体撮像装置の構成と同様である。
 画素PIX5Aは、上述の第1の実施の形態の画素PIXと同様に構成することができる。画素PIX5Bは、グローバルシャッタ動作に用いられるリセットトランジスタ126、増幅トランジスタ127および選択トランジスタ128が上述の第1の実施の形態の画素PIXから除去される。ここで、画素PIX5Bの各サンプルホールドトランジスタST1、ST2のドレインは、画素PIX5AのフローティングデフュージョンFD2に接続される。このとき、グローバルシャッタ動作に用いられるリセットトランジスタ126、増幅トランジスタ127および選択トランジスタ128は、画素PIX5A、PIX5Bで共有される。
 図31は、第5の実施の形態に係る固体撮像装置に設けられた画素の第2の回路構成例を示す図である。
 図31において、この固体撮像装置は、図30の画素PIX5A、PIX5Bに代えて、画素PIX5C、PIX5Dを備える。第5の実施の形態の固体撮像装置の第2の例のそれ以外の構成は、上述の第1の実施の形態の固体撮像装置の構成と同様である。
 画素PIX5Cは、図30の画素PIX5AにスイッチSW1が追加されている。画素PIX5Cのそれ以外の構成は、図30の画素PIX5Aの構成と同様である。画素PIX5Dは、図30の画素PIX5BにスイッチSW2が追加されている。画素PIX5Dのそれ以外の構成は、図30の画素PIX5Bの構成と同様である。
 スイッチSW1は、画素PIX5Cの増幅トランジスタ125のソースとコンパレータ131の入力との間に接続される。スイッチSW2は、画素PIX5Dの増幅トランジスタ125のソースとコンパレータ131の入力との間に接続される。ここで、画素PIX5Cでは、スイッチSW1がオンされることにより、画素PIX5Cでの照度判定および変換効率の切替を実施することができる。画素PIX5Dでは、スイッチSW2がオンされることにより、画素PIX5Dでの照度判定および変換効率の切替を実施することができる。
 コンパレータ131の出力は、各画素PIX5C、画素PIX5Dのラッチ回路132の入力に接続される。このとき、リセットトランジスタ126、増幅トランジスタ127および選択トランジスタ128だけでなく、照度判定に用いられるコンパレータ131も、画素PIX5C、PIX5Dで共有される。
 ここで、画素PIX5Cでは、スイッチSW1がオンされることにより、画素PIX5Cでの照度判定および変換効率の切替を実施することができる。画素PIX5Dでは、スイッチSW2がオンされることにより、画素PIX5Dでの照度判定および変換効率の切替を実施することができる。
 図32は、第5の実施の形態に係る固体撮像装置に設けられた画素の第3の回路構成例を示す図である。
 同図において、この固体撮像装置は、図31の画素PIX5C、PIX5Dに代えて、画素PIX5E、PIX5Fを備える。第5の実施の形態の固体撮像装置の第3の例のそれ以外の構成は、上述の第1の実施の形態の固体撮像装置の構成と同様である。
 画素PIX5Eは、図31のスイッチSW1に代えて、スイッチSW3を備える。画素PIX5Eは、図31の画素PIX5Cから電流源130が除去されている。画素PIX5Eのそれ以外の構成は、図31の画素PIX5Cの構成と同様である。画素PIX5Fは、図31のスイッチSW2に代えて、スイッチSW4を備える。画素PIX5Fのそれ以外の構成は、図31の画素PIX5Dの構成と同様である。
 スイッチSW3は、画素PIX5Eの増幅トランジスタ125のソースとサンプルホールド容量C1、C2の入力との間に接続される。スイッチSW4は、画素PIX5Eの増幅トランジスタ125のソースとサンプルホールド容量C1、C2の入力との間に接続される。また、各画素PIX5C、PIX5Dのサンプルホールド容量C1、C2の入力は、コンパレータ131の入力および電流源130に接続される。このとき、リセットトランジスタ126、増幅トランジスタ127および選択トランジスタ128だけでなく、コンパレータ131および電流源130も、画素PIX5E、PIX5Fで共有される。
 ここで、画素PIX5Eでは、スイッチSW3がオンされることにより、画素PIX5Eでの照度判定および変換効率の切替を実施することができる。画素PIX5Fでは、スイッチSW4がオンされることにより、画素PIX5Fでの照度判定および変換効率の切替を実施することができる。
 図33は、第5の実施の形態に係る固体撮像装置に設けられた画素の第4の回路構成例を示す図である。
 同図において、この固体撮像装置は、図30の画素PIX5A、PIX5Bに画素PIX5G、PIX5Hが追加される。第5の実施の形態の固体撮像装置の第4の例のそれ以外の構成は、上述の第1の実施の形態の固体撮像装置の構成と同様である
 画素PIX5G、PIX5Hは、画素PIX5Bと同様に構成することができる。ここで、各画素PIX5G、PIX5HのサンプルホールドトランジスタST1、ST2のドレインは、画素PIX5AのフローティングデフュージョンFD2に接続される。このとき、グローバルシャッタ動作に用いられるリセットトランジスタ126、増幅トランジスタ127および選択トランジスタ128は、画素PIX5A、PIX5B、PIX5G、PIX5Hで共有される。
 図34は、第5の実施の形態に係る固体撮像装置に設けられた画素の第5の回路構成例を示す図である。
 同図において、この固体撮像装置は、図31の画素PIX5C、PIX5Dに画素PIX5I、PIX5Jが追加される。第5の実施の形態の固体撮像装置の第5の例のそれ以外の構成は、上述の第1の実施の形態の固体撮像装置の構成と同様である。
 画素PIX5I、PIX5Jは、画素PIX5Dと同様に構成することができる。このとき、各画素PIX5I、PIX5JにスイッチSW5、SW6がそれぞれ追加される。
 スイッチSW5は、画素PIX5Iの増幅トランジスタ125のソースとコンパレータ131の入力との間に接続される。スイッチSW6は、画素PIX5Jの増幅トランジスタ125のソースとコンパレータ131の入力との間に接続される。コンパレータ131の出力は、各画素PIX5C、PIX5D、PIX5I、PIX5Jのラッチ回路132の入力に接続される。このとき、リセットトランジスタ126、増幅トランジスタ127および選択トランジスタ128だけでなく、照度判定に用いられるコンパレータ131も、画素PIX5C、PIX5D、PIX5I、PIX5Jで共有される。
 ここで、画素PIX5Iでは、スイッチSW5がオンされることにより、画素PIX5Iでの照度判定および変換効率の切替を実施することができる。画素PIX5Jでは、スイッチSW6がオンされることにより、画素PIX5Jでの照度判定および変換効率の切替を実施することができる。
 図35は、第5の実施の形態に係る固体撮像装置に設けられた画素の第6の回路構成例を示す図である。
 同図において、この固体撮像装置は、図32の画素PIX5E、PIX5Fに画素PIX5K、PIX5Lが追加される。第5の実施の形態の固体撮像装置の第6の例のそれ以外の構成は、上述の第1の実施の形態の固体撮像装置の構成と同様である。
 画素PIX5K、PIX5Lは、画素PIX5Fと同様に構成することができる。このとき、各画素PIX5K、PIX5LにスイッチSW7、SW8がそれぞれ追加される。
 スイッチSW7は、画素PIX5Kの増幅トランジスタ125のソースとサンプルホールド容量C1、C2の入力との間に接続される。スイッチSW8は、画素PIX5Lの増幅トランジスタ125のソースとサンプルホールド容量C1、C2の入力との間に接続される。また、各画素PIX5K、PIX5Lのサンプルホールド容量C1、C2の入力は、コンパレータ131の入力および電流源130に接続される。このとき、リセットトランジスタ126、増幅トランジスタ127および選択トランジスタ128だけでなく、コンパレータ131および電流源130も、画素PIX5E、PIX5F、PIX5K、PIX5Lで共有される。
 ここで、画素PIX5Kでは、スイッチSW7がオンされることにより、画素PIX5Kでの照度判定および変換効率の切替を実施することができる。画素PIX5Lでは、スイッチSW8がオンされることにより、画素PIX5Kでの照度判定および変換効率の切替を実施することができる。
 このように、上述の第5の実施の形態では、グローバルシャッタ動作に用いられるリセットトランジスタ126、増幅トランジスタ127および選択トランジスタ128を複数の画素で共有する。これにより、グローバルシャッタ動作可能な画素の回路規模の増大を抑制しつつ、画素内で判定された読出レベルV1の判定結果に基づいて読出レベルV1を切り替えることができる。また、画素信号の読出レベルV1を判定するコンパレータ131を複数の画素で共有することにより、画素内で判定された読出レベルV1の判定結果に基づいて読出レベルV1を切り替え可能としつつ、グローバルシャッタ動作可能な画素の回路規模を低減することができる。
 なお、上述の第5の実施の形態では、回路構成の一部を2画素共有または4画素共有に適用した例を示したが、8画素共有やそれ以外の個数の共有画素に適用してもよい。
 <6.第6の実施の形態>
 上述の第1の実施の形態では、グローバルシャッタ動作可能な画素PIX内で判定された読出レベルV1の判定結果に基づいて、切替トランジスタ124を制御した。この第6の実施の形態では、グローバルシャッタ動作可能な画素内で判定された読出レベルV1の判定結果に基づいて、サンプルホールドトランジスタST2を制御する。
 図36は、第6の実施の形態に係る固体撮像装置に設けられた画素の回路構成例を示す図である。
 図36において、画素PIX6は、図3のセレクタ133に代えて、セレクタ633を備える。画素PIX6のそれ以外の構成は、図3の画素PIXの構成と同様である。
 セレクタ633は、増幅トランジスタ125から出力される画素信号の読出レベルV1をサンプルホールドするタイミングを切り替える。セレクタ633の出力は、サンプルホールドトランジスタST2のゲートに接続される。このとき、セレクタ633は、読出レベルV1の判定結果VCOに基づいて、高効率サンプルホールド信号SDHおよび低効率サンプルホールド信号SDLのいずれかをサンプルホールド信号SDとして選択することができる。
 図37は、第6の実施の形態に係る固体撮像装置の画素信号の読出し処理を示すフローチャートである。
 同図において、ステップS601からS604の処理は、上述の第1の実施の形態のステップS101からS104の処理と同様である。
 次に、照度判定において照度が低照度の場合、切替トランジスタ124がオフされて高変換効率が維持される。そして、サンプルホールドトランジスタST2がオンされ、増幅トランジスタ125から高変換効率で出力されたD相レベルがサンプルホールド容量C2にサンプリングされる(ステップS607)。
 次に、切替トランジスタ124がオンされて低変換効率に切り替えられる(ステップS605)。そして、照度判定において照度が高照度の場合、サンプルホールドトランジスタST2がオンされ、増幅トランジスタ125から低変換効率で出力されたD相レベルがサンプルホールド容量C2にサンプリングされる(ステップS606)。
 図38は、第6の実施の形態に係る固体撮像装置の1フレームに割り当てられる動作期間の一例を示すタイミングチャートである。
 同図において、1フレームには、グローバルシャッタ期間GS2と、読出し期間RDが割り当てられる。グローバルシャッタ期間GS2では、画素アレイ部111に配置された全ての画素PIX6について、グローバルシャッタ動作が一斉に実行される。グローバルシャッタ動作では、画素アレイ部111に配置された各画素PIXにおいて、P相サンプリングおよび照度判定が一斉に実行される。また、グローバルシャッタ動作では、画素アレイ部111に配置された各画素PIX6において、各画素PIX6で判定された照度に基づいて、高変換効率D相サンプリングまたは低変換効率D相サンプリングが一斉に実行される。
 読出し期間RDでは、画素アレイ部111に配置された画素PIX6について、P相読出しおよびD相読出しがロウごとに実行される。
 図39は、第6の実施の形態に係る画素のグローバルシャッタ動作における低照度時の各部の波形の一例を示すタイミングチャートである。
 同図において、このグローバルシャッタ動作では、PDリセット期間P61、露光期間P62、FDリセット期間P63、P相サンプリング期間P64、電荷転送期間P65、照度判定期間P66、高変換効率D相サンプリング期間P67、変換効率切替期間P68および低変換効率D相サンプリング期間P69が設けられる。
 なお、高効率サンプルホールド信号SDHは、高変換効率D相サンプリング期間P67においてハイレベルに設定される。低効率サンプルホールド信号SDLは、低変換効率D相サンプリング期間P69においてハイレベルに設定される。
 PDリセット期間P61では、リセット信号RB、サンプルホールド信号SR、SD、アクティブ信号CM、高効率サンプルホールド信号SDHおよび低効率サンプルホールド信号SDLがロウレベルに設定される。このとき、リセットトランジスタ126およびサンプルホールドトランジスタST1、ST2はオフされ、コンパレータ131およびラッチ回路132は非アクティブ化され、セレクタ133の出力はロウレベルに設定される。そして、転送信号TRG、リセット信号RSTおよび切替信号FDGが立ち上がり、転送トランジスタ122、リセットトランジスタ123および切替トランジスタ124がオンされる。このとき、増幅トランジスタ125における変換効率が低変換効率に設定されるとともに、フォトダイオードPDおよびフローティングデフュージョンFD1の電荷がリセットされる。
 露光期間P62では、転送信号TRG、リセット信号RSTおよび切替信号FDGが立ち下がり、転送トランジスタ122、リセットトランジスタ123および切替トランジスタ124がオフされる。このとき、増幅トランジスタ125における変換効率が高変換効率に設定されるとともに、入射光の光量に応じてフォトダイオードPDに電荷が蓄積される。
 FDリセット期間P63では、リセット信号RSTおよび切替信号FDGが立ち上がり、リセットトランジスタ123および切替トランジスタ124がオンされる。このとき、増幅トランジスタ125における変換効率が低変換効率に設定されるとともに、フローティングデフュージョンFD1の電荷がリセットされる。
 P相サンプリング期間P64では、リセット信号RBおよびサンプルホールド信号SRが立ち上がり、リセットトランジスタ126およびサンプルホールドトランジスタST1がオンされる。このとき、増幅トランジスタ125から出力されたP相レベルに応じた電荷がサンプルホールド容量C1に保持される。
 電荷転送期間P65では、転送信号TRGが立ち上がり、転送トランジスタ122がオンされる。このとき、フォトダイオードPDに蓄積された電荷がフローティングデフュージョンFD1に転送される。ここで、フローティングデフュージョンFD1に転送された電荷に応じた電圧が増幅トランジスタ125のゲートに印加される。そして、増幅トランジスタ125と電流源130との間のソースフォロワ動作に基づいて、増幅トランジスタ125のゲートに印加された電圧に応じた読出レベルV1がコンパレータ131に入力される。
 照度判定期間P66では、アクティブ信号CMが立ち上がり、コンパレータ131およびラッチ回路132がアクティブ化される。そして、コンパレータ131にて画素信号の読出レベルV1が参照電圧VRFと比較され、読出レベルV1の判定結果VCOがラッチ回路132にラッチされる。低照度時では、画素信号の読出レベルV1が参照電圧VRF未満となり、判定結果VCOはロウレベルに設定される。
 高変換効率D相サンプリング期間P67では、高効率サンプルホールド信号SDHが立ち上がる。ここで、判定結果VCOはロウレベルに設定されているため、高効率サンプルホールド信号SDHがセレクタ633にて選択される。このため、サンプルホールド信号SDが立ち上がり、サンプルホールドトランジスタST2がオンされる。また、リセット信号RBが立ち上がり、リセットトランジスタ126がオンされる。このとき、増幅トランジスタ125から出力された高変換効率のD相レベルに応じた電荷がサンプルホールド容量C2に保持される。その後、高効率サンプルホールド信号SDH、サンプルホールド信号SDおよびリセット信号RBが立ち下がる。
 変換効率切替期間P68では、切替信号FDGが立ち上がり、切替トランジスタ124がオンされる。このとき、増幅トランジスタ125における変換効率が低変換効率に設定される。
 低変換効率D相サンプリング期間P69では、低効率サンプルホールド信号SDLが立ち上がる。ここで、判定結果VCOはロウレベルに設定されているため、セレクタ633にて低効率サンプルホールド信号SDLは選択されず、高効率サンプルホールド信号SDHの選択が維持される。このため、サンプルホールド信号SDはロウレベルを維持し、サンプルホールドトランジスタST2のオフが維持される。このため、増幅トランジスタ125から出力された低変換効率のD相レベルに応じた電荷がサンプルホールド容量C2に保持されることなく、増幅トランジスタ125から出力された高変換効率のD相レベルに応じた電荷がサンプルホールド容量C2に保持された状態が維持される。
 図40は、第6の実施の形態に係る画素のグローバルシャッタ動作における高照度時の各部の波形の一例を示すタイミングチャートである。
 同図において、高照度時のPDリセット期間P61、露光期間P62、FDリセット期間P63、P相サンプリング期間P64、電荷転送期間P65および照度判定期間P66の動作は、低照度時のPDリセット期間P61、露光期間P62、FDリセット期間P63、P相サンプリング期間P64、電荷転送期間P65および照度判定期間P66の動作と同様である。
 高変換効率D相サンプリング期間P67では、高効率サンプルホールド信号SDHが立ち上がる。ここで、照度判定期間P16において、照度が高照度の場合、画素信号の読出レベルV1が参照電圧VRF未満となり、判定結果VCOはハイレベルに設定される。このとき、高変換効率D相サンプリング期間P67では、高効率サンプルホールド信号SDHは選択されない。このため、サンプルホールド信号SDはロウレベルを維持し、サンプルホールドトランジスタST2のオフが維持される。このため、増幅トランジスタ125から出力された高変換効率のD相レベルに応じた電荷はサンプルホールド容量C2に保持されない。
 変換効率切替期間P68では、切替信号FDGが立ち上がり、切替トランジスタ124がオンされる。このとき、増幅トランジスタ125における変換効率が低変換効率に設定される。
 低変換効率D相サンプリング期間P69では、低効率サンプルホールド信号SDLが立ち上がる。ここで、判定結果VCOはハイレベルに設定されているため、低変換効率D相サンプリング期間P69では、低効率サンプルホールド信号SDLがセレクタ633にて選択される。このため、サンプルホールド信号SDが立ち上がり、サンプルホールドトランジスタST2がオンされる。また、リセット信号RBが立ち上がり、リセットトランジスタ126がオンされる。このとき、増幅トランジスタ125から出力された低変換効率のD相レベルに応じた電荷がサンプルホールド容量C2に保持される。その後、低効率サンプルホールド信号SDL、サンプルホールド信号SDおよびリセット信号RBが立ち下がる。
 このように、上述の第6の実施の形態では、グローバルシャッタ動作可能な画素PIX6内で判定された読出レベルV1の判定結果に基づいて、サンプルホールドトランジスタST2を制御する。これにより、LCG出力およびHCG出力ごとに画素PIX6からの読出しを実施することなく、照度に応じたLCG出力またはHCG出力の画素PIX6からの読出しを実現することができる。このため、変換効率の切替に応じた読出し期間RDの増大を抑制しつつ、HDR画像を生成することができる。
 <7.第7の実施の形態>
 上述の第1の実施の形態では、グローバルシャッタ動作可能な画素PIX内で判定された読出レベルV1の判定結果に基づいて、変換効率を切り替えた。この第7の実施の形態では、グローバルシャッタ動作可能な画素PIX内で判定された読出レベルV1の判定結果に基づいて、高感度フォトダイオードと低感度フォトダイオードとを切り替える。
 図41は、第7の実施の形態に係る固体撮像装置に設けられた画素の回路構成例を示す図である。
 図41において、画素PIX7は、低感度フォトダイオードPD2、転送トランジスタ722、リセットトランジスタ723、増幅トランジスタ725およびスイッチSW11、SW12が図36の画素PIX6に追加されている。また、画素PIX7は、切替トランジスタ124および容量C0が画素PIX6から除去されている。このとき、リセットトランジスタ123は、フローティングデフュージョンFD1に接続される。また、フォトダイオードPDは、高感度フォトダイオードPD1として用いられる。また、セレクタ133には、高効率サンプルホールド信号SDHおよび低効率サンプルホールド信号SDLに代えて、高感度サンプルホールド信号SDHAおよび低感度サンプルホールド信号SDLAが入力される。
 このとき、高感度フォトダイオードPD1、低感度フォトダイオードPD2、転送トランジスタ122、722、リセットトランジスタ123、723、増幅トランジスタ125、725およびスイッチSW11、SW12は、照度切替露光部PIX7Aを構成することができる。画素PIX7のそれ以外の構成は、図36の画素PIX6の構成と同様である。
 低感度フォトダイオードPD2は、光電変換を実施し、光電変換した電荷を蓄積する。低感度フォトダイオードPD2の受光面の面積は、高感度フォトダイオードPD1の受光面の面積よりも小さくすることができる。転送トランジスタ722は、低感度フォトダイオードPD2に蓄積された電荷をフローティングデフュージョンFD3に転送する。リセットトランジスタ723は、低感度フォトダイオードPD2およびフローティングデフュージョンFD3をリセットする。増幅トランジスタ725は、フローティングデフュージョンFD3の電位に応じた信号を出力する。
 転送トランジスタ722は、低感度フォトダイオードPD2のカソードとフローティングデフュージョンFD3との間に接続される。リセットトランジスタ723は、電源電位VDDとフローティングデフュージョンFD3との間に接続される。増幅トランジスタ725のゲートは、フローティングデフュージョンFD3に接続される。転送トランジスタ722のゲートには、転送信号TRGが印加される。リセットトランジスタ723のゲートには、リセット信号RSTが印加される。
 スイッチSW11は、増幅トランジスタ125のソースとサンプルホールド容量C1、C2の入力との間に接続される。スイッチSW11は、切替信号SL1に基づいて切り替えられる。スイッチSW12は、増幅トランジスタ725のソースとサンプルホールド容量C1、C2の入力との間に接続される。スイッチSW12は、切替信号SL2に基づいて切り替えられる。また、サンプルホールド容量C1、C2の入力は、コンパレータ131の入力および電流源130に接続される。
 図42は、第7の実施の形態に係る固体撮像装置の画素信号の読出し処理を示すフローチャートである。
 同図において、リセットトランジスタ123、723および転送トランジスタ122、722がオンされ、フローティングデフュージョンFD1、FD3がリセットされる(ステップS701)
 次に、リセットトランジスタ123、723および転送トランジスタ122、722がオフされ、高感度フォトダイオードPD1および低感度フォトダイオードPD2の露光が実施される(ステップS702)。
 次に、リセットトランジスタ123、723がオンされ、フローティングデフュージョンFD1、FD3がリセットされる(ステップS703)。
 次に、スイッチSW11がオンされ、増幅トランジスタ125のソースが、コンパレータ131の入力およびサンプルホールド容量C1、C2の入力に接続される(ステップS704)。
 次に、サンプルホールドトランジスタST1がオンされ、増幅トランジスタ125から出力されたP相レベルがサンプルホールド容量C1にサンプリングされる(ステップS705)。
 次に、転送トランジスタ122がオンされ、高感度フォトダイオードPD1に蓄積された電荷がフローティングデフュージョンFD1に転送される(ステップS706)。
 次に、コンパレータ131において、増幅トランジスタ125から出力された画素信号の読出レベルV1に基づいて照度判定される(ステップS707)。そして、照度が低照度の場合、スイッチSW11のオンが維持されて、増幅トランジスタ125のソースが、コンパレータ131の入力およびサンプルホールド容量C1、C2の入力に接続された状態が維持される。そして、サンプルホールドトランジスタST2がオンされ、増幅トランジスタ125から出力された高感度のD相レベルがサンプルホールド容量C2にサンプリングされる(ステップS710)。
 次に、スイッチSW11がオフ、スイッチSW12がオンされて増幅トランジスタ725のソースが、コンパレータ131の入力およびサンプルホールド容量C1、C2の入力に接続される(ステップS708)。そして、照度が高照度の場合、サンプルホールドトランジスタST2がオンされ、増幅トランジスタ725から出力された低感度のD相レベルがサンプルホールド容量C2にサンプリングされる(ステップS709)。
 図43は、第7の実施の形態に係る画素のグローバルシャッタ動作における低照度時の各部の波形の一例を示すタイミングチャートである。
 同図において、このグローバルシャッタ動作では、PDリセット期間P71、露光期間P72、FDリセット期間P73、P相サンプリング期間P74、電荷転送期間P75、照度判定期間P76、高感度D相サンプリング期間P77、照度切替期間P78および低感度D相サンプリング期間P79が設けられる。
 なお、高感度サンプルホールド信号SDHAは、高感度D相サンプリング期間P77においてハイレベルに設定される。低感度サンプルホールド信号SDLAは、低感度D相サンプリング期間P79においてハイレベルに設定される。スイッチSW11は、切替信号SL1に基づいて切り替えられる。スイッチSW12は、切替信号SL2に基づいて切り替えられる。
 PDリセット期間P71では、リセット信号RB、サンプルホールド信号SR、SD、アクティブ信号CM、高感度サンプルホールド信号SDHAおよび低感度サンプルホールド信号SDLAがロウレベルに設定される。このとき、リセットトランジスタ126およびサンプルホールドトランジスタST1、ST2はオフされ、コンパレータ131およびラッチ回路132は非アクティブ化され、セレクタ133の出力はロウレベルに設定される。そして、転送信号TRG、リセット信号RSTおよび切替信号SL1、SL2が立ち上がり、転送トランジスタ122、722、リセットトランジスタ123、723およびスイッチSW11、SW12がオンされる。このとき、高感度フォトダイオードPD1、低感度フォトダイオードPD2およびフローティングデフュージョンFD1、FD3の電荷がリセットされる。
 露光期間P72では、転送信号TRG、リセット信号RSTおよび切替信号SL1、SL2が立ち下がり、転送トランジスタ122、722、リセットトランジスタ123、723およびスイッチSW11、SW12がオフされる。このとき、入射光の光量に応じて高感度フォトダイオードPD1および低感度フォトダイオードPD2に電荷が蓄積される。
 FDリセット期間P73では、リセット信号RSTおよび切替信号SL1、SL2が立ち上がり、リセットトランジスタ123、723およびスイッチSW11、SW12がオンされる。このとき、フローティングデフュージョンFD1、FD3の電荷がリセットされる。
 P相サンプリング期間P74では、切替信号SL2が立ち下がり、スイッチSW12がオフされる。また、リセット信号RBおよびサンプルホールド信号SRが立ち上がり、リセットトランジスタ126およびサンプルホールドトランジスタST1がオンされる。このとき、増幅トランジスタ125から出力されたP相レベルに応じた電荷がサンプルホールド容量C1に保持される。
 電荷転送期間P75では、転送信号TRGが立ち上がり、転送トランジスタ122、722がオンされる。このとき、高感度フォトダイオードPD1に蓄積された電荷がフローティングデフュージョンFD1に転送され、低感度フォトダイオードPD2に蓄積された電荷がフローティングデフュージョンFD3に転送される。ここで、各フローティングデフュージョンFD1、FD3に転送された電荷に応じた電圧が増幅トランジスタ125、725のゲートにそれぞれ印加される。ここで、スイッチSW11がオン、スイッチSW12がオフされているので、増幅トランジスタ125と電流源130との間でソースフォロワ動作が実施される。そして、増幅トランジスタ125と電流源130との間のソースフォロワ動作に基づいて、増幅トランジスタ125のゲートに印加された電圧に応じた読出レベルV1がコンパレータ131に入力される。
 照度判定期間P76では、アクティブ信号CMが立ち上がり、コンパレータ131およびラッチ回路132がアクティブ化される。そして、コンパレータ131にて画素信号の読出レベルV1が参照電圧VRFと比較され、読出レベルV1の判定結果VCOがラッチ回路132にラッチされる。低照度時では、画素信号の読出レベルV1が参照電圧VRF未満となり、判定結果VCOはロウレベルに設定される。
 高感度D相サンプリング期間P77では、高感度サンプルホールド信号SDHAが立ち上がる。ここで、判定結果VCOはロウレベルに設定されているため、高感度サンプルホールド信号SDHAがセレクタ633にて選択される。このため、サンプルホールド信号SDが立ち上がり、サンプルホールドトランジスタST2がオンされる。また、リセット信号RBが立ち上がり、リセットトランジスタ126がオンされる。このとき、増幅トランジスタ125から出力された高照度のD相レベルに応じた電荷がサンプルホールド容量C2に保持される。その後、切替信号SL1、高感度サンプルホールド信号SDHA、サンプルホールド信号SDおよびリセット信号RBが立ち下がる。
 照度切替期間P78では、切替信号SL2が立ち上がる。このとき、スイッチSW12がオンされ、増幅トランジスタ725と電流源130との間でソースフォロワ動作が実施される。そして、増幅トランジスタ725と電流源130との間のソースフォロワ動作に基づいて、増幅トランジスタ725のゲートに印加された電圧に応じた読出レベルV1がサンプルホールド容量C1、C2に入力される。
 低感度D相サンプリング期間P79では、低感度サンプルホールド信号SDLAが立ち上がる。ここで、判定結果VCOはロウレベルに設定されているため、セレクタ633にて低感度サンプルホールド信号SDLAはサンプルホールド信号SDとして選択されず、サンプルホールドトランジスタST2のオフが維持される。このため、増幅トランジスタ125から出力された低照度のD相レベルに応じた電荷はサンプルホールド容量C2に保持されない。
 図44は、第7の実施の形態に係る画素のグローバルシャッタ動作における高照度時の各部の波形の一例を示すタイミングチャートである。
 同図において、高照度時のPDリセット期間P71、露光期間P72、FDリセット期間P73、P相サンプリング期間P74、電荷転送期間P75および照度判定期間P76の動作は、低照度時のDリセット期間P71、露光期間P72、FDリセット期間P73、P相サンプリング期間P74、電荷転送期間P75および照度判定期間P76の動作と同様である。ただし、高照度時では、画素信号の読出レベルV1が参照電圧VRF以上となり、判定結果VCOはハイレベルに設定される。
 高感度D相サンプリング期間P77では、高感度サンプルホールド信号SDHAが立ち上がる。ここで、判定結果VCOはハイレベルに設定されているため、セレクタ633にて高感度サンプルホールド信号SDHAはサンプルホールド信号SDとして選択されず、サンプルホールドトランジスタST2のオフが維持される。このため、増幅トランジスタ125から出力された高照度のD相レベルに応じた電荷はサンプルホールド容量C2に保持されない。
 照度切替期間P78では、切替信号SL2が立ち上がる。このとき、スイッチSW12がオンされ、増幅トランジスタ725と電流源130との間でソースフォロワ動作が実施される。そして、増幅トランジスタ725と電流源130との間のソースフォロワ動作に基づいて、増幅トランジスタ725のゲートに印加された電圧に応じた読出レベルV1がサンプルホールド容量C1、C2に入力される。
 低感度D相サンプリング期間P79では、低感度サンプルホールド信号SDLAが立ち上がる。ここで、判定結果VCOはハイレベルに設定されているため、低感度サンプルホールド信号SDLAがサンプルホールド信号SDとしてセレクタ633にて選択される。このため、サンプルホールド信号SDが立ち上がり、サンプルホールドトランジスタST2がオンされる。また、リセット信号RBが立ち上がり、リセットトランジスタ126がオンされる。このとき、増幅トランジスタ725から出力された低照度のD相レベルに応じた電荷がサンプルホールド容量C2に保持される。その後、切替信号SL2、低感度サンプルホールド信号SDLA、サンプルホールド信号SDおよびリセット信号RBが立ち下がる。
 このように、上述の第7の実施の形態では、グローバルシャッタ動作可能な画素PIX7内で判定された読出レベルV1の判定結果に基づいて、高感度フォトダイオードPD1と低感度フォトダイオードPD2とを切り替える。これにより、高感度フォトダイオードPD1および低感度フォトダイオードPD2ごとに画素PIX7からの読出しを実施することなく、照度に応じた高感度フォトダイオードPD1からの読出しまたは低感度フォトダイオードPD2からの読出しを実現することができる。このため、変換効率の切替が実施されない場合においても、フレームレートの低下を抑制しつつ、HDR画像を生成することができる。
 なお、上述の第7の実施の形態では、読出レベルV1の判定結果に基づいて、高感度フォトダイオードPD1と低感度フォトダイオードPD2とを切り替える例を示した。これ以外にも、上述の第7の実施の形態の構成をLOFIC画素に適用してもよいし、変換効率切替可能な画素に適用してもよい。変換効率切替可能な画素は、上述の第1から第6の実施の形態のいずれの画素でもよい。
 <8.第8の実施の形態>
 上述の第1の実施の形態では、グローバルシャッタ動作可能な画素PIX内で判定された読出レベルV1の判定結果に基づいて、変換効率を切り替えた。この第8の実施の形態では、グローバルシャッタ動作可能な照度切替露光部PIX7A画素内で判定された読出レベルV1の判定結果に基づいて、長時間露光部と短時間露光部とを切り替える。
 図45は、第8の実施の形態に係る固体撮像装置に設けられた画素の回路構成例を示す図である。
 図45において、画素PIX8は、上述の第7の実施の形態の照度切替露光部PIX7Aに代えて、長時間露光部PIX8Aおよび短時間露光部PIX8Bを備える。また、セレクタ133には、高感度サンプルホールド信号SDHAおよび低感度サンプルホールド信号SDLAに代えて、長蓄サンプルホールド信号SDHBおよび短蓄サンプルホールド信号SDLBが入力される。画素PIX8のそれ以外の構成は、上述の第7の実施の形態の画素PIX7の構成と同様である。
 長時間露光部PIX8Aは、露光時間が長時間に設定される。長時間露光部PIX8Aは、上述の第7の実施の形態の高感度フォトダイオードPD1および低感度フォトダイオードPD2に代えて、フォトダイオードPD3、PD4を備える。フォトダイオードPD3、PD4の感度は、互いに等しくてもよい。
 長時間露光部PIX8Aにおいて、各転送トランジスタ122、722のゲートには、転送信号TRG1が印加される。各リセットトランジスタ123、723のゲートには、リセット信号RST1が印加される。スイッチSW11、SW12は、切替信号SL1に基づいて切り替えられる。
 短時間露光部PIX8Bは、露光時間が短時間に設定される。短時間露光部PIX8Bは、長時間露光部PIX8Aと同様に構成することができる。このとき、短時間露光部PIX8Bの露光開始時刻を長時間露光部PIX8Aの露光開始時刻より遅らせることにより、短時間露光部PIX8Bの露光時間を短時間化することができる。
 短時間露光部PIX8Bにおいて、各転送トランジスタ122、722のゲートには、転送信号TRG2が印加される。各リセットトランジスタ123、723のゲートには、リセット信号RST2が印加される。スイッチSW11、SW12は、切替信号SL2に基づいて切り替えられる。
 なお、長時間露光部PIX8Aおよび短時間露光部PIX8Bのそれぞれにおいて、2つのフォトダイオードPD3、PD4を設けた例を示したが、1つのフォトダイオードPD3のみを設けてもよい。
 図46は、第8の実施の形態に係る固体撮像装置の画素信号の読出し処理を示すフローチャートである。
 同図において、長時間露光部PIX8Aのリセットトランジスタ123、723および転送トランジスタ122、722がオンされ、フローティングデフュージョンFD1、FD3がリセットされる(ステップS801A)。
 次に、長時間露光部PIX8Aのリセットトランジスタ123、723および転送トランジスタ122、722がオフされ、長時間露光部PIX8Aの露光が開始される(ステップS802A)。
 次に、短時間露光部PIX8Bのリセットトランジスタ123、723および転送トランジスタ122、722がオンされ、フローティングデフュージョンFD1、FD3がリセットされる(ステップS801B)。
 次に、短時間露光部PIX8Bのリセットトランジスタ123、723および転送トランジスタ122、722がオフされ、短時間露光部PIX8Bの露光が開始される(ステップS802B)。
 次に、長時間露光部PIX8Aおよび短時間露光部PIX8Bのリセットトランジスタ123、723がオンされ、フローティングデフュージョンFD1、FD3がリセットされる(ステップS803)。
 次に、長時間露光部PIX8AのスイッチSW11、SW12がオンされ、増幅トランジスタ125、725のソースが、コンパレータ131の入力およびサンプルホールド容量C1、C2の入力に接続される(ステップS804)。
 次に、サンプルホールドトランジスタST1がオンされ、長時間露光部PIX8Aの増幅トランジスタ125、725から出力されたP相レベルがサンプルホールド容量C1にサンプリングされる(ステップS805)。
 次に、長時間露光部PIX8Aおよび短時間露光部PIX8Bの転送トランジスタ122、722がオンされ、フォトダイオードPD3、PD4に蓄積された電荷がフローティングデフュージョンFD1、FD3に転送される(ステップS806)。
 次に、コンパレータ131において、長時間露光部PIX8Aの増幅トランジスタ125、725から出力された画素信号の読出レベルV1に基づいて照度判定される(ステップS807)。そして、照度が低照度の場合、長時間露光部PIX8AのスイッチSW11、SW12のオンが維持されて、増幅トランジスタ125のソースが、コンパレータ131の入力およびサンプルホールド容量C1、C2の入力に接続された状態が維持される。そして、サンプルホールドトランジスタST2がオンされ、増幅トランジスタ125から出力された長蓄のD相レベルがサンプルホールド容量C2にサンプリングされる(ステップS810)。
 次に、長時間露光部PIX8AのスイッチSW11、SW12がオフ、短時間露光部PIX8BのスイッチW11、SW12がオンされて短時間露光部PIX8Bの増幅トランジスタ125、725のソースが、コンパレータ131の入力およびサンプルホールド容量C1、C2の入力に接続される(ステップS808)。そして、照度が高照度の場合、サンプルホールドトランジスタST2がオンされ、短時間露光部PIX8Bの増幅トランジスタ125、725から出力された短蓄のD相レベルがサンプルホールド容量C2にサンプリングされる(ステップS809)。
 図47は、第8の実施の形態に係る画素のグローバルシャッタ動作における低照度時の各部の波形の一例を示すタイミングチャートである。
 同図において、このグローバルシャッタ動作では、長蓄PDリセット期間P81、短蓄PDリセット期間P82、FDリセット期間P83、P相サンプリング期間P84、電荷転送期間P85、照度判定期間P86、長蓄D相サンプリング期間P87、露光部切替期間P88および短蓄D相サンプリング期間P89が設けられる。
 なお、長蓄サンプルホールド信号SDHBは、長蓄D相サンプリング期間P87においてハイレベルに設定される。短蓄サンプルホールド信号SDLBは、短蓄D相サンプリング期間P89においてハイレベルに設定される。長時間露光部PIX8AのスイッチSW11、SW12は、切替信号SL1に基づいて切り替えられる。短時間露光部PIX8BのスイッチSW11、SW12は、切替信号SL2に基づいて切り替えられる。
 長蓄PDリセット期間P81では、リセット信号RB、サンプルホールド信号SR、SD、アクティブ信号CM、長蓄サンプルホールド信号SDHBおよび短蓄サンプルホールド信号SDLBがロウレベルに設定される。このとき、リセットトランジスタ126およびサンプルホールドトランジスタST1、ST2はオフされ、コンパレータ131およびラッチ回路132は非アクティブ化され、セレクタ133の出力はロウレベルに設定される。そして、長時間露光部PIX8Aの転送信号TRG1、リセット信号RST1および切替信号SL1、SL2が立ち上がり、転送トランジスタ122、722、リセットトランジスタ123、723およびスイッチSW11、SW12がオンされる。このとき、長時間露光部PIX8AのフォトダイオードPD3、PD4およびフローティングデフュージョンFD1、FD3の電荷がリセットされる。
 その後、長時間露光部PIX8Aにおいて、転送信号TRG1、リセット信号RST1および切替信号SL1、SL2が立ち下がり、転送トランジスタ122、722、リセットトランジスタ123、723およびスイッチSW11、SW12がオフされる。このとき、入射光の光量に応じて長時間露光部PIX8AのフォトダイオードPD3、PD4に電荷が蓄積される。
 短蓄PDリセット期間P82では、リセット信号RB、サンプルホールド信号SR、SD、アクティブ信号CM、長蓄サンプルホールド信号SDHBおよび短蓄サンプルホールド信号SDLBがロウレベルに設定される。このとき、リセットトランジスタ126およびサンプルホールドトランジスタST1、ST2はオフされ、コンパレータ131およびラッチ回路132は非アクティブ化され、セレクタ133の出力はロウレベルに設定される。そして、短時間露光部PIX8Bの転送信号TRG2およびリセット信号RST2が立ち上がり、転送トランジスタ122、722およびリセットトランジスタ123、723がオンされる。このとき、短時間露光部PIX8BのフォトダイオードPD3、PD4およびフローティングデフュージョンFD1、FD3の電荷がリセットされる。
 その後、短時間露光部PIX8Bにおいて、転送信号TRG2およびリセット信号RST2が立ち下がり、転送トランジスタ122、722およびリセットトランジスタ123、723がオフされる。このとき、入射光の光量に応じて短時間露光部PIX8BのフォトダイオードPD3、PD4に電荷が蓄積される。
 FDリセット期間P83では、長時間露光部PIX8Aおよび短時間露光部PIX8Bのリセット信号RST1、RST2および切替信号SL1、SL2が立ち上がり、リセットトランジスタ123およびスイッチSW11、SW12がオンされる。このとき、長時間露光部PIX8Aおよび短時間露光部PIX8BのフローティングデフュージョンFD1、FD3の電荷がリセットされる。
 P相サンプリング期間P84では、短時間露光部PIX8Bの切替信号SL2が立ち下がり、スイッチSW11、SW12がオフされる。また、リセット信号RBおよびサンプルホールド信号SRが立ち上がり、リセットトランジスタ126およびサンプルホールドトランジスタST1がオンされる。このとき、長時間露光部PIX8Aの増幅トランジスタ125、725から出力されたP相レベルに応じた電荷がサンプルホールド容量C1に保持される。
 電荷転送期間P85では、長時間露光部PIX8Aおよび短時間露光部PIX8Bの転送信号TRG1、TRG2が立ち上がり、転送トランジスタ122、722がオンされる。このとき、長時間露光部PIX8Aおよび短時間露光部PIX8BのフォトダイオードPD3、PD4に蓄積された電荷がフローティングデフュージョンFD1、FD3に転送される。ここで、長時間露光部PIX8Aおよび短時間露光部PIX8Bの各フローティングデフュージョンFD1、FD3に転送された電荷に応じた電圧が増幅トランジスタ125、725のゲートにそれぞれ印加される。ここで、長時間露光部PIX8AのスイッチSW11、SW12がオン、短時間露光部PIX8BのスイッチSW11、SW12がオフされているので、長時間露光部PIX8Aの増幅トランジスタ125、725と電流源130との間でソースフォロワ動作が実施される。そして、長時間露光部PIX8Aの増幅トランジスタ125、725と電流源130との間のソースフォロワ動作に基づいて、増幅トランジスタ125、725のゲートに印加された電圧に応じた読出レベルV1がコンパレータ131に入力される。
 照度判定期間P86では、アクティブ信号CMが立ち上がり、コンパレータ131およびラッチ回路132がアクティブ化される。そして、コンパレータ131にて画素信号の読出レベルV1が参照電圧VRFと比較され、読出レベルV1の判定結果VCOがラッチ回路132にラッチされる。低照度時では、画素信号の読出レベルV1が参照電圧VRF以上となり、判定結果VCOはロウレベルに設定される。
 長蓄D相サンプリング期間P87では、長蓄サンプルホールド信号SDHBが立ち上がる。ここで、判定結果VCOはロウレベルに設定されているため、長蓄サンプルホールド信号SDHBがセレクタ633にて選択される。このため、サンプルホールド信号SDが立ち上がり、サンプルホールドトランジスタST2がオンされる。また、リセット信号RBが立ち上がり、リセットトランジスタ126がオンされる。このとき、長時間露光部PIX8Aの増幅トランジスタ125、725から出力された長蓄のD相レベルに応じた電荷がサンプルホールド容量C2に保持される。その後、長時間露光部PIX8Aの切替信号SL1、長蓄サンプルホールド信号SDHB、サンプルホールド信号SDおよびリセット信号RBが立ち下がる。
 照度切替期間P88では、短時間露光部PIX8Bの切替信号SL2が立ち上がる。このとき、短時間露光部PIX8BのスイッチSW11、SW12がオンされ、増幅トランジスタ125、725と電流源130との間でソースフォロワ動作が実施される。そして、短時間露光部PIX8Bの増幅トランジスタ125、725と電流源130との間のソースフォロワ動作に基づいて、増幅トランジスタ125、725のゲートに印加された電圧に応じた読出レベルV1がサンプルホールド容量C1、C2に入力される。
 短蓄D相サンプリング期間P89では、短蓄サンプルホールド信号SDLBが立ち上がる。ここで、判定結果VCOはロウレベルに設定されているため、セレクタ633にて低感度サンプルホールド信号SDLAはサンプルホールド信号SDとして選択されず、サンプルホールドトランジスタST2のオフが維持される。このため、短時間露光部PIX8Bの増幅トランジスタ125、725から出力された短蓄のD相レベルに応じた電荷はサンプルホールド容量C2に保持されない。
 図48は、第8の実施の形態に係る画素のグローバルシャッタ動作における高照度時の各部の波形の一例を示すタイミングチャートである。
 同図において、高照度時の長蓄PDリセット期間P81、短蓄PDリセット期間P82、FDリセット期間P83、P相サンプリング期間P84、電荷転送期間P85、照度判定期間P86の動作は、低照度時の長蓄PDリセット期間P81、短蓄PDリセット期間P82、FDリセット期間P83、P相サンプリング期間P84、電荷転送期間P85、照度判定期間P86の動作と同様である。ただし、高照度時では、画素信号の読出レベルV1が参照電圧VRF未満となり、判定結果VCOはハイレベルに設定される。
 長蓄D相サンプリング期間P87では、長蓄サンプルホールド信号SDHBが立ち上がる。ここで、判定結果VCOはハイレベルに設定されているため、セレクタ633にて長蓄サンプルホールド信号SDHBはサンプルホールド信号SDとして選択されず、サンプルホールドトランジスタST2のオフが維持される。このため、長時間露光部PIX8Aの増幅トランジスタ125、725から出力された長蓄のD相レベルに応じた電荷はサンプルホールド容量C2に保持されない。
 照度切替期間P88では、短時間露光部PIX8Bの切替信号SL2が立ち上がる。このとき、短時間露光部PIX8BのスイッチSW11、SW12がオンされ、増幅トランジスタ125、725と電流源130との間でソースフォロワ動作が実施される。そして、短時間露光部PIX8Bの増幅トランジスタ125、725と電流源130との間のソースフォロワ動作に基づいて、増幅トランジスタ125、725のゲートに印加された電圧に応じた読出レベルV1がサンプルホールド容量C1、C2に入力される。
 短蓄D相サンプリング期間P89では、短蓄サンプルホールド信号SDLBが立ち上がる。ここで、判定結果VCOはハイレベルに設定されているため、短蓄サンプルホールド信号SDLBがサンプルホールド信号SDとしてセレクタ633にて選択される。このため、サンプルホールド信号SDが立ち上がり、サンプルホールドトランジスタST2がオンされる。また、リセット信号RBが立ち上がり、リセットトランジスタ126がオンされる。このとき、短時間露光部PIX8Bの増幅トランジスタ125、725から出力された短蓄のD相レベルに応じた電荷がサンプルホールド容量C2に保持される。その後、短時間露光部PIX8Bの切替信号SL2、低感度サンプルホールド信号SDLA、サンプルホールド信号SDおよびリセット信号RBが立ち下がる。
 このように、上述の第8の実施の形態では、グローバルシャッタ動作可能な画素PIX8内で判定された読出レベルV1の判定結果に基づいて、長時間露光部PIX8Aと短時間露光部PIX8Bとを切り替える。これにより、長時間露光部PIX8Aおよび短時間露光部PIX8Bごとに読出しを実施することなく、照度に応じた長時間露光部PIX8Aからの読出しまたは短時間露光部PIX8Bからの読出しを実現することができる。このため、変換効率の切替が実施されない場合においても、フレームレートの低下を抑制しつつ、HDR画像を生成することができる。
 なお、上述の第8の実施の形態では、読出レベルV1の判定結果に基づいて、長時間露光部PIX8Aと短時間露光部PIX8Bとを切り替える例を示した。これ以外にも、上述の第8の実施の形態の構成をLOFIC画素に適用してもよいし、変換効率切替可能な画素に適用してもよい。変換効率切替可能な画素は、上述の第1から第6の実施の形態のいずれの画素でもよい。
 <9.第9の実施の形態>
 上述の第1の実施の形態では、グローバルシャッタ動作可能な画素PIX内で判定された読出レベルV1の判定結果に基づいて、変換効率を切り替えた。この第9の実施の形態では、グローバルシャッタ動作可能な画素内で判定された読出レベルV1の判定結果に基づいて、フォトダイオードPDの露光時間を切り替える。
 図49は、第9の実施の形態に係る固体撮像装置に設けられた画素の回路構成例を示す図である。
 同図において、画素PIX9は、切替トランジスタ124および容量C0が図36の画素PIX6から除去されている。このとき、リセットトランジスタ123は、フローティングデフュージョンFD1に接続される。また、セレクタ133には、高効率サンプルホールド信号SDHおよび低効率サンプルホールド信号SDLに代えて、長時間露光サンプルホールド信号SDHCおよび短時間露光サンプルホールド信号SDLCが入力される。画素PIX9のそれ以外の構成は、図36の画素PIX6の構成と同様である。
 図50は、第9の実施の形態に係る固体撮像装置の画素信号の読出し処理を示すフローチャートである。
 同図において、リセットトランジスタ123および転送トランジスタ122がオンされ、フォトダイオードPDおよびフローティングデフュージョンFD1がリセットされる(ステップS901)。
 次に、リセットトランジスタ123および転送トランジスタ122がオフされ、フォトダイオードPDの長時間露光が実施される(ステップS902)。
 次に、リセットトランジスタ123がオンされ、フローティングデフュージョンFD1がリセットされる(ステップS903)。
 次に、サンプルホールドトランジスタST1がオンされ、増幅トランジスタ125から出力された長時間露光のP相レベルがサンプルホールド容量C1にサンプリングされる(ステップS904)。
 次に、転送トランジスタ122がオンされ、フォトダイオードPDに蓄積された電荷がフローティングデフュージョンFD1に転送される(ステップS905)。
 次に、コンパレータ131において、増幅トランジスタ125から出力された画素信号の読出レベルV1に基づいて照度判定される(ステップS906)。
 そして、照度が低照度の場合、サンプルホールドトランジスタST2がオンされる。このとき、増幅トランジスタ125から出力された長時間露光のD相レベルがサンプルホールド容量C2にサンプリングされる(ステップS911)。
 次に、リセットトランジスタ123および転送トランジスタ122がオンされ、フローティングデフュージョンFD1がリセットされる(ステップS907)。
 次に、リセットトランジスタ123および転送トランジスタ122がオフされ、フォトダイオードPDの短時間露光が実施される(ステップS908)。
 次に、リセットトランジスタ123がオンされ、フローティングデフュージョンFD1がリセットされる(ステップS909)。
 そして、照度が高照度の場合、サンプルホールドトランジスタST2がオンされ、増幅トランジスタ725から出力された短時間露光のD相レベルがサンプルホールド容量C2にサンプリングされる(ステップS910)。
 図51は、第9の実施の形態に係る固体撮像装置の1フレームに割り当てられる動作期間の一例を示すタイミングチャートである。
 同図において、フレームFMには、短時間露光期間EXSと、読出し期間RDが割り当てられる。また、長時間露光期間EXLが複数のフレームFMに跨って割り当てられる。短時間露光期間EXSでは、短蓄D相サンプリングが実施される。長時間露光期間EXLでは、長蓄P相サンプリングおよび照度判定が実施される。長蓄D相サンプリングは、長時間露光期間EXLと短時間露光期間EXSとの間で実施される。
 読出し期間RDでは、画素アレイ部111に配置された画素PIX9について、P相読出しおよびD相読出しがロウごとに実行される。
 図52は、第9の実施の形態に係る画素のグローバルシャッタ動作における低照度時の各部の波形の一例を示すタイミングチャートである。
 同図において、このグローバルシャッタ動作では、PDリセット期間P91、長時間露光期間P92、FDリセット期間P93、P相サンプリング期間P94、電荷転送期間P95、照度判定期間P96、長時間露光D相サンプリング期間P97、PDリセット期間P98、短時間露光期間P99、FDリセット期間P100、電荷転送期間P101および短時間露光D相サンプリング期間P102が設けられる。
 なお、長時間露光サンプルホールド信号SDHCは、長時間露光D相サンプリング期間P97においてハイレベルに設定される。短時間露光サンプルホールド信号SDLCは、短時間露光D相サンプリング期間P102においてハイレベルに設定される。
 PDリセット期間P91では、リセット信号RB、サンプルホールド信号SR、SD、アクティブ信号CM、長時間露光サンプルホールド信号SDHCおよび短時間露光サンプルホールド信号SDLCがロウレベルに設定される。このとき、リセットトランジスタ126およびサンプルホールドトランジスタST1、ST2はオフされ、コンパレータ131およびラッチ回路132は非アクティブ化され、セレクタ133の出力はロウレベルに設定される。そして、転送信号TRGおよびリセット信号RSTが立ち上がり、転送トランジスタ122およびリセットトランジスタ123がオンされる。このとき、フォトダイオードPDおよびフローティングデフュージョンFD1の電荷がリセットされる。
 長時間露光期間P92では、転送信号TRGおよびリセット信号RSTが立ち下がり、転送トランジスタ122およびリセットトランジスタ123がオフされる。このとき、入射光の光量に応じてフォトダイオードPDに電荷が蓄積される。
 FDリセット期間P93では、リセット信号RSTが立ち上がり、リセットトランジスタ123がオンされる。このとき、フローティングデフュージョンFD1の電荷がリセットされる。
 P相サンプリング期間P94では、リセット信号RBおよびサンプルホールド信号SRが立ち上がり、リセットトランジスタ126およびサンプルホールドトランジスタST1がオンされる。このとき、増幅トランジスタ125から出力されたP相レベルに応じた電荷がサンプルホールド容量C1に保持される。
 電荷転送期間P95では、転送信号TRGが立ち上がり、転送トランジスタ122がオンされる。このとき、フォトダイオードPDに蓄積された長時間露光の電荷がフローティングデフュージョンFD1に転送される。ここで、フローティングデフュージョンFD1に転送された電荷に応じた電圧が増幅トランジスタ125のゲートに印加される。そして、増幅トランジスタ125と電流源130との間のソースフォロワ動作に基づいて、増幅トランジスタ125のゲートに印加された電圧に応じた読出レベルV1がコンパレータ131に入力される。
 照度判定期間P96では、アクティブ信号CMが立ち上がり、コンパレータ131およびラッチ回路132がアクティブ化される。そして、コンパレータ131にて画素信号の読出レベルV1が参照電圧VRFと比較され、読出レベルV1の判定結果VCOがラッチ回路132にラッチされる。低照度時では、画素信号の読出レベルV1が参照電圧VRF以上となり、判定結果VCOはロウレベルに設定される。
 長時間露光D相サンプリング期間P97では、長時間露光サンプルホールド信号SDHCが立ち上がる。ここで、判定結果VCOはロウレベルに設定されているため、長時間露光サンプルホールド信号SDHCがセレクタ633にて選択される。このため、サンプルホールド信号SDが立ち上がり、サンプルホールドトランジスタST2がオンされる。また、リセット信号RBが立ち上がり、リセットトランジスタ126がオンされる。このとき、増幅トランジスタ125から出力された長時間露光のD相レベルに応じた電荷がサンプルホールド容量C2に保持される。その後、長時間露光サンプルホールド信号SDHC、サンプルホールド信号SDおよびリセット信号RBが立ち下がる。
 PDリセット期間P98では、リセット信号RB、サンプルホールド信号SR、SD、アクティブ信号CM、長時間露光サンプルホールド信号SDHCおよび短時間露光サンプルホールド信号SDLCがロウレベルに設定される。このとき、リセットトランジスタ126およびサンプルホールドトランジスタST1、ST2はオフされ、コンパレータ131およびラッチ回路132は非アクティブ化され、セレクタ133の出力はロウレベルに設定される。そして、転送信号TRGおよびリセット信号RSTが立ち上がり、転送トランジスタ122およびリセットトランジスタ123がオンされる。このとき、フォトダイオードPDおよびフローティングデフュージョンFD1の電荷がリセットされる。
 短時間露光期間P99では、転送信号TRGおよびリセット信号RSTが立ち下がり、転送トランジスタ122およびリセットトランジスタ123がオフされる。このとき、入射光の光量に応じてフォトダイオードPDに電荷が蓄積される。
 FDリセット期間P100では、リセット信号RSTが立ち上がり、リセットトランジスタ123がオンされる。このとき、フローティングデフュージョンFD1の電荷がリセットされる。
 電荷転送期間P101では、転送信号TRGが立ち上がり、転送トランジスタ122がオンされる。このとき、フォトダイオードPDに蓄積された短時間露光の電荷がフローティングデフュージョンFD1に転送される。ここで、フローティングデフュージョンFD1に転送された電荷に応じた電圧が増幅トランジスタ125のゲートに印加される。そして、増幅トランジスタ125と電流源130との間のソースフォロワ動作に基づいて、増幅トランジスタ125のゲートに印加された電圧に応じた読出レベルV1がサンプルホールド容量C1、C2の入力に印加される。
 短時間露光D相サンプリング期間P102では、短時間露光サンプルホールド信号SDLCが立ち上がる。ここで、判定結果VCOはロウレベルに設定されているため、セレクタ633にて短時間露光サンプルホールド信号SDLCは選択されず、長時間露光サンプルホールド信号SDHCの選択が維持される。このため、サンプルホールド信号SDはロウレベルを維持し、サンプルホールドトランジスタST2のオフが維持される。このため、増幅トランジスタ125から出力された短時間露光のD相レベルに応じた電荷がサンプルホールド容量C2に保持されることなく、増幅トランジスタ125から出力された長時間露光のD相レベルに応じた電荷がサンプルホールド容量C2に保持された状態が維持される。
 図53は、第9の実施の形態に係る画素のグローバルシャッタ動作における高照度時の各部の波形の一例を示すタイミングチャートである。
 同図において、高照度時のPDリセット期間P91、長時間露光期間P92、FDリセット期間P93、P相サンプリング期間P94、電荷転送期間P95、照度判定期間P96、PDリセット期間P98、短時間露光期間P99およびFDリセット期間P100の動作は、低照度時のPDリセット期間P91、長時間露光期間P92、FDリセット期間P93、P相サンプリング期間P94、電荷転送期間P95、照度判定期間P96、PDリセット期間P98、短時間露光期間P99およびFDリセット期間P100の動作と同様である。ただし、高照度時では、画素信号の読出レベルV1が参照電圧VRF未満となり、判定結果VCOはハイレベルに設定される。
 長時間露光D相サンプリング期間P97では、長時間露光サンプルホールド信号SDHCが立ち上がる。ここで、判定結果VCOはハイレベルに設定されているため、セレクタ633にて長時間露光サンプルホールド信号SDHCは選択されない。このため、サンプルホールド信号SDはロウレベルを維持し、サンプルホールドトランジスタST2のオフが維持される。このため、増幅トランジスタ125から出力された短時間露光のD相レベルに応じた電荷がサンプルホールド容量C2に保持されない。その後、長時間露光サンプルホールド信号SDHC、サンプルホールド信号SDおよびリセット信号RBが立ち下がる。
 電荷転送期間P101では、転送信号TRGが立ち上がり、転送トランジスタ122がオンされる。このとき、フォトダイオードPDに蓄積された短時間露光の電荷がフローティングデフュージョンFD1に転送される。ここで、フローティングデフュージョンFD1に転送された電荷に応じた電圧が増幅トランジスタ125のゲートに印加される。そして、増幅トランジスタ125と電流源130との間のソースフォロワ動作に基づいて、増幅トランジスタ125のゲートに印加された電圧に応じた読出レベルV1がサンプルホールド容量C1、C2の入力に印加される。
 短時間露光D相サンプリング期間P102では、短時間露光サンプルホールド信号SDLCが立ち上がる。ここで、判定結果VCOはハイレベルに設定されているため、短時間露光サンプルホールド信号SDLCがセレクタ633にて選択される。このため、サンプルホールド信号SDが立ち上がり、サンプルホールドトランジスタST2がオンされる。また、リセット信号RBが立ち上がり、リセットトランジスタ126がオンされる。このとき、増幅トランジスタ125から出力された短時間露光のD相レベルに応じた電荷がサンプルホールド容量C2に保持される。
 このように、上述の第9の実施の形態では、グローバルシャッタ動作可能な画素PIX9内で判定された読出レベルV1の判定結果に基づいて、フォトダイオードPDの露光時間を切り替える。これにより、フォトダイオードPDの露光時間ごとに画素PIX9からの読出しを実施することなく、照度に応じて選択された露光時間が設定されたフォトダイオードPDからの読出しを実現することができる。このため、変換効率の切替が実施されない場合においても、フレームレートの低下を抑制しつつ、HDR画像を生成することができる。
 なお、上述の第9の実施の形態では、読出レベルV1の判定結果に基づいて、フォトダイオードPDの露光時間を切り替える例を示した。これ以外にも、上述の第9の実施の形態の構成をLOFIC画素に適用してもよいし、変換効率切替可能な画素に適用してもよい。変換効率切替可能な画素は、上述の第1から第6の実施の形態のいずれの画素でもよい。
 <10.第10の実施の形態>
 上述の第1の実施の形態では、グローバルシャッタ動作可能な画素PIX内で判定された読出レベルV1の判定結果に基づいて読出レベルV1を切り替えた。この第10の実施の形態では、画素がマトリックス状に配列された画素アレイ部が設けられた半導体チップを積層化する。
 図54は、第10の実施の形態に係る固体撮像装置の第1の積層例を示す斜視図、図55は、第10の実施の形態に係る固体撮像装置の第1の積層例における画素の分割位置を示す図である。
 図54において、固体撮像装置は、半導体チップ1010、1020を備える。半導体チップ1010は、半導体チップ1020上に積層される。
 半導体チップ1010には、上側画素アレイ部1011が形成される。上側画素アレイ部1011には、画素がロウ方向およびカラム方向にマトリックス状に配置される。
 半導体チップ1020には、下側画素アレイ部1021およびカラム信号処理回路1022が形成される。下側画素アレイ部1021には、画素がロウ方向およびカラム方向にマトリックス状に配置される。カラム信号処理回路1022には、図2のカラム読出し回路113およびカラム信号処理部114を形成することができる。
 半導体チップ1010、1020に形成される画素は、上述の第1から第9の実施の形態のいずれかの画素を用いることができる。例えば、図55に示すように、画素PIXをA1-A2線の位置で分割して半導体チップ1010、1020に割り当ててもよい。このとき、フォトダイオードPDは、上側画素アレイ部1011に配置することができる。
 半導体チップ1010、1020は、直接接合してもよい。半導体チップ1010、1020の直接接合では、ハイブリッドボンディングを用いることができる。このとき、半導体チップ1010、1020は、Cu-Cu接続に基づいて電気的に接続してもよい。半導体チップ1010、1020に用いられる半導体基板の材料は、Siでもよいし、InGaAsでもよいし、InPでもよい。
 図56は、第10の実施の形態に係る固体撮像装置の第2の積層例を示す斜視図、図57は、第10の実施の形態に係る固体撮像装置の第2の積層例における画素の分割位置を示す図である。
 図56において、固体撮像装置は、半導体チップ1110、1120、1130を備える。半導体チップ1110は、半導体チップ1120上に積層され、半導体チップ1120は、半導体チップ1130上に積層される。
 半導体チップ1110には、上側画素アレイ部1111が形成される。上側画素アレイ部1111には、画素の一部がロウ方向およびカラム方向にマトリックス状に配置される。
 半導体チップ1120には、下側画素アレイ部1121が形成される。下側画素アレイ部1021には、画素の一部がロウ方向およびカラム方向にマトリックス状に配置される。
 半導体チップ1130には、カラム信号処理回路1131が形成される。カラム信号処理回路1131には、図2のカラム読出し回路113およびカラム信号処理部114を形成することができる。
 半導体チップ1110、1120に形成される画素は、上述の第1から第9の実施の形態のいずれかの画素を用いることができる。例えば、図57に示すように、画素PIXをB1-B2線の位置およびC1-C2線の位置で半導体チップ1110、1120に割り当ててもよい。このとき、フォトダイオードPDは、上側画素アレイ部1111に配置することができる。
 半導体チップ1110、1120、1130は、直接接合してもよい。半導体チップ1110、1120、1130の直接接合では、ハイブリッドボンディングを用いることができる。このとき、半導体チップ1110、1120、1130は、Cu-Cu接続に基づいて電気的に接続してもよい。半導体チップ1110、1120、1130に用いられる半導体基板の材料は、Siでもよいし、InGaAsでもよいし、InPでもよい。
 このように、上述の第10の実施の形態では、画素アレイ部が形成される半導体チップを積層する。これにより、固体撮像装置が形成された半導体チップの実装面積の増大を抑制しつつ、固体撮像装置の感度を増大させることが可能となる。
 <11.移動体への応用例>
 本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
 図58は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
 車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図58に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
 駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
 ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
 車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
 撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であってもよいし、赤外線等の非可視光であってもよい。
 車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
 マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
 また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
 また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
 音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図58の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
 図59は、撮像部12031の設置位置の例を示す図である。
 図59では、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
 撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
 なお、図59には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
 撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
 例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
 例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
 撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
 以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031に適用され得る。具体的には、例えば、上述の第1から第10の実施の形態の撮像装置は、撮像部12031に適用することができる。車両制御システム12000に本開示に係る技術を適用することにより、撮像装置の低フレームレート化を抑制しつつ、ダイナミックレンジを向上させることができる。
 なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。また、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
 なお、本技術は以下のような構成もとることができる。
(1)複数の読出レベルの画素信号を生成可能な画素と、
 前記画素内で前記画素信号の読出レベルを判定する判定回路と、
 前記画素信号の読出レベルの判定結果に基づいて、前記画素信号の読出レベルを切り替える切替回路と
を備える撮像装置。
(2)前記画素は、変換効率の切替に基づいて、前記複数の読出レベルの画素信号を生成する
前記(1)に記載の撮像装置。
(3)前記画素は、
 光電変換素子と、
 前記画素信号を増幅する増幅トランジスタと、
 前記増幅トランジスタのゲートに接続されるフローティングデフュージョンと、
 前記光電変換素子に蓄積された電荷を前記フローティングデフュージョンに転送する転送トランジスタと、
 前記増幅トランジスタで増幅された前記画素信号の出力を選択する選択トランジスタと、
 前記増幅トランジスタにおける変換効率を切り替える切替トランジスタと
を備える前記(1)または(2)に記載の撮像装置。
(4)前記切替回路は、前記画素信号の読出レベルの判定結果に基づいて、前記切替トランジスタのオン・オフを切り替える
前記(3)に記載の撮像装置。
(5)前記画素は、
 横型オーバーフロー蓄積容量と、
 前記横型オーバーフロー蓄積容量に蓄積された電荷が前記フローティングデフュージョンに転送されるパスを設定するパストランジスタとを備え、
 前記切替回路は、前記画素信号の読出レベルの判定結果に基づいて、前記切替トランジスタおよび前記パストランジスタのオン・オフを切り替える
前記(4)に記載の撮像装置。
(6)前記画素は、
 感度が互いに異なる複数の光電変換素子を備え、
 前記切替回路は、前記画素信号の読出レベルの判定結果に基づいて、前記画素信号の生成に用いられる前記光電変換素子を切り替える
前記(1)に記載の撮像装置。
(7)前記画素は、
 露光時間が互いに異なる複数の光電変換素子を備え、
 前記切替回路は、前記画素信号の読出レベルの判定結果に基づいて、前記画素信号の生成に用いられる前記光電変換素子を切り替える
前記(1)に記載の撮像装置。
(8)前記画素は、
 露光時間を切り替え可能な光電変換素子を備え、
 前記切替回路は、前記画素信号の読出レベルの判定結果に基づいて、前記光電変換素子で露光される露光時間を切り替える
前記(1)に記載の撮像装置。
(9)前記判定回路は、複数の画素で共有される
前記(1)から(8)のいずれかに記載の撮像装置。
(10)前記画素信号の読出レベルの判定結果に基づいて前記画素信号の読出レベルが切り替えられた後、ローリングシャッタ動作に基づいて前記画素から前記画素信号が読出される
前記(1)から(9)のいずれかに記載の撮像装置。
(11)前記画素は、グローバルシャッタ動作に基づいて前記画素信号をサンプルホールドするサンプルホールド回路
を備える前記(1)から(9)のいずれかに記載の撮像装置。
(12)前記サンプルホールド回路は、
 P相レベルに対応した電荷を保持する第1サンプルホールド容量と、
 D相レベルに対応した電荷を保持する第2サンプルホールド容量とを備え、
 前記判定回路は、1フレーム期間の前記P相レベルのサンプリングと前記D相レベルのサンプリングとの間に前記画素信号の読出レベルを判定する
前記(11)に記載の撮像装置。
(13)前記判定回路は、前記画素信号の読出レベルの判定時に前記第1サンプルホールド容量および前記第2サンプルホールド容量から切り離される
前記(12)に記載の撮像装置。
(14)前記P相レベルのサンプリングタイミングを設定する第1サンプルホールドトランジスタと、
 前記D相レベルのサンプリングタイミングを設定する第2サンプルホールドトランジスタとを備え、
 前記切替回路は、前記画素信号の読出レベルの判定結果に基づいて、前記第2サンプルホールドトランジスタのオン・オフを切り替える
前記(12)または(13)に記載の撮像装置。
(15)前記画素からの画素信号の読出しと、前記画素信号の読出レベルの判定結果の読出しとで共有される垂直信号線
を備える前記(1)から(14)のいずれかに記載の撮像装置。
(16)前記画素からの画素信号の読出しに用いられる垂直信号線と、
 前記画素信号の読出レベルの判定結果の読出しに用いられる読出し線と
を備える前記(1)から(14)のいずれかに記載の撮像装置。
(17)画素内で画素信号を生成するステップと、
 前記画素信号の読出レベルを前記画素内で判定するステップと、
 前記画素信号の読出レベルの判定結果に基づいて前記画素信号の読出レベルを切り替えるステップと、
 前記画素信号の読出レベルが切り替えられた後、ローリングシャッタ動作に基づいて前記画素から前記画素信号を読出すステップと
を備える撮像方法。
(18)前記画素信号の読出レベルの判定前に前記画素から前記画素信号が読出されない
前記(17)に記載の撮像方法。
(19)画素信号をサンプルホールド可能な画素内で前記画素信号を生成するステップと、
 前記画素信号の読出レベルを前記画素内で判定するステップと、
 前記画素信号の読出レベルの判定結果に基づいて前記画素信号の読出レベルを切り替えるステップと、
 前記画素信号の読出レベルが切り替えられた後、グローバルシャッタ動作に基づいて前記画素信号をサンプルホールドするステップと、
 前記サンプルホールドされた画素信号をロウごとに読出すステップと
を備える撮像方法。
(20)前記画素信号の読出レベルの判定前に前記画素信号のD相レベルが前記画素にサンプルホールドされない
前記(19)に記載の撮像方法。
 100 撮像装置
 101 光学系
 102 固体撮像装置
 103 撮像制御部
 104 画像処理部
 105 記憶部
 106 表示部
 107 操作部
 108 バス
 111 画素アレイ部
 112 垂直走査回路
 113 カラム読出し回路
 114 カラム信号処理部
 115 水平走査回路
 116 制御回路
 117 垂直信号線
 118 水平駆動線
 PIX 画素 
 PD フォトダイオード
 FD1、FD2 フローティングデフュージョン
 122 転送トランジスタ
 123、126 リセットトランジスタ
 124 切替トランジスタ
 125、127 増幅トランジスタ
 128 選択トランジスタ
 129 判定値読出しトランジスタ
 SH サンプルホールド回路
 C1、C2 サンプルホールド容量
 ST1、ST2 サンプルホールドトランジスタ
 130、134 電流源
 131 コンパレータ
 132 ラッチ回路
 133 セレクタ

Claims (20)

  1.  複数の読出レベルの画素信号を生成可能な画素と、
     前記画素内で前記画素信号の読出レベルを判定する判定回路と、
     前記画素信号の読出レベルの判定結果に基づいて、前記画素信号の読出レベルを切り替える切替回路と
    を備える撮像装置。
  2.  前記画素は、変換効率の切替に基づいて、前記複数の読出レベルの画素信号を生成する
    請求項1に記載の撮像装置。
  3.  前記画素は、
     光電変換素子と、
     前記画素信号を増幅する増幅トランジスタと、
     前記増幅トランジスタのゲートに接続されるフローティングデフュージョンと、
     前記光電変換素子に蓄積された電荷を前記フローティングデフュージョンに転送する転送トランジスタと、
     前記増幅トランジスタで増幅された前記画素信号の出力を選択する選択トランジスタと、
     前記増幅トランジスタにおける変換効率を切り替える切替トランジスタと
    を備える請求項1に記載の撮像装置。
  4.  前記切替回路は、前記画素信号の読出レベルの判定結果に基づいて、前記切替トランジスタのオン・オフを切り替える
    請求項3に記載の撮像装置。
  5.  前記画素は、
     横型オーバーフロー蓄積容量と、
     前記横型オーバーフロー蓄積容量に蓄積された電荷が前記フローティングデフュージョンに転送されるパスを設定するパストランジスタとを備え、
     前記切替回路は、前記画素信号の読出レベルの判定結果に基づいて、前記切替トランジスタおよび前記パストランジスタのオン・オフを切り替える
    請求項4に記載の撮像装置。
  6.  前記画素は、
     感度が互いに異なる複数の光電変換素子を備え、
     前記切替回路は、前記画素信号の読出レベルの判定結果に基づいて、前記画素信号の生成に用いられる前記光電変換素子を切り替える
    請求項1に記載の撮像装置。
  7.  前記画素は、
     露光時間が互いに異なる複数の光電変換素子を備え、
     前記切替回路は、前記画素信号の読出レベルの判定結果に基づいて、前記画素信号の生成に用いられる前記光電変換素子を切り替える
    請求項1に記載の撮像装置。
  8.  前記画素は、
     露光時間を切り替え可能な光電変換素子を備え、
     前記切替回路は、前記画素信号の読出レベルの判定結果に基づいて、前記光電変換素子で露光される露光時間を切り替える
    請求項1に記載の撮像装置。
  9.  前記判定回路は、複数の画素で共有される
    請求項1に記載の撮像装置。
  10.  前記画素信号の読出レベルの判定結果に基づいて前記画素信号の読出レベルが切り替えられた後、ローリングシャッタ動作に基づいて前記画素から前記画素信号が読出される
    請求項1に記載の撮像装置。
  11.  前記画素は、グローバルシャッタ動作に基づいて前記画素信号をサンプルホールドするサンプルホールド回路
    を備える請求項1に記載の撮像装置。
  12.  前記サンプルホールド回路は、
     P相レベルに対応した電荷を保持する第1サンプルホールド容量と、
     D相レベルに対応した電荷を保持する第2サンプルホールド容量とを備え、
     前記判定回路は、1フレーム期間の前記P相レベルのサンプリングと前記D相レベルのサンプリングとの間に前記画素信号の読出レベルを判定する
    請求項11に記載の撮像装置。
  13.  前記判定回路は、前記画素信号の読出レベルの判定時に前記第1サンプルホールド容量および前記第2サンプルホールド容量から切り離される
    請求項12に記載の撮像装置。
  14.  前記P相レベルのサンプリングタイミングを設定する第1サンプルホールドトランジスタと、
     前記D相レベルのサンプリングタイミングを設定する第2サンプルホールドトランジスタとを備え、
     前記切替回路は、前記画素信号の読出レベルの判定結果に基づいて、前記第2サンプルホールドトランジスタのオン・オフを切り替える
    請求項12に記載の撮像装置。
  15.  前記画素からの画素信号の読出しと、前記画素信号の読出レベルの判定結果の読出しとで共有される垂直信号線
    を備える請求項1に記載の撮像装置。
  16.  前記画素からの画素信号の読出しに用いられる垂直信号線と、
     前記画素信号の読出レベルの判定結果の読出しに用いられる読出し線と
    を備える請求項1に記載の撮像装置。
  17.  画素内で画素信号を生成するステップと、
     前記画素信号の読出レベルを前記画素内で判定するステップと、
     前記画素信号の読出レベルの判定結果に基づいて前記画素信号の読出レベルを切り替えるステップと、
     前記画素信号の読出レベルが切り替えられた後、ローリングシャッタ動作に基づいて前記画素から前記画素信号を読出すステップと
    を備える撮像方法。
  18.  前記画素信号の読出レベルの判定前に前記画素から前記画素信号が読出されない
    請求項18に記載の撮像方法。
  19.  画素信号をサンプルホールド可能な画素内で前記画素信号を生成するステップと、
     前記画素信号の読出レベルを前記画素内で判定するステップと、
     前記画素信号の読出レベルの判定結果に基づいて前記画素信号の読出レベルを切り替えるステップと、
     前記画素信号の読出レベルが切り替えられた後、グローバルシャッタ動作に基づいて前記画素信号をサンプルホールドするステップと、
     前記サンプルホールドされた画素信号をロウごとに読出すステップと
    を備える撮像方法。
  20.  前記画素信号の読出レベルの判定前に前記画素信号のD相レベルが前記画素にサンプルホールドされない
    請求項19に記載の撮像方法。
PCT/JP2025/014604 2024-06-05 2025-04-14 撮像装置および撮像方法 Pending WO2025253777A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024091474 2024-06-05
JP2024-091474 2024-06-05

Publications (1)

Publication Number Publication Date
WO2025253777A1 true WO2025253777A1 (ja) 2025-12-11

Family

ID=97960752

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2025/014604 Pending WO2025253777A1 (ja) 2024-06-05 2025-04-14 撮像装置および撮像方法

Country Status (1)

Country Link
WO (1) WO2025253777A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005108938A1 (ja) * 2004-05-10 2005-11-17 Hamamatsu Photonics K.K. 光検出装置
JP2019501588A (ja) * 2015-12-30 2019-01-17 レイセオン カンパニー ゲイン調整可能なユニットセル
JP2022180791A (ja) * 2021-05-25 2022-12-07 ブリルニクス シンガポール プライベート リミテッド 固体撮像装置、固体撮像装置の駆動方法、および電子機器
WO2023026565A1 (ja) * 2021-08-26 2023-03-02 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び電子機器
WO2023067961A1 (ja) * 2021-10-18 2023-04-27 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005108938A1 (ja) * 2004-05-10 2005-11-17 Hamamatsu Photonics K.K. 光検出装置
JP2019501588A (ja) * 2015-12-30 2019-01-17 レイセオン カンパニー ゲイン調整可能なユニットセル
JP2022180791A (ja) * 2021-05-25 2022-12-07 ブリルニクス シンガポール プライベート リミテッド 固体撮像装置、固体撮像装置の駆動方法、および電子機器
WO2023026565A1 (ja) * 2021-08-26 2023-03-02 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び電子機器
WO2023067961A1 (ja) * 2021-10-18 2023-04-27 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Similar Documents

Publication Publication Date Title
TWI820078B (zh) 固體攝像元件
CN112740659B (zh) 固态摄像元件和摄像装置
CN112913224B (zh) 固态成像元件和成像装置
JP7645260B2 (ja) 固体撮像装置及び撮像装置
CN117678237A (zh) 摄像装置和电子设备
WO2022009573A1 (ja) 撮像装置及び撮像方法
CN115136587B (zh) 成像电路和成像装置
JP7751602B2 (ja) 固体撮像素子
WO2023067961A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US20260122373A1 (en) Solid-state imaging element, imaging device, and control method of solid-state imaging element
WO2024042862A1 (ja) 撮像装置
WO2025253777A1 (ja) 撮像装置および撮像方法
JP2021125836A (ja) 撮像装置及び電子機器
WO2025079456A1 (ja) 光検出装置および撮像装置
JP2025011389A (ja) 撮像装置
WO2026018563A1 (ja) コンパレータ、ad変換器および撮像装置
WO2024042864A1 (ja) 撮像装置
WO2024095630A1 (ja) 撮像装置
WO2026038418A1 (ja) 撮像装置および撮像方法
WO2025182288A1 (ja) 撮像装置および撮像方法
WO2024228300A1 (ja) コンパレータおよび撮像装置
TW202205645A (zh) 固態攝像裝置
WO2025062832A1 (ja) 撮像装置、コンパレータおよび撮像方法
WO2025248978A1 (ja) イメージセンサ、および、イメージセンサの制御方法
WO2024042946A1 (ja) 光検出素子

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25819539

Country of ref document: EP

Kind code of ref document: A1