WO2021153429A1 - 固体撮像装置及び電子機器 - Google Patents

固体撮像装置及び電子機器 Download PDF

Info

Publication number
WO2021153429A1
WO2021153429A1 PCT/JP2021/002122 JP2021002122W WO2021153429A1 WO 2021153429 A1 WO2021153429 A1 WO 2021153429A1 JP 2021002122 W JP2021002122 W JP 2021002122W WO 2021153429 A1 WO2021153429 A1 WO 2021153429A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
transistor
signal
pixel
pixels
Prior art date
Application number
PCT/JP2021/002122
Other languages
English (en)
French (fr)
Inventor
邦彦 天野
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2021153429A1 publication Critical patent/WO2021153429A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Definitions

  • This disclosure relates to a solid-state image sensor and an electronic device.
  • CMOS Complementary Metal-Oxide-Semiconductor
  • Patent Document 1 proposes a method of acquiring a noise charge, a signal charge, and a noise charge in order, and using them to reduce the influence of the noise charge.
  • the time lag between the acquisition of the noise charge and the acquisition of the signal charge and the noise charge causes a difference in the amount of each noise charge, and there is a possibility that the influence of the noise charge cannot be sufficiently reduced.
  • the problem becomes apparent when the position and brightness of the subject change during the time lag.
  • An object of the present disclosure is to provide a solid-state image sensor and an electronic device capable of reducing the influence of noise charge.
  • the solid-state imaging device includes a pixel array including a plurality of unit pixels, a drive unit that drives each of the plurality of unit pixels so that the exposure period is uniform, and a plurality of units based on the drive by the drive unit.
  • a signal processing circuit for processing a pixel signal output from each pixel to a signal line is provided, and each of the plurality of unit pixels includes a photoelectric conversion unit, a first transfer transistor connected to the photoelectric conversion unit, and a first unit.
  • a memory unit connected to the photoelectric conversion unit via a transfer transistor and holding a signal charge generated by the photoelectric conversion unit, a second transfer transistor connected to the memory unit, and connected to the memory unit via a second transfer transistor.
  • the storage unit that stores the charge transferred from the memory unit, the amplification transistor that causes the pixel signal of the voltage value based on the charge stored in the storage unit to appear on the signal line, and the first discharge connected to the photoelectric conversion unit. It includes a transistor and a second emission transistor connected to a photoelectric conversion unit.
  • FIG. 1 It is a figure which shows the plane layout example of a unit pixel. It is a figure which shows the equivalent circuit example of a unit pixel. It is a figure which shows the cross-sectional structure example of the back-illuminated type unit pixel. It is a block diagram which shows an example of the schematic structure of a vehicle control system. It is explanatory drawing which shows an example of the installation position of the vehicle exterior information detection unit and the image pickup unit. It is a figure which shows an example of the schematic structure of the endoscopic surgery system. It is a block diagram which shows an example of the functional structure of a camera head and a CCU.
  • Embodiment 2.1 Schematic configuration example of an electronic device 2.2 Schematic configuration example of a solid-state image sensor 2.3 Example of an equivalent circuit of a unit pixel 2.4 Example of a plane layout of a unit pixel 2.5 Example of a cross-sectional structure of a unit pixel 2 .6 Example of unit pixel arrangement 2.7 Example of noise reduction processing 2.8 Example of imaging processing 3. Modification example 3.1 Example of equivalent circuit of unit pixel 3.2 Example of plane layout of unit pixel 3.3 Example of OR circuit 3.4 Example of back-illuminated type 3.5 Example of 1 pixel 1ADC 4. Effect 5. Application example to mobile body 6. Application example to endoscopic surgery system
  • Solid-state image sensors are widely used in electronic devices such as digital still cameras and digital video cameras.
  • a rolling shutter method and a global shutter method are known as operation methods of such a solid-state image sensor.
  • the rolling shutter method is a method of taking an image while shifting the exposure period from the upper row to the lower row of the pixel portion according to the image output timing, and can be realized with the minimum necessary circuit scale.
  • focal plane distortion occurs.
  • focal plane distortion does not occur.
  • the simultaneous shutter type solid-state image sensor the simultaneouseity of storage in each pixel is realized by providing a memory unit for each pixel.
  • a storage element is provided for each pixel, there is a concern that noise charge may be generated due to light leaking into the memory unit while holding the charge, that is, image quality may be deteriorated due to smear generation.
  • the smear detection accuracy is proportional to the arrangement density of the smear detection pixels, and the smear detection accuracy increases by increasing the number of smear detection pixels, but the number of imaging pixels decreases by that amount, which causes deterioration of image quality.
  • FIG. 1 is a block diagram showing an example of a schematic configuration of an electronic device according to an embodiment on which the solid-state image sensor according to the embodiment is mounted.
  • the electronic device is a camera.
  • the electronic device 1 includes an image pickup lens 10, a solid-state image pickup device 100, a processor 20, and a storage unit 30.
  • the image pickup lens 10 collects incident light and forms an image of the incident light on a solid-state image sensor.
  • the solid-state image sensor 100 converts the light incident on the light receiving surface into an electric signal (photoelectric conversion) to generate image data. Details of the solid-state image sensor 100 will be described later with reference to FIGS. 2 and later.
  • the processor 20 controls the solid-state image sensor 100.
  • the processor 20 processes the image data generated by the solid-state image sensor 100.
  • the processor 20 executes various processes necessary for the electronic device 1.
  • processing such as exposure control (AE: Auto Exposure) and autofocus (AF: Auto Focus) is executed by the processor 20.
  • the storage unit 30 stores the image data generated by the solid-state image sensor 100. In addition to this, the storage unit 30 stores various data necessary for the processing executed by the processor 20.
  • FIGS. 2 and 3 are diagrams showing a schematic configuration example of the solid-state image sensor.
  • the solid-state image sensor 100 is a CMOS image sensor.
  • the solid-state image sensor 100 includes a pixel array 40, a vertical drive unit 50, a horizontal drive unit 60, a column signal processing circuit 70, a mode switching signal distribution unit 80, and a logic circuit 90.
  • the pixel array 40 includes a plurality of unit pixels 400.
  • the plurality of unit pixels 400 are arranged in a two-dimensional grid pattern (also referred to as a matrix pattern).
  • a pixel drive line connected to the vertical drive unit 50 is connected to each unit pixel 400, and a vertical drive signal is supplied.
  • the pixel signal of each unit pixel 400 appears in the VSL (vertical signal line) 420.
  • each unit pixel 400 is further connected with a mode switching signal component wiring connected to the mode switching signal distribution unit 80, and an operation mode switching signal is supplied. Further details of the unit pixel 400 will be described later with reference to FIGS. 4 to 6.
  • the vertical drive unit 50 drives a plurality of unit pixels 400.
  • the vertical drive unit 50 supplies a drive signal to the pixel drive lines extending in the row direction of the pixel array 40. As a result, the plurality of unit pixels 400 are driven in units of rows.
  • An example of a drive signal is a pulse signal.
  • the drive timing is controlled based on the signal SIG1.
  • the signal SIG1 is supplied to the vertical drive unit 50 from the drive control unit 91 (described later) of the logic circuit 90.
  • the vertical drive unit 50 may be composed of a shift register, an address decoder, or the like.
  • the vertical drive unit 50 selectively scans the unit pixels 400 in a row-by-row manner in the vertical direction, and transmits a pixel signal based on the signal charge generated in each PD 401 of the unit pixels 400 according to the amount of received light through the VSL 420 to a column signal processing circuit. Supply to 70.
  • the horizontal drive unit 60 drives a plurality of unit pixels 400.
  • the horizontal drive unit 60 supplies a drive signal to the pixel drive lines extending in the row direction of the pixel array 40. As a result, a plurality of unit pixels 400 are driven (selected) in units of columns.
  • An example of a drive signal is a pulse signal.
  • the drive timing is controlled based on the signal SIG2.
  • the signal SIG2 is supplied from the drive control unit 91 to the horizontal drive unit 60.
  • the pixel signal output from the unit pixel 400 of the selected column is input to the column signal line (corresponding to the vertical signal line (VSL) 420) extending in the column direction, and is an AD conversion unit for each column of the column signal processing circuit 70. It is converted to a digital value by (unit circuit).
  • the horizontal drive unit 60 may be composed of a shift register, an address decoder, and the like.
  • the column signal processing circuit 70 processes pixel signals output to signal lines (corresponding to VSL420) from each of the plurality of unit pixels 400 based on driving by the vertical drive unit 50 and the horizontal drive unit 60.
  • the column signal processing circuit 70 includes a plurality of AD conversion units (not shown), each of which corresponds to each column of the unit pixel 400.
  • Each AD conversion unit converts the analog pixel signal output from the unit pixel 400 of the corresponding column into a digital pixel signal.
  • the digital pixel signal is sent to the signal processing circuit 93 (described later) in the logic circuit 90.
  • the conversion timing is controlled based on the signal SIG3.
  • the signal SIG3 is supplied from the drive control unit 91 to the column signal processing circuit 70.
  • the column signal processing circuit 70 may include a circuit that executes processing such as CDS (correlation double sampling) using a pixel signal converted into a digital value.
  • the mode switching signal distribution unit 80 supplies the unit pixel 400 with an operation mode switching signal for switching the mode (described later) of the unit pixel 400.
  • the selection of the unit pixel 400 to be supplied (distributed) of the mode switching signal is controlled based on the signal SIG5.
  • the signal SIG 5 is supplied to the mode switching signal distribution unit 80 from the mode determination circuit 92 (described later) of the logic circuit 90.
  • the logic circuit 90 controls the pixel array 40, the vertical drive unit 50, the horizontal drive unit 60, the column signal processing circuit 70, and the mode switching signal distribution unit 80, and is a digital circuit that processes the pixel signal from the column signal processing circuit 70.
  • the logic circuit 90 includes a drive control unit 91, a mode determination circuit 92, and a signal processing circuit 93.
  • the drive control unit 91 generates the signal SIG1, the signal SIG2, the signal SIG3, and the signal SIG4 based on the drive parameters.
  • the signal SIG1 is a drive signal of the vertical drive unit 50.
  • the signal SIG2 is a drive signal of the horizontal drive unit 60.
  • the signal SIG3 is a drive signal of the column signal processing circuit 70.
  • the signal SIG4 is a drive signal of the signal processing circuit 93.
  • the drive control unit 91 generates the signals SIG1 to SIG4 based on the drive parameters given by the external higher-level device.
  • the host device is the processor 20 of the electronic device 1 (FIG. 1), other application processors, and the like.
  • the drive parameters may include frame rate, ROI (Region Of Interest) specification, switching between HDR (High Dynamic Range) and LDR (Low Dynamic Range), and the like, in addition to the clock signal that serves as an operation reference. ..
  • the mode determination circuit 92 generates the signal SIG5.
  • the signal SIG 5 is a signal for switching the operation mode of each unit pixel 400 in the pixel array 40.
  • the mode determination circuit 92 generates the signal SIG5 based on the AE / AF status signal.
  • the AE / AF status signal indicates whether or not each of AE and AF is being executed, whether or not it is completed, and the like.
  • the AE / AF status signal is sent from the processor 20 (FIG. 1) to the mode determination circuit 92.
  • the mode determination circuit 92 generates a signal SIG 5 for switching the operation mode of each unit pixel 400 in the pixel array 40 based on the signal from the signal processing circuit 93.
  • the mode determination circuit 92 may generate the signal SIG5 in response to an instruction from the processor 20. The switching of the operation mode of each unit pixel 400 will be described later.
  • the signal processing circuit 93 executes signal processing such as white balance adjustment on the image data for each row or frame output from the column signal processing circuit 70.
  • the signal-processed image data is output to the processor 20 and / or the storage unit 30 (FIG. 1).
  • the timing of processing the digital signal is controlled based on the signal SIG4.
  • the signal SIG4 is supplied from the drive control unit 91 to the signal processing circuit 93.
  • FIG. 4 is a diagram showing an example of an equivalent circuit of unit pixel.
  • the unit pixel in the present description may be a pixel composed of one readout circuit and one or a plurality of photoelectric conversion units connected to the reading circuit. However, in the following description, for simplification, a case where one photoelectric conversion unit is connected to one readout circuit will be illustrated.
  • the unit pixel 400 illustrated in FIG. 4 includes a PD (photodiode) 401 and a readout circuit 460.
  • the read circuit 460 includes, for example, a MEM (memory) 402, an FD (floating diffusion) 403, a first transfer transistor 405, a second transfer transistor 406, a reset transistor 409, a first emission transistor 404, a second emission transistor 410, and an amplification transistor. Includes 407 and selective transistor 408.
  • Each transistor constituting the readout circuit 460 is, for example, an N-type MOS transistor. However, the present invention is not limited to this, and a part or all of the P-type MOS transistor can be used.
  • a plurality of power supply voltages supplied to the circuit are shown as power supply lines VDD. Each power line VDD may have a different voltage value. Each power line VDD may be supplied from the same power source or may be supplied from different power sources. A ground GND having a reference potential is also shown.
  • PD401 is a photoelectric conversion unit that generates an electric charge corresponding to incident light.
  • the anode of PD401 is connected to the ground GND.
  • the cathode of the PD401 is connected to the power supply line VDD via both ends (source and drain in this example) of the first emission transistor 404.
  • the first discharge transistor 404 is also referred to as an overflow gate.
  • the control voltage OFG is applied to the control end (gate in this example) of the first emission transistor 404, both ends of the first emission transistor 404 become conductive, and the electric charge accumulated in the cathode of the PD401 is discharged to the power supply line VDD. (Reset).
  • the control voltage OFG is supplied from the vertical drive unit 50 (FIG. 1).
  • the cathode of the PD 401 is connected to the MEM 402 via both ends of the first transfer transistor 405, and is connected to the power supply line VDD via both ends of the second emission transistor 410.
  • MEM402 is a memory unit that holds the electric charge generated by PD401.
  • the MEM 402 is connected to the cathode of the PD 401 via both ends of the first transfer transistor 405.
  • the first transfer transistor 405 is a transfer gate for transferring the electric charge of the PD 401 to the MEM 402.
  • the control voltage TRX is supplied from the vertical drive unit 50 (FIG. 1).
  • the MEM 402 is, for example, an embedded channel CCD (Charge Coupled Device).
  • the FD403 is a storage unit having a charge-voltage conversion function that stores the electric charge transferred from the MEM402 and converts the electric charge into a voltage having a voltage value according to the amount of electric charge.
  • the FD 403 is connected to the MEM 402 via both ends of the second transfer transistor 406.
  • the second transfer transistor 406 is a transfer gate for transferring the electric charge of the MEM 402 to the FD 403.
  • the control voltage TRG is applied to the control end of the second transfer transistor 406, both ends of the second transfer transistor 406 become conductive, and the electric charge is transferred from the MEM 402 to the FD 403.
  • the control voltage TRG is supplied from the vertical drive unit 50 (FIG. 1).
  • the voltage of the voltage value corresponding to the amount of electric charge stored in the FD 403 is amplified by the amplification transistor 407 with a predetermined amplification gain, and then appears in the VSL 420 via the selection transistor 408.
  • the control end of the amplification transistor 407 is connected to the FD403, and both ends are connected between the power supply line VDD and the selection transistor 408.
  • the selection transistor 408 is a row selection transistor. When the control voltage SEL is applied to the control end of the selection transistor 408, the drain end of the amplification transistor 407 is connected to the VSL 420 via both ends of the selection transistor 408. As a result, the voltage amplified by the amplification transistor 407 appears in the VSL 420 as a pixel signal.
  • the control voltage SEL is supplied from the horizontal drive unit 60 (FIG. 1).
  • the FD403 is connected to the power supply line VDD via both ends of the reset transistor 409.
  • the reset transistor 409 is a reset transistor for resetting the FD 403.
  • the reset transistor 409 constitutes a first reset unit.
  • the control voltage RST is supplied from the vertical drive unit 50 (FIG. 1).
  • the second transfer transistor 406 is conducting, the electric charge accumulated in the MEM 402 is also released (reset) (MEM reset).
  • the second transfer transistor 406 can also form a first reset section.
  • the first transfer transistor 405 is conducting, the electric charge accumulated in the cathode of the PD 401 is also released (reset) (PD reset).
  • the first transfer transistor 405 can also form a first reset section.
  • the second emission transistor 410 is connected to the PD401 and is a reset transistor for switching the validity / invalidity of the exposure (that is, charge accumulation) of the PD401.
  • the second emission transistor 410 is a reset transistor for causing the unit pixel 400 to function as the unit pixel 400 for generating a smear detection signal described later.
  • the second discharge transistor 410 constitutes a second reset unit.
  • a control voltage DCG is applied to the control end of the second emission transistor 410, both ends of the second emission transistor 410 become conductive, and the electric charge generated by the PD 401 is released (reset) to the power supply line VDD, which causes it to conduct. Therefore, the exposure of PD401 is invalidated.
  • the control voltage DCG is supplied from the mode switching signal distribution unit 80 (FIG. 1).
  • the second emission transistor 410 is provided in parallel with the first emission transistor 404. Further details of the second emission transistor 410 will be described later.
  • the present embodiment includes three reset transistors, that is, a reset transistor 409, a first emission transistor 404, and a second emission transistor 410.
  • the reset transistor 409 is used as a reset transistor for pixel reset.
  • the first emission transistor 404 is used as an electronic shutter, that is, a reset transistor for controlling the exposure time (also referred to as an accumulation period) of the PD 401.
  • the second emission transistor 410 is used as a reset transistor for making the unit pixel 400 function as a pixel for generating a smear detection signal.
  • FIG. 5 is a diagram showing a plane layout example of the unit pixel 400.
  • Each element of the unit pixel 400 is formed on the substrate 450 so as to form an equivalent circuit of the unit pixel 400 described above with reference to FIG.
  • the substrate 450 is a semiconductor substrate.
  • an XYZ coordinate system in which a plane parallel to the substrate plane is an XY plane is shown.
  • FIG. 4 shows only PD401, MEM402, FD403, the first emission transistor 404, the first transfer transistor 405, the second transfer transistor 406, and the second emission transistor 410 among the elements of the unit pixel 400, and other elements. Is abbreviated as "Other elements".
  • the MEM 402 overlaps the first transfer transistor 405 in the substrate thickness direction (Z-axis direction) and is indicated by a broken line.
  • some components of the unit pixel 400 may be arranged on the opposite surface of the substrate 450 instead of the incident surface of light.
  • at least one of the first transfer transistor 405, MEM402, the second transfer transistor 406, the FD403, the amplification transistor 407, the first emission transistor 404, and the second emission transistor 410 is opposite to the light incident surface on the substrate 450. It may be placed on the side surface.
  • the arrangement of the first emission transistor 404 and the second emission transistor 410 will be described.
  • the first emission transistor 404 and the second emission transistor 410 are both horizontal transistors, and they are mutually arranged. Arranged side by side on a plane. However, one or both of the first emission transistor 404 and the second emission transistor 410 may be vertically installed transistors.
  • FIG. 6A is a diagram showing an example of a cross-sectional structure of unit pixel 400 along the line AA of FIG.
  • the solid-state image sensor 100 is a surface-illuminated solid-state image sensor.
  • the PD 401 is formed by providing a p-type semiconductor region and an n-type semiconductor region in this order from the front surface portion of the substrate 450 toward the back surface side (toward the negative direction of the Z axis).
  • the contact with the power supply line VDD is formed by providing an n-type semiconductor region on the surface portion of the substrate 450.
  • the second emission transistor 410 is provided on the surface of the substrate 450 in a state of being insulated from the substrate 450 so as to form a channel between the PD 401 and the power supply line VDD.
  • FIG. 6B is a diagram showing an example of the cross-sectional structure of the unit pixel 400 along the line BB of FIG. FIG. 6B differs from FIG. 6A in that the cross section of the first emission transistor 404 is shown instead of the second emission transistor 410.
  • the first emission transistor 404 is provided on the surface of the substrate 450 in a state of being insulated from the substrate 450 so as to form a channel between the PD 401 and the power supply line VDD.
  • the solid-state image sensor 100 including the unit pixel 400 described above is a global shutter type solid-state image sensor in which the vertical drive unit 50 and the horizontal drive unit 60 drive each of the plurality of unit pixels 400 so that the exposure periods are aligned. Can work as. Since the operation of the global shutter method may be a known operation, detailed description thereof will be omitted here. To briefly describe an operation example, the vertical drive unit 50 is such that photoelectric conversion by PD401, charge transfer to MEM402, charge transfer to FD403, charge-voltage conversion by amplification transistor 407, and selection of read target row are executed in order. Operates based on the signal SIG1.
  • the horizontal drive unit 60 and the column signal processing circuit 70 are based on the signal SIG2 and the signal SIG3, respectively, so that the analog pixel signal appearing in the VSL 420 via the selection transistor 408 is converted into a digital pixel signal line by line. Operate.
  • the signal processing circuit 93 operates based on the signal SIG4 so as to execute predetermined signal processing on the pixel signal for each line or the image data for each frame generated as described above.
  • each unit pixel 400 includes two operation modes, a first mode and a second mode. It's different.
  • the first mode is a normal imaging mode that generates a pixel signal based on the electric charge (signal charge) generated by the photoelectric conversion of PD401.
  • the second mode is a parasitic light detection mode that mainly detects a signal (hereinafter, referred to as “smear detection signal”) based on the charge of the parasitic light component (corresponding to the noise charge described later) generated by the MEM 402.
  • the signal SIG5 is used for these mode switching.
  • mode switching is achieved by a second emission transistor 410.
  • an example of mode switching using the second emission transistor 410 will be described again with reference to FIG.
  • the electric charge generated in the PD 401 is discharged to the power supply line VDD while the second emission transistor 410 is in the conductive state. That is, the exposure of the PD 401 is invalidated while the second emission transistor 410 is in the conductive state. Therefore, the electric charge (signal charge) corresponding to the amount of incident light is not accumulated in the MEM 402, and the electric charge generated mainly when the reflected light or the like (hereinafter referred to as "parasitic light") in the element is incident on the MEM 402. Will be accumulated.
  • the second emission transistor 410 switches the state of the MEM 402 between at least the first state and the second state described below.
  • the switching to the first state includes not only switching from the second state to the first state but also maintaining the first state. Switching to the second state includes switching from the first state to the second state as well as maintaining the second state.
  • the first state is a state in which the MEM 402 holds a charge including a signal charge. More specifically, in the first state, the MEM 402 retains the total charge of the signal charge generated by the PD 401 and the noise charge generated by the MEM 402 during the exposure period.
  • the noise charge may also include a parasitic light component (hereinafter, also referred to as a smear component) generated when the reflected light or the like in the element leaks into the MEM 402.
  • the second emission transistor 410 is controlled to the cutoff state (OFF).
  • the first discharge transistor 404 is controlled into a conduction state (ON) and a cutoff state according to the exposure period to the PD 401.
  • the second state is a state in which the MEM 402 retains the noise charge. More specifically, in the second state, the MEM 402 retains the noise charge generated by the MEM 402 during the exposure period. This noise charge is a charge that does not include the signal charge generated by the PD 401. In order to obtain such a noise charge, in the second state, the second emission transistor 410 is controlled to be in a conductive state. The first discharge transistor 404 may be controlled in either a cutoff state or a conduction state. In the second state, since the PD401 is in the reset state, no signal charge is accumulated in the PD401, and therefore only the noise charge is held by the MEM402.
  • each pixel is individually switched to either the first mode or the second mode.
  • the switching to the first mode includes not only switching from the second mode to the first mode but also maintaining the first mode.
  • Switching to the second mode includes switching from the first mode to the second mode as well as maintaining the second mode.
  • the first mode is a mode for causing the unit pixel 400 to function as an imaging pixel (normal imaging mode). In the first mode, the MEM 402 is switched to the first state.
  • the second mode is a mode for causing the unit pixel 400 to function as a parasitic light detection pixel (parasitic light detection mode). In the second mode, the MEM 102 is switched to the second state.
  • each second emission transistor 410 of the plurality of unit pixels 400 can be individually controlled, the solid-state image sensor 100 switches some unit pixels 400 of the plurality of unit pixels 400 to the first mode, and another unit pixel 400 is switched to the first mode.
  • the unit pixel 400 can be switched to the second mode. That is, the solid-state image sensor 100 can arbitrarily arrange the pixels of the first mode and the pixels of the second mode in the pixel array 40. The selection of the pixel to be switched to the first mode and the pixel to be switched to the second mode is performed based on the signal SIG5.
  • FIGS. 7, 8A, 8B, 8C and 8D are diagrams showing an example of arrangement of unit pixels.
  • the unit pixel of the first mode is referred to as an imaging unit pixel 400-1
  • the unit pixel of the second mode is referred to as a parasitic light detection unit pixel 400-2.
  • the ratio of the parasitic light detection unit pixel 400-2 to the entire unit pixel 400 may be less than 50%. Examples of a preferable ratio of the parasitic light detection unit pixel 400-2 are 25% or less (1 pixel or less out of 4 pixels) and 6.25% or more (1 pixel or more out of 16 pixels).
  • the parasitic light detection unit pixels 400-2 may be evenly arranged in the pixel array 40. Examples of even placement include equal spacing in the row direction (X-axis direction), equal spacing in the column direction (Y-axis direction), and diagonal directions (axial directions intersecting the X-axis and Y-axis directions). Can be mentioned at equal intervals. However, the arrangement is not limited to these, and various modifications may be made as long as the arrangement is such that smears generated in the entire pixel array 40 can be detected evenly.
  • the pixel array 40 may be divided into a plurality of regions, and control may be performed so that the parasitic light detection unit pixels 400-2 are arranged only in those regions.
  • the parasitic light detection unit pixel 400-2 may be arbitrarily arranged in any of the regions in which the pixel array 40 is divided into four.
  • the parasitic light detection unit pixel 400-2 is arranged in the upper left region of the pixel array 40.
  • the parasitic light detection unit pixel 400-2 is arranged in the lower left region of the pixel array 40.
  • the parasitic light detection unit pixel 400-2 is arranged in the upper right region of the pixel array 40.
  • the parasitic light detection unit pixel 400-2 is arranged in the lower right region of the pixel array 40.
  • the pixel signal of the imaging unit pixel 400-1 and the pixel signal of the parasitic light detection unit pixel 400-2 are converted into digital signals by the column signal processing circuit 70 (FIG. 2) and then sent to the signal processing circuit 93.
  • the signal processing circuit 93 then executes the noise reduction processing described with reference to FIGS. 9 and 10.
  • An example of a noise component is a parasitic light component (smear component).
  • a region in which a high amount of light such that a smear component is generated in the unit pixel 400 is incident is referred to as a “high light amount region”.
  • the detection of the smear component means the existence of a high light intensity region.
  • FIGS. 9 and 10 are diagrams showing an example of noise reduction processing.
  • the signal processing circuit 93 includes the pixel signal PS1 (first pixel signal) in which the pixel signal of the imaging unit pixel 400-1 is AD-converted, and the pixels of the parasitic light detection unit pixel 400-2.
  • the pixel signal PS2 (second pixel signal) in which the signal is AD-converted is input.
  • the signal processing circuit 93 includes an interpolation circuit 93a, a false signal estimation circuit 93b, a subtraction circuit 93c, and a separation circuit 93d, and removes a smear component from the captured pixel signal.
  • the separation circuit 93d transmits the image signal PS1 and the pixel signal PS2 input from the column signal processing circuit 70 in units of rows or frames to the image signal (that is, signal component and noise component (smear)) from the unit pixel 400-1 for imaging. It has a function of separating the pixel signal (PXS1) including the detection signal) and the image signal (that is, the smear detection signal containing only the noise component) PXS2 from the parasitic light detection unit pixel 400-2.
  • the pixel signal PXS2 corresponds to, for example, a high-luminance pixel as shown in FIG. 10A.
  • the separation circuit 93d inputs the image signal PXS1 read from the imaging unit pixel 400-1 among the separated signals to both the interpolation circuit 93a and the false signal estimation circuit 93b, and the parasitic light detection unit pixel 400-2.
  • the image signal PXS2 composed of the smear detection signal read from is input to the false signal estimation circuit 93b.
  • the interpolation circuit 93a sets the pixel value (corresponding to the pixel signal) of the pixel missing by operating as the parasitic light detection unit pixel 400-2 in the image signal PXS1 input from the separation circuit 93d in line units or frame units. For example, a process of interpolating based on a pixel value (corresponding to a pixel signal) read from the surrounding imaging unit pixels 400-1 is executed. Various known methods may be used for this pixel interpolation. Further, the interpolation circuit 93a inputs the pixel-interpolated line-by-line or frame-by-frame image signal IMS1 to the subtraction circuit 93c.
  • the image signal IMS1 is, for example, an image signal as shown in FIG. 10B.
  • the false signal estimation circuit 93b has a function of estimating the noise component in the image signal PXS1 from the image signal PXS1 including the signal component and the noise component and the image signal PXS2 composed of the noise component (smear detection signal). For example, the false signal estimation circuit 93b identifies a region where smearing occurs based on the value of the image signal PXS2, and estimates the noise component of each pixel included in the region corresponding to the specified region in the image signal PXS1. do. Further, the false signal estimation circuit 93b inputs the pixel signal IMS2 of the estimated noise component to the subtraction circuit 93c.
  • the pixel signal IMS2 is, for example, an image signal as shown in FIG. 10C.
  • the subtraction circuit 93c is an image signal IMS1 input line-by-line or frame-by-frame from the interpolation circuit 93a, and an image signal IMS2 (noise component estimated for each pixel) input line-by-line or frame-by-frame from the false signal estimation circuit 93b. ) Is subtracted. As a result, the subtraction circuit 93c outputs an image signal from which the noise component has been removed.
  • the output image signal is, for example, an image signal as shown in FIG. 10D.
  • the parasitic light detection unit pixel 400-2 may be arranged only when a high light amount region exists. For example, when the presence of a high light intensity region is detected in the previous frame, the parasitic light detection unit pixel 400-2 is arranged as described above with reference to FIGS. 7 and 8, and if not, the parasitic light detection unit pixel 400-2 is arranged. It is not necessary to arrange the photodetection unit pixel 400-2 (all the unit pixels 400 may be the imaging unit pixel 400-1). Judgment as to whether or not a high light intensity region exists may be made based on whether or not smearing occurs in the front frame.
  • This determination may be executed by the signal processing circuit 93, may be executed by the mode determination circuit 92 that receives the processing result from the signal processing circuit 93, or may be executed by an external control unit, an application processor, or the like. May be good. The presence or absence of such a high-luminance region may be determined, for example, before imaging using the solid-state image sensor 100. This will be described next with reference to FIGS. 11A and 11B.
  • FIG. 11A and FIG. 11B are flowcharts showing an example of imaging processing (imaging method). This flowchart is an example of processing from pointing the electronic device 1 to the image pickup target until the image pickup is performed by the electronic device 1.
  • the first process shown in FIG. 11A and the second process shown in FIG. 11B may be executed at the same time (processed in parallel).
  • step S11 exposure control (AE) is performed. As a result, an exposure state suitable for imaging can be obtained. Further, the AE / AF status signal (FIG. 2) described above indicates that the exposure control has been completed.
  • step S12 autofocus (AF) is performed. As a result, a focus state suitable for imaging can be obtained. Further, the AE / AF status signal (FIG. 2) described above indicates that the autofocus has been completed.
  • step S13 imaging is performed. As a result, imaging is performed in the appropriate exposure state and focus state obtained in the previous steps S11 and S12. After the process of step S13 is executed, the process of the flowchart ends.
  • step S21 the parasitic light detection mode is turned on. Specifically, for example, as described above with reference to FIGS. 7 and 8, some unit pixels 400 of the plurality of unit pixels 400 are switched to the second mode, and the parasitic light detection unit pixel 400-. It becomes 2.
  • step S22 the presence of a high light intensity region is detected. For example, as described above, it is determined whether or not a high light intensity region exists based on whether or not smearing occurs in the front frame.
  • step S23 it is determined whether or not AF is completed. That is, it is determined whether or not the process of step S12 described above is completed.
  • AF is completed (Yes in step S23)
  • the process proceeds to step S24. If not (No in step S23), the process is returned to step S22.
  • step S24 it is determined whether or not a high light intensity region exists. That is, it is determined whether or not the presence of the high light intensity region is detected in the previous step S22.
  • step S26 the process proceeds to step S26. If not (No in step S24), the process proceeds to step S26 after the process of step S25.
  • step S25 the parasitic light detection mode is turned off. As a result, all the unit pixels 400 are switched to the first mode, and the unit pixels 400 for imaging become 400-1. In other words, if the process of step S25 is not executed (Yes in step S24), the parasitic light detection mode remains ON, so that not only the imaging unit pixel 400-1 but also the parasitic light detection unit pixel 400-2 exists. Will be done.
  • step S13 imaging is performed in the appropriate exposure state and focus state obtained in the previous steps S11 and S12. Further, when the high light intensity region exists in the previous step S24, a part of the plurality of unit pixels 400 is switched to the second mode (that is, the parasitic light detection unit pixel 400-2). (Thats), imaging is performed. Therefore, the noise reduction processing as described above with reference to FIGS. 9 and 10 is executed. On the other hand, when the high light intensity region does not exist in the previous step S25, in a state where all the unit pixels 400 are switched to the first mode (that is, the unit pixels for imaging 400-1). Imaging is performed. In this case, the noise reduction process described above does not have to be executed. After the process of step S13 is executed, the process of the flowchart ends.
  • steps S11 and S12 (FIG. 11A) and steps S21 to S25 (FIG. 11B) are executed at the same time (parallel processing) has been described, but these steps are executed in order. (May be processed in series).
  • steps S21 to S25 may be executed after the processes of steps S11 and S12 are executed.
  • the processes of steps S21 to S25 may be executed before the process of step S11, or may be executed after the process of step S11 and before the process of step S12.
  • the process of step S23 may be omitted as appropriate.
  • FIG. 12 is a diagram showing an example of an equivalent circuit of a pixel according to the modification.
  • the unit pixel 400A shown in FIG. 12 is different from the unit pixel 400 (FIG. 4) in that the reading circuit 460A shares a part of elements with the reading circuit 460B of the adjacent unit pixel 400B.
  • the FD403AB, the first emission transistor 404AB, the amplification transistor 407AB, the selection transistor 408AB, and the reset transistor 409AB are shared. Other elements are not shared.
  • the unit pixel 400A includes the PD401A, MEM402A, the first transfer transistor 405A, the second transfer transistor 406A, and the second emission transistor 410A
  • the unit pixel 400B separately includes the PD401B, MEM402B, and the first transfer transistor 405B.
  • the second transfer transistor 406B and the second emission transistor 410B are included.
  • the control voltage OFG of the first emission transistor 404AB, the control voltage TRX_A of the first transfer transistor 405A, and the second transfer transistor so that the pixel signal of the unit pixel 400A and the pixel signal of the unit pixel 400B are output to the VSL 420 in order, for example.
  • the control voltage DCG_B of TRG_B and the second emission transistor 410B is controlled.
  • the functions of the FD403AB, the first emission transistor 404AB, the amplification transistor 407AB, the selection transistor 408AB, and the reset transistor 409AB are described above with reference to FIG. 4, the FD403, the first emission transistor 404, the amplification transistor 407, and the selection transistor. Since it is the same as the 408 and the reset transistor 409, the description is not repeated here.
  • the functions of the PD401A, MEM402A, the first transfer transistor 405A, the second transfer transistor 406A, and the second emission transistor 410A are described above with reference to FIG. 4, PD401, MEM402, the first transfer transistor 405, and the second transfer transistor. Since it is the same as the 406 and the second emission transistor 410, the description is not repeated here. The same applies to the PD401B, MEM402B, the first transfer transistor 405B, the second transfer transistor 406B, and the second emission transistor 410B.
  • FIG. 13 is a diagram showing an example of a plane layout of unit pixels of FIG.
  • each element of the unit pixel 400A and the unit pixel 400B is formed on the substrate 450AB so as to form the equivalent circuit of FIG.
  • the substrate 450AB is a semiconductor substrate.
  • the MEM402A and MEM402B overlap with the first transfer transistor 405A and the first transfer transistor 405B in the substrate thickness direction (Z-axis direction), respectively, and are indicated by broken lines.
  • the state switching of the MEM 402 performed for mode switching of the unit pixel 400 is realized by the second emission transistor 410 connected in parallel to the first emission transistor 404.
  • the switching means is not limited to such a second emission transistor 410.
  • the first emission transistor 404 may be combined with the function of the second emission transistor 410 of connecting the PD 401 and the power supply line VDD.
  • the voltage from the vertical drive unit 50 and the voltage from the mode switching signal distribution unit 80 may be applied to the control end of the first emission transistor 404 via the OR circuit.
  • the readout circuit 460C does not have the second emission transistor 410, while the PD401 (via the first emission transistor 404C). It differs in that it has a second emission transistor 410C connected to.
  • the second emission transistor 410C is an OR circuit including a transistor and the like.
  • the control voltage OFG from the vertical drive unit 50 is supplied to one input end of the second emission transistor 410C, and the control voltage DCG from the mode switching signal distribution unit 80 is supplied to the other input end.
  • the output end of the second discharge transistor 410C is connected to the control end of the first discharge transistor 404C.
  • the first discharge transistor 404C When the control voltage OFG from the vertical drive unit 50 is applied to the control end of the first discharge transistor 404C via the second discharge transistor 410C, the first discharge transistor 404C is transferred to the first discharge transistor 404 described above (FIG. It functions as 4 etc.).
  • the control voltage DCG from the mode switching signal distribution unit 80 is applied to the control end of the first emission transistor 404 via the second emission transistor 410C, the first emission transistor 404 becomes the second emission transistor 410 described above. It functions as (Fig. 4, etc.). Therefore, in the unit pixel 400C, the first and second emission transistors are realized by the joint use of the first emission transistor 404C and the second emission transistor 410.
  • FIG. 15 is a diagram showing an example of a cross-sectional structure of a pixel of such a solid-state image sensor.
  • the photodiode PD receives the incident light L1 incident from the back surface (upper surface in the figure) side of the semiconductor substrate 138.
  • a flattening film 133 and an on-chip lens 131 are provided above the photodiode PD, and incident light L1 incident through each portion is received by the light receiving surface 137 to perform photoelectric conversion.
  • the N-type semiconductor region 139 is formed as a charge storage region for accumulating charges (electrons).
  • the N-type semiconductor region 139 is provided in the region surrounded by the P-type semiconductor regions 136 and 144 of the semiconductor substrate 138.
  • a P-type semiconductor region 144 having a higher impurity concentration than the back surface (upper surface) side is provided on the front surface (lower surface) side of the semiconductor substrate 138 of the N-type semiconductor region 139.
  • the photodiode PD has a HAD (Hole-Accumulation Diode) structure, and the P is suppressed so as to suppress the generation of dark current at each interface between the upper surface side and the lower surface side of the N-type semiconductor region 139.
  • the type semiconductor regions 136 and 144 are formed.
  • a pixel separation unit 140 that electrically separates a plurality of pixels 110 is provided, and a photodiode PD is provided in a region partitioned by the pixel separation unit 140. ..
  • the pixel separation unit 140 is formed in a grid pattern so as to intervene between a plurality of pixels 110, for example, and the photodiode PD has the pixel separation. It is formed in the area partitioned by the part 140.
  • each photodiode PD the anode is grounded, and in the solid-state image sensor, the signal charge (for example, electrons) accumulated in the photodiode PD is read out via a transfer transistor (not shown) or the like, and is used as an electric signal. It is output to a vertical signal line (not shown).
  • the wiring layer 145 is provided on the front surface (lower surface) of the semiconductor substrate 138 opposite to the back surface (upper surface) where the light-shielding film 134, the on-chip lens 131, and the like are provided.
  • the wiring layer 145 includes the wiring 146 and the insulating layer 147, and is formed in the insulating layer 147 so that the wiring 146 is electrically connected to each element.
  • the wiring layer 145 is a layer of so-called multi-layer wiring, and is formed by alternately laminating the interlayer insulating film constituting the insulating layer 147 and the wiring 146 a plurality of times.
  • the wiring 146 wiring to a transistor for reading charge from a photodiode PD such as a transfer transistor 111 and wiring such as a vertical signal line 124 are laminated via an insulating layer 147.
  • a circuit chip 122 is bonded to the surface of the wiring layer 145 opposite to the side on which the photodiode PD is provided.
  • the light-shielding film 134 is provided on the back surface side (upper surface in the figure) of the semiconductor substrate 138.
  • the light-shielding film 134 is configured to block a part of the incident light L1 from above the semiconductor substrate 138 toward the back surface of the semiconductor substrate 138.
  • the light-shielding film 134 is provided above the pixel separation portion 140 provided inside the semiconductor substrate 138.
  • the light-shielding film 134 is provided on the back surface (upper surface) of the semiconductor substrate 138 so as to project in a convex shape via an insulating film 135 such as a silicon oxide film.
  • the light-shielding film 134 is not provided and is open so that the incident light L1 is incident on the photodiode PD. ..
  • the planar shape of the light-shielding film 134 is a grid pattern, and an opening through which the incident light L1 passes to the light receiving surface 137 is formed.
  • the light-shielding film 134 is formed of a light-shielding material that blocks light.
  • the light-shielding film 134 is formed by sequentially laminating a titanium (Ti) film and a tungsten (W) film.
  • the light-shielding film 134 can be formed, for example, by sequentially laminating a titanium nitride (TiN) film and a tungsten (W) film.
  • the light-shielding film 134 is covered with the flattening film 133.
  • the flattening film 133 is formed by using an insulating material that transmits light.
  • this insulating material for example, silicon oxide (SiO 2 ) or the like can be used.
  • the pixel separation unit 140 has, for example, a groove portion 141, a fixed charge film 142, and an insulating film 143.
  • the fixed charge film 142 is formed on the back surface (upper surface) side of the semiconductor substrate 138 so as to cover the groove portion 141 partitioning between the plurality of pixels 110.
  • the fixed charge film 142 is provided so as to cover the inner surface of the groove portion 141 formed on the back surface (upper surface) side of the semiconductor substrate 138 with a constant thickness. Then, an insulating film 143 is provided (filled) so as to embed the inside of the groove portion 141 covered with the fixed charge film 142.
  • the fixed charge film 142 uses a high dielectric having a negative fixed charge so that a positive charge (hole) storage region is formed at the interface with the semiconductor substrate 138 and the generation of dark current is suppressed. Is formed. Since the fixed charge film 142 is formed so as to have a negative fixed charge, an electric field is applied to the interface with the semiconductor substrate 138 due to the negative fixed charge, and a positive charge (hole) storage region is formed.
  • the fixed charge film 142 can be formed of, for example, a hafnium oxide film (HfO 2 film).
  • the fixed charge film 142 can be formed so as to contain at least one of other oxides such as hafnium, zirconium, aluminum, tantalum, titanium, magnesium, yttrium, and lanthanoid elements.
  • the pixel separation unit 140 is not limited to the above configuration and can be variously modified.
  • a light-reflecting reflective film such as a tungsten (W) film instead of the insulating film 143
  • the pixel separation unit 140 can have a light-reflecting structure.
  • the incident light L1 that has entered the photodiode PD can be reflected by the pixel separation unit 140, so that the optical path length of the incident light L1 in the photodiode PD can be lengthened.
  • the pixel separation unit 140 with a light reflection structure, it is possible to reduce the leakage of light to adjacent pixels, so that it is possible to further improve the image quality, distance measurement accuracy, and the like.
  • an insulating film such as a silicon oxide film may be provided in the groove 141 instead of the fixed charge film 142.
  • the configuration in which the pixel separation portion 140 has a light reflection structure is not limited to the configuration using a reflective film, and can be realized by, for example, embedding a material having a refractive index higher or lower than that of the semiconductor substrate 138 in the groove portion 141. can do.
  • FIG. 15 illustrates a pixel separation portion 140 having a so-called RDTI (Reverse Deep Trench Isolation) structure in which a pixel separation portion 140 is provided in a groove portion 141 formed from the back surface (upper surface) side of the semiconductor substrate 138.
  • RDTI Reverse Deep Trench Isolation
  • the present invention is not limited to this, for example, a so-called DTI (Deep Trench Isolation) structure in which a pixel separation portion 140 is provided in a groove formed from the surface (lower surface) side of the semiconductor substrate 138, or a semiconductor substrate 138.
  • a pixel separation portion 140 having various structures such as a so-called FTI (Full Trench Isolation) structure in which a pixel separation portion 140 is provided in a groove portion formed so as to penetrate the front and back surfaces of the above.
  • FTI Frull Trench Isolation
  • Example of 1 Pixel 1 ADC In the above embodiment, an example in which the column signal processing circuit 70 is a column ADC having an AD converter corresponding to the number of rows of the pixel array 40 has been described.
  • the solid-state image sensor may have a configuration of 1 pixel and 1 ADC. In this case, one AD converter is provided for each pixel.
  • the solid-state image sensor 100 described above includes a pixel array 40, a vertical drive unit 50 and a horizontal drive unit 60, and a column signal processing circuit 70 and a signal processing circuit 93.
  • the pixel array 40 includes a plurality of unit pixels 400.
  • the vertical drive unit 50 and the horizontal drive unit 60 are drive units that drive each of the plurality of unit pixels 400 so that the exposure periods are aligned.
  • the column signal processing circuit 70 and the signal processing circuit 93 are signal processing circuits that process pixel signals output to the VSL 420 from each of the plurality of unit pixels 400 based on driving by the vertical drive unit 50 and the horizontal drive unit 60.
  • Each of the plurality of unit pixels 400 includes a PD 401, a first transfer transistor 405, a MEM 402, a second transfer transistor 406, an FD 403, an amplification transistor 407, a first emission transistor 404, and a second emission transistor 410.
  • PD401 is a photoelectric conversion unit.
  • the first transfer transistor 405 is connected to the PD 401.
  • the MEM 402 is a memory unit that is connected to the PD 401 via the first transfer transistor 405 and holds the signal charge generated by the PD 401.
  • the second transfer transistor 406 is connected to the MEM 402.
  • the FD 403 is a storage unit that is connected to the MEM 402 via the second transfer transistor 406 and stores the electric charge transferred from the MEM 402.
  • the amplification transistor 407 causes a pixel signal of a voltage value based on the electric charge stored in the FD 403 to appear in the VSL 420.
  • the first discharge transistor 404 is connected to the PD 401.
  • the second emission transistor 410 is connected to the PD 401.
  • each unit pixel 400 is not reset by the second emission transistor 410 and becomes the MEM 402.
  • Arbitrarily switching between the image sensor unit pixel 400-1 in which the signal charge is retained and the parasitic light detection unit pixel 400-2 in which the noise charge is retained in the MEM 402 after being reset by the second emission transistor 410. Can be done.
  • the exposure periods of the imaging unit pixel 400-1 and the parasitic light detection unit pixel 400-2 can be the same, the noise charge can be acquired by the parasitic light detection unit pixel 400-2 and the imaging unit pixel 400-1 can be obtained.
  • the number of parasitic light detection unit pixels 400-2 is increased in order to detect the noise charge that causes smear, the smear smear detection accuracy is increased, but the number of imaging pixels is reduced by that amount and the image quality is deteriorated. It becomes a factor of.
  • the number of parasitic light detection unit pixels 400-2 can be arbitrarily selected, so that the trade-off between the smear detection accuracy and the reduction of imaging pixels can be eliminated. ..
  • the electronic device 1 is an electronic device equipped with the solid-state image sensor 100. According to the electronic device 1 equipped with the solid-state image sensor 100, it is possible to achieve both reduction of the influence of noise charge as described above and elimination of the trade-off between the above-mentioned smear detection accuracy and reduction of imaging pixels. NS.
  • the second emission transistor 410 may be connected to the PD 401 in parallel with the first emission transistor 404. As a result, it is possible to reduce variations in the circuit operation that may occur when the second emission transistor 410 is provided in series with the first emission transistor 404 that actively operates with respect to the pixel drive.
  • Each of the unit pixels 400 may include a first mode in which the second transfer transistor 406 is in a conductive state and a second mode in which the second transfer transistor 406 is in a cutoff state during the exposure period of the PD 401. As a result, it is possible to obtain a unit pixel 400 having a plurality of modes.
  • the solid-state image sensor 100 may include a mode switching signal distribution unit 80.
  • the mode switching signal distribution unit 80 is a mode switching unit that operates each of the plurality of unit pixels 400 in either the first mode or the second mode. Thereby, each operation mode of the plurality of unit pixels 400 can be individually switched.
  • the mode switching signal distribution unit 80 may operate some unit pixels 400 of the plurality of unit pixels 400 in the first mode and the other unit pixels 400 in the second mode. As a result, it is possible to obtain a pixel array 40 including both the imaging unit pixel 400-1 operating in the first mode and the parasitic light detection unit pixel 400-2 operating in the second mode.
  • the solid-state image sensor 100 may further include a determination unit that determines whether or not a high light intensity region exists based on the pixel signal of the previous frame.
  • the determination unit may be realized by, for example, a signal processing circuit 93, a mode determination circuit 92 that receives a processing result from the signal processing circuit 93, an external control unit, an application processor, or the like.
  • the mode switching signal distribution unit 80 operates some unit pixels of the plurality of unit pixels 400 in the first mode, and operates the other unit pixels in the second mode to increase the height.
  • all the unit pixels of the plurality of unit pixels 400 may be operated in the first mode.
  • the parasitic light detection unit pixel 400-2 which is the unit pixel of the second mode, can be used to reduce the influence of the noise charge only when there is a high-luminance region where the influence of the noise charge becomes large. ..
  • Each of the plurality of unit pixels 400 may further include a reset transistor 409 connected to the FD 403. As a result, the FD 403 can be reset.
  • the unit pixels 400A and the unit pixels 400B that are adjacent to each other among the plurality of unit pixels 400 may share the first emission transistor 404AB. As a result, the number of component elements of the unit pixel can be reduced.
  • the PD401 may be provided on the substrate 450.
  • the substrate 450 may be a semiconductor substrate.
  • At least one of the first transfer transistor 405, the MEM 402, the second transfer transistor 406, the FD 403, the amplification transistor 407, the first emission transistor 404, and the second emission transistor 410 is on the side opposite to the light incident surface on the substrate 450. It may be placed on the surface of. As a result, the degree of freedom in arranging the components of the unit pixel 400 can be increased.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • FIG. 16 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (Interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating a braking force of a vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, blinkers or fog lamps.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image pickup unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on the road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the image pickup unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects the driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether or not the driver has fallen asleep.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform coordinated control for the purpose of automatic driving, etc., which runs autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the vehicle exterior information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the external information detection unit 12030, and performs cooperative control for the purpose of anti-glare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits an output signal of at least one of audio and an image to an output device capable of visually or audibly notifying information to the passenger or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a heads-up display.
  • FIG. 17 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as, for example, the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 12100.
  • the imaging unit 12101 provided on the front nose and the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 17 shows an example of the photographing range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range of the imaging units 12102 and 12103.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 as viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image pickup units 12101 to 12104 may be a stereo camera composed of a plurality of image pickup elements, or may be an image pickup element having pixels for phase difference detection.
  • the microcomputer 12051 has a distance to each three-dimensional object within the imaging range 12111 to 12114 based on the distance information obtained from the imaging units 12101 to 12104, and a temporal change of this distance (relative velocity with respect to the vehicle 12100). By obtaining can. Further, the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle in advance, and can perform automatic braking control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform coordinated control for the purpose of automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
  • automatic braking control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that can be seen by the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 is used via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging units 12101 to 12104.
  • pedestrian recognition includes, for example, a procedure for extracting feature points in an image captured by an imaging unit 12101 to 12104 as an infrared camera, and pattern matching processing for a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
  • the audio image output unit 12052 When the microcomputer 12051 determines that a pedestrian is present in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 outputs a square contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the above is an example of a vehicle control system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to the imaging unit 12031 among the configurations described above.
  • By applying the technique according to the present disclosure to the image capturing unit 12031 it is possible to obtain a captured image that is easier to see, and thus it is possible to reduce driver fatigue.
  • FIG. 18 is a diagram showing an example of a schematic configuration of an endoscopic surgery system to which the technique according to the present disclosure (the present technique) can be applied.
  • FIG. 18 shows a surgeon (doctor) 11131 performing surgery on patient 11132 on patient bed 11133 using the endoscopic surgery system 11000.
  • the endoscopic surgery system 11000 includes an endoscope 11100, other surgical tools 11110 such as an abdominal tube 11111 and an energy treatment tool 11112, and a support arm device 11120 that supports the endoscope 11100.
  • a cart 11200 equipped with various devices for endoscopic surgery.
  • the endoscope 11100 is composed of a lens barrel 11101 in which a region having a predetermined length from the tip is inserted into the body cavity of the patient 11132, and a camera head 11102 connected to the base end of the lens barrel 11101.
  • the endoscope 11100 configured as a so-called rigid mirror having a rigid barrel 11101 is illustrated, but the endoscope 11100 may be configured as a so-called flexible mirror having a flexible barrel. good.
  • An opening in which an objective lens is fitted is provided at the tip of the lens barrel 11101.
  • a light source device 11203 is connected to the endoscope 11100, and the light generated by the light source device 11203 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 11101 to be an objective. It is irradiated toward the observation target in the body cavity of the patient 11132 through the lens.
  • the endoscope 11100 may be a direct endoscope, a perspective mirror, or a side endoscope.
  • An optical system and an image pickup element are provided inside the camera head 11102, and the reflected light (observation light) from the observation target is focused on the image pickup element by the optical system.
  • the observation light is photoelectrically converted by the image sensor, and an electric signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted as RAW data to the camera control unit (CCU: Camera Control Unit) 11201.
  • CCU Camera Control Unit
  • the CCU11201 is composed of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like, and comprehensively controls the operations of the endoscope 11100 and the display device 11202. Further, the CCU 11201 receives an image signal from the camera head 11102, and performs various image processing on the image signal for displaying an image based on the image signal, such as development processing (demosaic processing).
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the display device 11202 displays an image based on the image signal processed by the CCU 11201 under the control of the CCU 11201.
  • the light source device 11203 is composed of, for example, a light source such as an LED (light LED diode), and supplies irradiation light to the endoscope 11100 when photographing an operating part or the like.
  • a light source such as an LED (light LED diode)
  • the input device 11204 is an input interface for the endoscopic surgery system 11000.
  • the user can input various information and input instructions to the endoscopic surgery system 11000 via the input device 11204.
  • the user inputs an instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 11100.
  • the treatment tool control device 11205 controls the drive of the energy treatment tool 11112 for cauterizing, incising, sealing a blood vessel, or the like of a tissue.
  • the pneumoperitoneum device 11206 uses a gas in the pneumoperitoneum tube 11111 to inflate the body cavity of the patient 11132 for the purpose of securing the field of view by the endoscope 11100 and securing the work space of the operator.
  • the recorder 11207 is a device capable of recording various information related to surgery.
  • the printer 11208 is a device capable of printing various information related to surgery in various formats such as text, images, and graphs.
  • the light source device 11203 that supplies the irradiation light to the endoscope 11100 when photographing the surgical site can be composed of, for example, an LED, a laser light source, or a white light source composed of a combination thereof.
  • a white light source is configured by combining RGB laser light sources, the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy. Therefore, the light source device 11203 adjusts the white balance of the captured image. It can be carried out.
  • the laser light from each of the RGB laser light sources is irradiated to the observation target in a time-division manner, and the drive of the image sensor of the camera head 11102 is controlled in synchronization with the irradiation timing to correspond to each of RGB. It is also possible to capture the image in a time-division manner. According to this method, a color image can be obtained without providing a color filter on the image sensor.
  • the drive of the light source device 11203 may be controlled so as to change the intensity of the output light at predetermined time intervals.
  • the drive of the image sensor of the camera head 11102 in synchronization with the timing of changing the light intensity to acquire an image in a time-divided manner and synthesizing the image, so-called high dynamic without blackout and overexposure. A range image can be generated.
  • the light source device 11203 may be configured to be able to supply light in a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, by utilizing the wavelength dependence of light absorption in body tissue to irradiate light in a narrow band as compared with the irradiation light (that is, white light) in normal observation, the surface layer of the mucous membrane. So-called narrow band imaging, in which a predetermined tissue such as a blood vessel is photographed with high contrast, is performed.
  • fluorescence observation may be performed in which an image is obtained by fluorescence generated by irradiating with excitation light.
  • the body tissue is irradiated with excitation light to observe the fluorescence from the body tissue (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally injected into the body tissue and the body tissue is injected. It is possible to obtain a fluorescence image by irradiating excitation light corresponding to the fluorescence wavelength of the reagent.
  • the light source device 11203 may be configured to be capable of supplying narrow band light and / or excitation light corresponding to such special light observation.
  • FIG. 19 is a block diagram showing an example of the functional configuration of the camera head 11102 and CCU11201 shown in FIG.
  • the camera head 11102 includes a lens unit 11401, an imaging unit 11402, a driving unit 11403, a communication unit 11404, and a camera head control unit 11405.
  • CCU11201 includes a communication unit 11411, an image processing unit 11412, and a control unit 11413.
  • the camera head 11102 and CCU11201 are communicatively connected to each other by a transmission cable 11400.
  • the lens unit 11401 is an optical system provided at a connection portion with the lens barrel 11101.
  • the observation light taken in from the tip of the lens barrel 11101 is guided to the camera head 11102 and incident on the lens unit 11401.
  • the lens unit 11401 is configured by combining a plurality of lenses including a zoom lens and a focus lens.
  • the image sensor constituting the image pickup unit 11402 may be one (so-called single plate type) or a plurality (so-called multi-plate type).
  • each image pickup element may generate an image signal corresponding to each of RGB, and a color image may be obtained by synthesizing them.
  • the image pickup unit 11402 may be configured to have a pair of image pickup elements for acquiring image signals for the right eye and the left eye corresponding to 3D (dimensional) display, respectively.
  • the 3D display enables the operator 11131 to more accurately grasp the depth of the biological tissue in the surgical site.
  • a plurality of lens units 11401 may be provided corresponding to each image pickup element.
  • the imaging unit 11402 does not necessarily have to be provided on the camera head 11102.
  • the imaging unit 11402 may be provided inside the lens barrel 11101 immediately after the objective lens.
  • the drive unit 11403 is composed of an actuator, and the zoom lens and focus lens of the lens unit 11401 are moved by a predetermined distance along the optical axis under the control of the camera head control unit 11405. As a result, the magnification and focus of the image captured by the imaging unit 11402 can be adjusted as appropriate.
  • the communication unit 11404 is composed of a communication device for transmitting and receiving various information to and from the CCU11201.
  • the communication unit 11404 transmits the image signal obtained from the image pickup unit 11402 as RAW data to the CCU 11201 via the transmission cable 11400.
  • the communication unit 11404 receives a control signal for controlling the drive of the camera head 11102 from the CCU 11201 and supplies the control signal to the camera head control unit 11405.
  • the control signal includes, for example, information to specify the frame rate of the captured image, information to specify the exposure value at the time of imaging, and / or information to specify the magnification and focus of the captured image, and the like. Contains information about the condition.
  • the imaging conditions such as the frame rate, exposure value, magnification, and focus may be appropriately specified by the user, or may be automatically set by the control unit 11413 of CCU11201 based on the acquired image signal. good.
  • the so-called AE (Auto Exposure) function, AF (Auto Focus) function, and AWB (Auto White Balance) function are mounted on the endoscope 11100.
  • the camera head control unit 11405 controls the drive of the camera head 11102 based on the control signal from the CCU 11201 received via the communication unit 11404.
  • the communication unit 11411 is composed of a communication device for transmitting and receiving various information to and from the camera head 11102.
  • the communication unit 11411 receives an image signal transmitted from the camera head 11102 via the transmission cable 11400.
  • the communication unit 11411 transmits a control signal for controlling the drive of the camera head 11102 to the camera head 11102.
  • Image signals and control signals can be transmitted by telecommunications, optical communication, or the like.
  • the image processing unit 11412 performs various image processing on the image signal which is the RAW data transmitted from the camera head 11102.
  • the control unit 11413 performs various controls related to the imaging of the surgical site and the like by the endoscope 11100 and the display of the captured image obtained by the imaging of the surgical site and the like. For example, the control unit 11413 generates a control signal for controlling the drive of the camera head 11102.
  • control unit 11413 causes the display device 11202 to display an image captured by the surgical unit or the like based on the image signal processed by the image processing unit 11412.
  • the control unit 11413 may recognize various objects in the captured image by using various image recognition techniques. For example, the control unit 11413 detects the shape, color, and the like of the edge of an object included in the captured image to remove surgical tools such as forceps, a specific biological part, bleeding, and mist when using the energy treatment tool 11112. Can be recognized.
  • the control unit 11413 may superimpose and display various surgical support information on the image of the surgical unit by using the recognition result. By superimposing and displaying the surgical support information and presenting it to the surgeon 11131, it is possible to reduce the burden on the surgeon 11131 and to allow the surgeon 11131 to proceed with the surgery reliably.
  • the transmission cable 11400 that connects the camera head 11102 and CCU11201 is an electric signal cable that supports electric signal communication, an optical fiber that supports optical communication, or a composite cable thereof.
  • the communication is performed by wire using the transmission cable 11400, but the communication between the camera head 11102 and the CCU11201 may be performed wirelessly.
  • the above is an example of an endoscopic surgery system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to the imaging unit 11402) of the camera head 11102 among the configurations described above.
  • By applying the technique according to the present disclosure to the camera head 11102 a clearer surgical site image can be obtained, so that the operator can surely confirm the surgical site.
  • the technique according to the present disclosure may be applied to other, for example, a microscopic surgery system.
  • the present technology can also have the following configurations.
  • a signal processing circuit that processes a pixel signal output to a signal line from each of the plurality of unit pixels based on driving by the drive unit
  • a signal processing circuit With Each of the plurality of unit pixels Photoelectric conversion unit and The first transfer transistor connected to the photoelectric conversion unit and A memory unit connected to the photoelectric conversion unit via the first transfer transistor and holding a signal charge generated by the photoelectric conversion unit.
  • the second transfer transistor connected to the memory unit and A storage unit connected to the memory unit via the second transfer transistor and accumulating charges transferred from the memory unit, and a storage unit.
  • An amplification transistor that causes a pixel signal with a voltage value based on the electric charge stored in the storage unit to appear on the signal line.
  • the first emission transistor connected to the photoelectric conversion unit and The second emission transistor connected to the photoelectric conversion unit and A solid-state image sensor.
  • the second emission transistor is connected to the photoelectric conversion unit in parallel with the first emission transistor.
  • Each of the unit pixels includes a first mode in which the second emission transistor is in a conductive state and a second mode in which the second emission transistor is in a cutoff state during the exposure period of the photoelectric conversion unit.
  • a mode switching unit for operating each of the plurality of unit pixels in either the first mode or the second mode is further provided.
  • the mode switching unit operates some unit pixels of the plurality of unit pixels in the first mode, and operates the other unit pixels in the second mode.
  • (6) Further provided with a determination unit for determining whether or not a high light intensity region exists based on the pixel signal of the previous frame.
  • the mode switching unit is When the high light intensity region is present, some of the plurality of unit pixels are operated in the first mode, and the other unit pixels are operated in the second mode. When the high light intensity region does not exist, all the unit pixels of the plurality of unit pixels are operated in the first mode.
  • Each of the plurality of unit pixels further includes a reset transistor connected to the storage unit.
  • the unit pixels adjacent to each other among the plurality of unit pixels share the first emission transistor.
  • the photoelectric conversion unit is provided on the semiconductor substrate and is provided on the semiconductor substrate. At least one of the first transfer transistor, the memory unit, the second transfer transistor, the storage unit, the amplification transistor, the first emission transistor, and the second emission transistor is incident light on the semiconductor substrate. It is located on the opposite side of the surface, The solid-state image sensor according to any one of (1) to (8) above.
  • An electronic device equipped with a solid-state image sensor The solid-state image sensor A pixel array with multiple unit pixels and A drive unit that drives each of the plurality of unit pixels so that the exposure periods are aligned, A signal processing circuit that processes a pixel signal output to a signal line from each of the plurality of unit pixels based on driving by the drive unit, and a signal processing circuit.
  • Photoelectric conversion unit and The first transfer transistor connected to the photoelectric conversion unit and A memory unit connected to the photoelectric conversion unit via the first transfer transistor and holding a signal charge generated by the photoelectric conversion unit.
  • the second transfer transistor connected to the memory unit and A storage unit connected to the memory unit via the second transfer transistor and accumulating charges transferred from the memory unit, and a storage unit.
  • An amplification transistor that causes a pixel signal with a voltage value based on the electric charge stored in the storage unit to appear on the signal line.
  • the first emission transistor connected to the photoelectric conversion unit and
  • the second emission transistor connected to the photoelectric conversion unit and Equipped with electronic equipment.
  • Solid-state imaging device 400 Unit pixel 401 PD (photodiode) 402 MEM (memory) 403 FD (Floating Diffusion) 404 1st emission transistor 405 1st transfer transistor 406 2nd transfer transistor 407 Amplification transistor 408 Selection transistor 409 Reset transistor 410 2nd emission transistor 420 VSL 450 board 460 read circuit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

複数の単位画素(400)の各々は、光電変換部(401)と、光電変換部に接続された第1転送トランジスタ(405)と、第1転送トランジスタを介して光電変換部に接続され、光電変換部で発生した信号電荷を保持するメモリ部(402)と、メモリ部に接続された第2転送トランジスタ(406)と、第2転送トランジスタを介してメモリ部に接続され、メモリ部から転送された電荷を蓄積する蓄積部(403)と、蓄積部に蓄積された電荷に基づく電圧値の画素信号を信号線に出現させる増幅トランジスタ(407)と、光電変換部に接続された第1排出トランジスタ(404)と、光電変換部に接続された第2排出トランジスタ(410)と、を備える。

Description

固体撮像装置及び電子機器
 本開示は、固体撮像装置及び電子機器に関する。
 CMOS(Complementary Metal-Oxide-Semiconductor)イメージセンサなどの固体撮像装置において、全画素の露光期間を揃えるグローバルシャッタ方式が知られている(例えば特許文献1を参照)。
特開2017-76899号公報
 固体撮像装置の画素には、信号電荷だけでなくノイズ電荷も生じる。特許文献1は、ノイズ電荷と、信号電荷及びノイズ電荷とを順に取得し、それらを用いてノイズ電荷の影響を低減する手法を提案する。しかしこの手法では、ノイズ電荷の取得と信号電荷及びノイズ電荷の取得との間のタイムラグによってそれぞれのノイズ電荷量に相違が生じ、ノイズ電荷の影響を十分に低減できない可能性がある。とくにタイムラグの間に被写体の位置、輝度が変化する場合に課題が顕在化する。
 本開示は、ノイズ電荷の影響を低減することが可能な固体撮像装置及び電子機器を提供することを目的とする。
 本開示の一側面に係る固体撮像装置は、複数の単位画素を備える画素アレイと、複数の単位画素それぞれを露光期間が揃うように駆動する駆動部と、駆動部による駆動に基づいて複数の単位画素それぞれから信号線に出力された画素信号を処理する信号処理回路と、を備え、複数の単位画素の各々は、光電変換部と、光電変換部に接続された第1転送トランジスタと、第1転送トランジスタを介して光電変換部に接続され、光電変換部で発生した信号電荷を保持するメモリ部と、メモリ部に接続された第2転送トランジスタと、第2転送トランジスタを介してメモリ部に接続され、メモリ部から転送された電荷を蓄積する蓄積部と、蓄積部に蓄積された電荷に基づく電圧値の画素信号を信号線に出現させる増幅トランジスタと、光電変換部に接続された第1排出トランジスタと、光電変換部に接続された第2排出トランジスタと、を備える。
実施形態に係る電子機器の概略構成例を示す図である。 実施形態に係る固体撮像装置の概略構成例を示す図である。 実施形態に係る固体撮像装置の概略構成例を示す図である。 単位画素の等価回路例を示す図である。 単位画素の平面レイアウト例を示す図である。 図4のA-A線に沿った画素の断面構造例を示す図である。 図4のB―B線に沿った画素の断面構造例を示す図である。 単位画素の配置例を示す図である。 単位画素の配置例を示す図である。 単位画素の配置例を示す図である。 単位画素の配置例を示す図である。 単位画素の配置例を示す図である。 ノイズ低減処理の例を示す図である。 ノイズ低減処理の例を示す図である。 ノイズ低減処理の例を示す図である。 ノイズ低減処理の例を示す図である。 ノイズ低減処理の例を示す図である。 撮像処理の例を示すフローチャートである。 撮像処理の例を示すフローチャートである。 変形例に係る単位画素の等価回路例を示す図である。 単位画素の平面レイアウト例を示す図である。 単位画素の等価回路例を示す図である。 裏面照射型の単位画素の断面構造例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びCCUの機能構成の一例を示すブロック図である。
 以下に、本開示の一実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
 以下に示す項目順序に従って本開示を説明する。
  1. はじめに
  2. 実施形態
   2.1 電子機器の概略構成例
   2.2 固体撮像装置の概略構成例
   2.3 単位画素の等価回路例
   2.4 単位画素の平面レイアウト例
   2.5 単位画素の断面構造の例
   2.6 単位画素の配置例
   2.7 ノイズ低減処理の例
   2.8 撮像処理の例
  3. 変形例
   3.1 単位画素の等価回路例
   3.2 単位画素の平面レイアウト例
   3.3 OR回路の例
   3.4 裏面照射型の例
   3.5 1画素1ADCの例
  4. 効果
  5. 移動体への応用例
  6. 内視鏡手術システムへの応用例
1. はじめに
 固体撮像装置は、デジタルスチルカメラ、デジタルビデオカメラなどの電子機器に幅広く用いられている。そのような固体撮像装置の動作方式として、ローリングシャッタ方式及びグローバルシャッタ方式が知られている。ローリングシャッタ方式は、画像出力タイミングに合わせて、画素部の上方の列から下方の列へ露光期間をずらしながら撮像をする方式で、必要最小限の回路規模で実現できる。但し、露光期間をずらすことでフォーカルプレーン歪という特有の画質劣化が発生する。これに対し、グローバルシャッタ方式では、フォーカルプレーン歪が発生しない。グローバルシャッタ方式の固体撮像装置では、画素毎にメモリ部を設けることにより、各画素における蓄積の同時性が実現される。
 画素毎に記憶素子が設けられていると、電荷保持中のメモリ部に光が漏れ込むことによるノイズ電荷の発生、すなわちスミアの発生による画質の劣化が懸念される。ここで、専用のスミア検出画素を画素アレイ中に配置してスミア発生量(ノイズ信号)を検出し、画素信号から減算することでスミア成分を抑圧することは可能である。スミア検出精度はスミア検出画素の配置密度と比例関係にあり、スミア検出画素の数を増やすことでスミア検出精度は上昇するが、その分、撮像用画素の数が減り画質劣化の要因となる。
 本実施形態の一側面によれば、ノイズ電荷の影響の低減と、上述のスミア検出精度と撮像用画素の減少とのトレードオフの解消との両立が実現される。
2. 第1の実施形態
2.1 電子機器の概略構成例
 図1は、実施形態に係る固体撮像装置が搭載された、実施形態に係る電子機器の概略構成の例を示すブロック図である。この例では、電子機器は、カメラである。電子機器1は、撮像レンズ10と、固体撮像装置100と、プロセッサ20と、記憶部30とを含む。
 撮像レンズ10は、入射光を集光し、その像を固体撮像装置に結像する。ただしレンズ以外の光学系が用いられてもよい。固体撮像装置100は、受光面に入射した光を電気信号に変換し(光電変換し)、画像データを生成する。固体撮像装置100の詳細については、後に図2以降を参照して説明する。プロセッサ20は、固体撮像装置100を制御する。例えば、プロセッサ20は、固体撮像装置100で生成された画像データを処理する。この他に、プロセッサ20は、電子機器1に必要な種々の処理を実行する。電子機器1がカメラである場合、露光制御(AE:Auto Exposure)、オートフォーカス(AF:Auto Focus)等の処理がプロセッサ20によって実行される。記憶部30は、固体撮像装置100によって生成された画像データを記憶する。この他に、記憶部30は、プロセッサ20によって実行される処理に必要な種々のデータを記憶する。
2.2 固体撮像装置の概略構成例
 図2及び図3は、固体撮像装置の概略構成例を示す図である。図2に示す例では、固体撮像装置100は、CMOSイメージセンサである。固体撮像装置100は、画素アレイ40と、垂直駆動部50と、水平駆動部60と、カラム信号処理回路70と、モード切替信号分配部80と、ロジック回路90とを含む。
 画素アレイ40は、複数の単位画素400を備える。複数の単位画素400は、2次元格子状(行列状ともいう)に配置される。各単位画素400には、垂直駆動部50に接続された画素駆動線が接続され、垂直駆動信号が供給される。各単位画素400の画素信号は、VSL(垂直信号線)420に出現する。本実施形態では、さらに、各単位画素400に、モード切替信号分配部80に接続されたモード切替信号分配線が接続され、動作モード切替え信号が供給される。単位画素400のさらなる詳細については、後に図4~図6を参照して説明する。
 垂直駆動部50は、複数の単位画素400を駆動する。垂直駆動部50は、画素アレイ40の行方向に延びる画素駆動線に、駆動信号を供給する。これにより、複数の単位画素400が、行単位で駆動される。駆動信号の例は、パルス信号である。駆動のタイミングは、信号SIG1に基づいて制御される。信号SIG1は、ロジック回路90の駆動制御部91(後述)から、垂直駆動部50に供給される。垂直駆動部50は、シフトレジスタ、アドレスデコーダなどで構成されてよい。垂直駆動部50は、単位画素400を行単位で順次垂直方向に選択走査し、単位画素400の各々のPD401で受光量に応じて発生した信号電荷に基づく画素信号を、VSL420を通してカラム信号処理回路70に供給する。
 水平駆動部60は、複数の単位画素400を駆動する。水平駆動部60は、画素アレイ40の列方向に延びる画素駆動線に、駆動信号を供給する。これにより、複数の単位画素400が、列単位で駆動(選択)される。駆動信号の例は、パルス信号である。駆動のタイミングは、信号SIG2に基づいて制御される。信号SIG2は、駆動制御部91から水平駆動部60に供給される。選択された列の単位画素400から出力された画素信号は、列方向に延びる列信号線(垂直信号線(VSL)420に相当)に入力され、カラム信号処理回路70の列ごとのAD変換部(単位回路)でデジタル値に変換される。水平駆動部60は、シフトレジスタ、アドレスデコーダなどで構成されてよい。
 カラム信号処理回路70は、垂直駆動部50及び水平駆動部60による駆動に基づいて複数の単位画素400それぞれから信号線(VSL420に相当)に出力された画素信号を処理する。カラム信号処理回路70は、各々が単位画素400の各列に対応した複数のAD変換部(図示しない)を含む。各AD変換部は、対応する列の単位画素400から出力されたアナログの画素信号を、デジタルの画素信号に変換する。デジタルの画素信号は、ロジック回路90における信号処理回路93(後述)に送られる。変換のタイミングは、信号SIG3に基づいて制御される。信号SIG3は、駆動制御部91からカラム信号処理回路70に供給される。なお、カラム信号処理回路70には、デジタル値に変換された画素信号を用いてCDS(相関二重サンプリング)等の処理を実行する回路が含まれてもよい。
 モード切替信号分配部80は、単位画素400のモード(後述)を切替えるための動作モード切替信号を、単位画素400に供給する。モード切替信号の供給(分配)対象となる単位画素400の選択は、信号SIG5に基づいて制御される。信号SIG5は、ロジック回路90のモード判定回路92(後述)からモード切替信号分配部80に供給される。
 ロジック回路90は、画素アレイ40、垂直駆動部50、水平駆動部60、カラム信号処理回路70及びモード切替信号分配部80を制御するとともに、カラム信号処理回路70からの画素信号を処理するデジタル回路である。この例では、ロジック回路90は、駆動制御部91と、モード判定回路92と、信号処理回路93とを含む。
 駆動制御部91は、駆動パラメータに基づいて、信号SIG1、信号SIG2、信号SIG3及び信号SIG4を生成する。先に述べたように、信号SIG1は、垂直駆動部50の駆動信号である。信号SIG2は、水平駆動部60の駆動信号である。信号SIG3は、カラム信号処理回路70の駆動信号である。信号SIG4は、信号処理回路93の駆動信号である。駆動制御部91は、外部の上位装置から与えられた駆動パラメータに基づき、各信号SIG1~SIG4を生成する。上位装置は、電子機器1のプロセッサ20(図1)、その他のアプリケーションプロセッサ等である。駆動パラメータには、動作基準となるクロック信号の他に、フレームレート、ROI(Region Of Interest)の指定、HDR(High Dynamic Range)とLDR(Low Dynamic Range)との切替え等が含まれてもよい。
 モード判定回路92は、信号SIG5を生成する。信号SIG5は、画素アレイ40における各単位画素400の動作モードを切替える信号である。図2に示す例では、モード判定回路92は、AE・AFステータス信号に基づいて、信号SIG5を生成する。AE・AFステータス信号は、AE及びAFの各々が実行中であるか否か、完了したか否か等を示す。AE・AFステータス信号は、プロセッサ20(図1)からモード判定回路92に送られる。また、モード判定回路92は、信号処理回路93からの信号に基づいて、画素アレイ40における各単位画素400の動作モードを切替える信号SIG5を生成する。モード判定回路92は、プロセッサ20からの指示に応じて信号SIG5を生成してもよい。なお、各単位画素400の動作モードの切替えについては、後述において説明する。
 信号処理回路93は、カラム信号処理回路70から出力された行ごと又はフレームごとの画像データに対してホワイトバランス調整等の信号処理を実行する。信号処理が施された画像データは、プロセッサ20及び/又は記憶部30(図1)に出力される。デジタル信号の処理のタイミングは、信号SIG4に基づいて制御される。信号SIG4は、駆動制御部91から信号処理回路93に供給される。
2.3 単位画素の等価回路例
 図4は、単位画素の等価回路例を示す図である。なお、本説明における単位画素とは、1つの読出し回路と、これに接続された1又は複数の光電変換部とからなる画素であってよい。ただし、以下の説明では、簡略化のため、1つの読出し回路に1つの光電変換部が接続された場合を例示する。
 図4に例示する単位画素400は、PD(フォトダイオード)401と、読出し回路460とを備える。読出し回路460は、例えば、MEM(メモリ)402、FD(フローティングディフュージョン)403、第1転送トランジスタ405、第2転送トランジスタ406、リセットトランジスタ409、第1排出トランジスタ404、第2排出トランジスタ410、増幅トランジスタ407及び選択トランジスタ408を含む。読出し回路460を構成する各トランジスタは、例えば、N型のMOSトランジスタである。ただし、これに限定されず、一部又は全部をP型のMOSトランジスタで構成することも可能である。また、回路に供給される複数の電源電圧を、電源線VDDと称して図示する。各電源線VDDは、異なる電圧値を有していてもよい。各電源線VDDは、同じ電源から供給されてもよいし異なる電源から供給されてもよい。なお、基準電位を有するグラウンドGNDも図示される。
 PD401は、入射光に対応する電荷を発生させる光電変換部である。PD401のアノードは、グラウンドGNDに接続される。PD401のカソードは、第1排出トランジスタ404の両端(この例ではソース及びドレイン)を介して、電源線VDDに接続される。第1排出トランジスタ404は、オーバーフローゲートとも称される。第1排出トランジスタ404の制御端(この例ではゲート)に制御電圧OFGが印加されると、第1排出トランジスタ404の両端が導通し、PD401のカソードに蓄積されている電荷が電源線VDDに放出(リセット)される。制御電圧OFGは、垂直駆動部50(図1)から供給される。さらに、PD401のカソードは、第1転送トランジスタ405の両端を介してMEM402に接続され、第2排出トランジスタ410の両端を介して電源線VDDに接続される。
 MEM402は、PD401で発生した電荷を保持するメモリ部である。MEM402は、第1転送トランジスタ405の両端を介して、PD401のカソードに接続される。第1転送トランジスタ405は、PD401の電荷をMEM402に転送するための転送ゲートである。第1転送トランジスタ405の制御端に制御電圧TRXが印加されると、第1転送トランジスタ405の両端が導通し、PD401からMEM402に電荷が転送される。制御電圧TRXは、垂直駆動部50(図1)から供給される。MEM402は、例えば埋め込みチャネルのCCD(Charge Coupled Device)である。
 FD403は、MEM402から転送される電荷を蓄積し、これを電荷量に応じた電圧値の電圧に変換する電荷電圧変換機能を備える蓄積部である。FD403は、第2転送トランジスタ406の両端を介して、MEM402に接続される。第2転送トランジスタ406は、MEM402の電荷をFD403に転送するための転送ゲートである。第2転送トランジスタ406の制御端に制御電圧TRGが印加されると、第2転送トランジスタ406の両端が導通し、MEM402からFD403に電荷が転送される。制御電圧TRGは、垂直駆動部50(図1)から供給される。FD403に蓄積された電荷量に応じた電圧値の電圧は、増幅トランジスタ407で所定の増幅ゲインで増幅された後、選択トランジスタ408を介して、VSL420に出現する。増幅トランジスタ407の制御端はFD403に接続され、両端は電源線VDDと選択トランジスタ408との間に接続される。選択トランジスタ408は、行選択トランジスタである。選択トランジスタ408の制御端に制御電圧SELが印加されると、増幅トランジスタ407のドレイン端が選択トランジスタ408の両端を介してVSL420に接続される。それにより、増幅トランジスタ407によって増幅された電圧が、画素信号としてVSL420に出現する。制御電圧SELは、水平駆動部60(図1)から供給される。
 FD403は、リセットトランジスタ409の両端を介して、電源線VDDに接続される。リセットトランジスタ409は、FD403をリセットするためのリセットトランジスタである。リセットトランジスタ409は、第1リセット部を構成する。リセットトランジスタ409の制御端に制御電圧RSTが印加されると、リセットトランジスタ409の両端が導通し、FD403に蓄積されている電荷が電源線VDDに放出される(FDリセット)。制御電圧RSTは、垂直駆動部50(図1)から供給される。さらに第2転送トランジスタ406が導通していれば、MEM402に蓄積されている電荷も放出(リセット)される(MEMリセット)。この第2転送トランジスタ406も第1リセット部を構成しうる。さらに第1転送トランジスタ405が導通していれば、PD401のカソードに蓄積されている電荷も放出(リセット)される(PDリセット)。この第1転送トランジスタ405も、第1リセット部を構成しうる。
 第2排出トランジスタ410は、PD401に接続され、PD401の露光(すなわち電荷蓄積)の有効/無効を切替えるためのリセットトランジスタである。言い換えれば、第2排出トランジスタ410は、当該単位画素400を後述するスミア検出信号を生成するための単位画素400として機能させるためのリセットトランジスタである。第2排出トランジスタ410は、第2リセット部を構成する。第2排出トランジスタ410の制御端に制御電圧DCGが印加されると、第2排出トランジスタ410の両端が導通し、PD401で発生した電荷が電源線VDDに放出(リセット)されるようになり、それにより、PD401の露光が無効とされる。制御電圧DCGは、モード切替信号分配部80(図1)から供給される。なお、この例では、第2排出トランジスタ410は、第1排出トランジスタ404に対して並列に設けられる。第2排出トランジスタ410のさらなる詳細については後述する。
 このように、本実施形態では、3つのリセットトランジスタ、すなわちリセットトランジスタ409、第1排出トランジスタ404及び第2排出トランジスタ410を備える。リセットトランジスタ409は、画素リセット用のリセットトランジスタとして用いられる。第1排出トランジスタ404は、電子シャッタ、すなわち、PD401の露光時間(蓄積期間ともいう)を制御するためのリセットトランジスタとして用いられる。第2排出トランジスタ410は、単位画素400をスミア検出信号生成用の画素として機能させるためのリセットトランジスタとして用いられる。
2.4 画素の平面レイアウト例
 図5は、単位画素400の平面レイアウト例を示す図である。単位画素400の各要素が、先に図4を参照して説明した単位画素400の等価回路を構成するように、基板450に形成される。基板450は、半導体基板である。図において、基板面に平行な面をXY平面とするXYZ座標系が示される。図4には、単位画素400の要素のうち、PD401、MEM402、FD403、第1排出トランジスタ404、第1転送トランジスタ405、第2転送トランジスタ406及び第2排出トランジスタ410のみが示され、他の要素は“Other elements”として省略して示す。この平面レイアウトでは、MEM402は、基板厚方向(Z軸方向)において第1転送トランジスタ405と重複しており、破線で示される。なお、単位画素400のいくつかの構成要素は、基板450における光の入射面ではなく、反対側の面に配置されてよい。例えば、第1転送トランジスタ405、MEM402、第2転送トランジスタ406、FD403、増幅トランジスタ407、第1排出トランジスタ404及び第2排出トランジスタ410のうちの少なくとも1つが、基板450における光の入射面とは反対側の面に配置されてよい。
 ここで、第1排出トランジスタ404及び第2排出トランジスタ410の配置について説明すると、図5に示す例では、第1排出トランジスタ404及び第2排出トランジスタ410はいずれも横置き型のトランジスタであり、互いに平面上に並んで配置される。ただし、第1排出トランジスタ404及び第2排出トランジスタ410の一方又は両方が縦置き型のトランジスタであってもよい。
2.5 単位画素の断面構造の例
 図6Aは、図5のA-A線に沿った単位画素400の断面構造の例を示す図である。この例では、固体撮像装置100は、表面照射型の固体撮像装置である。PD401は、基板450の表面部分から裏面側に向かって(Z軸負方向に向かって)p型半導体領域及びn型半導体領域をこの順に設けることによって形成される。電源線VDDとのコンタクトは、基板450の表面部分にn型半導体領域を設けることによって形成される。第2排出トランジスタ410は、PD401と電源線VDDとの間にチャネルを形成するように、基板450の表面上に、基板450と絶縁された状態で設けられる。
 図6Bは、図5のB-B線に沿った単位画素400の断面構造の例を示す図である。図6Bは、図6Aと比較して、第2排出トランジスタ410に代えて第1排出トランジスタ404の断面が示される点において相違する。第1排出トランジスタ404は、PD401と電源線VDDとの間にチャネルを形成するように、基板450の表面上に、基板450と絶縁された状態で設けられる。
 以上説明した単位画素400を備える固体撮像装置100は、垂直駆動部50及び水平駆動部60が、複数の単位画素400それぞれを露光期間が揃うように駆動することで、グローバルシャッタ方式の固体撮像装置として動作し得る。グローバルシャッタ方式の動作は公知の動作であってよいため、ここでは詳細な説明は省略する。動作例を端的に述べると、PD401による光電変換、MEM402への電荷転送、FD403への電荷転送、増幅トランジスタ407による電荷電圧変換、読出し対象行の選択が順に実行されるように、垂直駆動部50が信号SIG1に基づいて動作する。水平駆動部60及びカラム信号処理回路70は、選択トランジスタ408を介してVSL420に出現したアナログの画素信号が行ごとにデジタルの画素信号に変換されるように、それぞれ信号SIG2、信号SIG3に基づいて動作する。信号処理回路93は、以上のように生成された行ごとの画素信号又はフレーム単位の画像データに対して所定の信号処理を実行するように、信号SIG4に基づいて動作する。
 さらに、実施形態に係る固体撮像装置100は、上述のようなグローバルシャッタ方式の固体撮像装置と比較して、各単位画素400が、第1モード及び第2モードの2つの動作モードを備える点において相違する。第1モードは、PD401の光電変換により発生した電荷(信号電荷)に基づく画素信号を生成する通常撮像モードである。第2モードは、主にMEM402で発生した寄生光成分の電荷(後述するノイズ電荷に相当)に基づく信号(以下、「スミア検出信号」という)を検出する寄生光検出モードである。信号SIG5は、これらのモード切替えに用いられる。一実施形態において、モード切替えは、第2排出トランジスタ410によって実現される。以下、第2排出トランジスタ410を用いたモード切替えの例について、再び図4を参照して説明する。
 上述したように、第2排出トランジスタ410が導通状態である期間、PD401に発生した電荷は、電源線VDDに放出される。すなわち、第2排出トランジスタ410が導通状態とされている期間、PD401の露光が無効とされる。そのため、MEM402には、入射光量に応じた電荷(信号電荷)が蓄積されず、主に、MEM402に素子内での反射光等(以下、「寄生光」という)が入射することで発生した電荷が蓄積されることになる。言い換えれば、本実施形態に係る第2排出トランジスタ410は、MEM402の状態を、少なくとも次に説明する第1状態と第2状態との間で切替える。なお、第1状態への切替えは、第2状態から第1状態へ切替えることのほか、第1状態を維持することも含む。第2状態への切替えは、第1状態から第2状態へ切替えることのほか、第2状態を維持することも含む。
 第1状態は、MEM402が信号電荷を含む電荷を保持する状態である。より具体的に、第1状態では、MEM402は、露光期間中にPD401で発生する信号電荷と、MEM402で発生するノイズ電荷との合計電荷を保持する。このノイズ電荷には、素子内での反射光等がMEM402に漏れ込むことで発生する寄生光成分(以下、スミア成分ともいう)も含まれ得る。第1状態では、第2排出トランジスタ410は、遮断状態(OFF)に制御される。第1排出トランジスタ404は、PD401への露光期間に応じて導通状態(ON)と遮断状態とに制御される。
 第2状態は、MEM402がノイズ電荷を保持する状態である。より具体的に、第2状態では、MEM402は、露光期間中にMEM402で発生するノイズ電荷を保持する。このノイズ電荷は、PD401で発生する信号電荷を含まない電荷である。そのようなノイズ電荷を得るために、第2状態では、第2排出トランジスタ410が導通状態に制御される。なお、第1排出トランジスタ404は、遮断状態及び導通状態のいずれに制御されてもよい。第2状態では、PD401がリセット状態にあるため、PD401には信号電荷が蓄積されず、したがって、ノイズ電荷のみがMEM402によって保持される。
 複数の単位画素400の各々がMEM402を含むことによって、各画素は、第1モード及び第2モードのいずれかのモードに個別に切替えられる。なお、第1モードへの切替えは、第2モードから第1モードへ切替えることのほか、第1モードを維持することも含む。第2モードへの切替えは、第1モードから第2モードへ切替えることのほか、第2モードを維持することも含む。第1モードは、単位画素400を撮像用画素として機能させるためのモード(通常撮像モード)である。第1モードでは、MEM402が第1状態に切替えられる。第2モードは、単位画素400を寄生光検出画素として機能させるためのモード(寄生光検出モード)である。第2モードでは、MEM102が第2状態に切替えられる。複数の単位画素400の各々の第2排出トランジスタ410が個別制御可能であるので、固体撮像装置100は、複数の単位画素400のうちの一部の単位画素400を第1モードに切替え、他の単位画素400を第2モードに切替えることができる。すなわち、固体撮像装置100は、画素アレイ40中に、第1モードの画素と、第2モードの画素とを任意に配置することができる。第1モードに切替える画素及び第2モードに切替える画素の選択は、信号SIG5に基づいて行われる。
2.6 単位画素の配置例
 図7、図8A、図8B、図8C及び図8Dは、単位画素の配置例を示す図である。第1モードの単位画素を撮像用単位画素400-1と称して図示し、第2モードの単位画素を寄生光検出単位画素400-2と称して図示する。単位画素400全体に占める寄生光検出単位画素400-2の割合は、50%未満であってよい。好ましい寄生光検出単位画素400-2の割合の例は、25%以下(4画素中1画素以下)、6.25%以上(16画素中1画素以上)である。これにより、撮像用単位画素400-1で撮像される画像の解像度の低下を防ぎつつ、寄生光検出単位画素400-2による検出精度(とくにスミア領域の境界の精度)の低下も防ぐことができる。寄生光検出単位画素400-2は、画素アレイ40中に均等配置されてよい。均等配置の例としては、行方向(X軸方向)での等間隔配置、列方向(Y軸方向)での等間隔配置、斜め方向(X軸方向及びY軸方向に交差する軸方向)での等間隔配置等を挙げることができる。ただし、これらに限定されず画素アレイ40全体で発生するスミアをまんべんなく検出可能な配置であれば、種々変形されてよい。例えば、画素アレイ40を複数の領域に分割し、それらの領域においてのみ寄生光検出単位画素400-2が配置されるように制御してもよい。例えば図8A、図8B、図8C及び図8Dに示すように、画素アレイ40を4分割した領域のいずれかに、寄生光検出単位画素400-2を任意配置してもよい。図8Aの例では、画素アレイ40の左上の領域に寄生光検出単位画素400-2が配置される。図8Bの例では、画素アレイ40の左下の領域に寄生光検出単位画素400-2が配置される。図8Cの例では、画素アレイ40の右上の領域に寄生光検出単位画素400-2が配置される。図8Dでは、画素アレイ40の右下の領域に寄生光検出単位画素400-2が配置される。
 撮像用単位画素400-1の画素信号及び寄生光検出単位画素400-2の画素信号は、カラム信号処理回路70(図2)によってデジタル信号に変換された後、信号処理回路93に送られる。信号処理回路93は、次に図9及び図10を参照して説明するノイズ低減処理を実行する。ノイズ成分の例は、寄生光成分(スミア成分)である。なお、画素アレイ40において、単位画素400にスミア成分が発生するような高光量の光が入射される領域を、「高光量領域」と称する。言い換えると、スミア成分が検出されることは、高光量領域の存在を意味する。
2.7 ノイズ低減処理の例
 図9及び図10は、ノイズ低減処理の例を示す図である。図9に示すように、信号処理回路93には、撮像用単位画素400-1の画素信号がAD変換された画素信号PS1(第1の画素信号)及び寄生光検出単位画素400-2の画素信号がAD変換された画素信号PS2(第2の画素信号)が入力される。信号処理回路93は、補間回路93aと、偽信号推定回路93bと、減算回路93cと、分離回路93dとを含み、撮像された画素信号からスミア成分を除去する。
 分離回路93dは、カラム信号処理回路70から行単位又はフレーム単位で入力された画像信号PS1及び画素信号PS2を、撮像用単位画素400-1からの画像信号(すなわち、信号成分とノイズ成分(スミア検出信号に相当)とを含む画素信号)PXS1と、寄生光検出単位画素400-2からの画像信号(すなわち、ノイズ成分のみのスミア検出信号)PXS2とに分離する機能を備える。画素信号PXS2は、例えば図10Aに示すような高輝度画素に対応する。分離回路93dは、分離した信号のうち、撮像用単位画素400-1から読み出された画像信号PXS1を補間回路93a及び偽信号推定回路93bの両方に入力し、寄生光検出単位画素400-2から読み出されたスミア検出信号よりなる画像信号PXS2を偽信号推定回路93bに入力する。
 補間回路93aは、分離回路93dから行単位又はフレーム単位で入力された画像信号PXS1において、寄生光検出単位画素400-2として動作することによって欠落した画素の画素値(画素信号に相当)を、例えば、周囲の撮像用単位画素400-1から読み出された画素値(画素信号に相当)に基づいて補間する処理を実行する。この画素補間には種々の公知の手法が用いられてもよい。また、補間回路93aは、画素補間がされた行単位又はフレーム単位の画像信号IMS1を減算回路93cに入力する。画像信号IMS1は、例えば図10Bに示すような画像の信号である。
 偽信号推定回路93bは、信号成分とノイズ成分とを含んだ画像信号PXS1と、ノイズ成分(スミア検出信号)からなる画像信号PXS2とから、画像信号PXS1におけるノイズ成分を推定する機能を備える。例えば、偽信号推定回路93bは、画像信号PXS2の値に基づいてスミアが発生している領域を特定し、画像信号PXS1においてこの特定した領域と対応する領域に含まれる各画素のノイズ成分を推定する。また、偽信号推定回路93bは、推定されたノイズ成分の画素信号IMS2を減算回路93cに入力する。画素信号IMS2は、例えば図10Cに示すような画像の信号である。
 減算回路93cは、補間回路93aから行単位又はフレーム単位で入力された画像信号IMS1から、偽信号推定回路93bから行単位又はフレーム単位で入力された画像信号IMS2(画素ごとに推定されたノイズ成分)を減算する。これにより、減算回路93cからは、ノイズ成分が除去された画像信号が出力される。出力される画像信号は、例えば図10Dに示すような画像の信号である。
 画素アレイ40において、寄生光検出単位画素400-2は、高光量領域が存在する場合にのみ配置されてよい。例えば、前フレームで高光量領域の存在が検出された場合には先に図7及び図8を参照して説明したように寄生光検出単位画素400-2を配置し、そうでない場合には寄生光検出単位画素400-2を配置しなくても(すべての単位画素400を撮像用単位画素400-1にしても)よい。高光量領域が存在するか否かの判断は、前フレームにスミアが発生しているか否かに基づいて行われてもよい。この判断は、信号処理回路93で実行されてもよいし、信号処理回路93から処理結果を受けたモード判定回路92において実行されてもよいし、外部の制御部やアプリケーションプロセッサ等で実行されてもよい。このような高輝度領域の有無の判断は、例えば固体撮像装置100を用いた撮像を行う前に行われてよい。これについて、次に図11A及び図11Bを参照して説明する。
2.8 撮像処理の例
 図11A及び図11Bは、撮像処理(撮像方法)の例を示すフローチャートである。このフローチャートは、撮像対象に電子機器1を向けてから、電子機器1による撮像が行われるまでの処理の例である。図11Aに示す第1の処理と、図11Bに示す第2の処理とは、同時に実行されて(並列的に処理されて)よい。
 図11Aに示す第1の処理について説明する。ステップS11において、露光制御(AE)が行われる。これにより、撮像に適した露光状態が得られる。また、先に説明したAE・AFステータス信号(図2)が、露光制御が完了したことを示すようになる。ステップS12において、オートフォーカス(AF)が行われる。これにより、撮像に適したフォーカス状態が得られる。また、先に説明したAE・AFステータス信号(図2)は、オートフォーカスが完了したことを示すようになる。ステップS13において、撮像が行われる。これにより、先のステップS11及びステップS12によって得られた適切な露光状態及びフォーカス状態で、撮像が行われる。ステップS13の処理が実行された後、フローチャートの処理が終了する。
 図11Bに示す第2の処理について説明する。ステップS21において、寄生光検出モードがONになる。具体的に、例えば先に図7及び図8を参照して説明したように、複数の単位画素400のうちの一部の単位画素400が第2モードに切替えられ、寄生光検出単位画素400-2となる。
 ステップS22において、高光量領域の存在が検出される。例えば、先に説明したように前フレームにスミアが発生しているか否かに基づいて、高光量領域が存在するか否かが判断される。
 ステップS23において、AFが完了したか否かが判断される。すなわち、先に説明したステップS12の処理が完了したか否かが判断される。AFが完了した場合(ステップS23でYes)、ステップS24に処理が進められる。そうでない場合(ステップS23でNo)、ステップS22に処理が戻される。
 ステップS24において、高光量領域が存在したか否かが判断される。すなわち、先のステップS22で高光量領域の存在が検出されたか否かが判断される。高光量領域が存在した場合(ステップS24でYes)、ステップS26に処理が進められる。そうでない場合(ステップS24でNo)、ステップS25の処理を経た後、ステップS26に処理が進められる。
 ステップS25において、寄生光検出モードがOFFになる。これにより、すべての単位画素400が第1モードに切替えられ、撮像用単位画素400-1となる。言い換えると、このステップS25の処理が実行されない場合は(ステップS24でYes)、寄生光検出モードがONのままなので、撮像用単位画素400-1だけでなく寄生光検出単位画素400-2も存在することになる。
 ステップS13において、先に図11Aを参照して説明したように、先のステップS11及びステップS12によって得られた適切な露光状態及びフォーカス状態で、撮像が行われる。さらに、先のステップS24において高光量領域が存在した場合には、複数の単位画素400のうちの一部の画素が第2モードに切替えられた状態で(すなわち、寄生光検出単位画素400-2となって)、撮像が行われる。したがって、先に図9及び図10を参照して説明したようなノイズ低減処理が実行される。一方で、先のステップS25において高光量領域が存在しなかった場合には、すべての単位画素400が第1モードに切替えられた状態で(すなわち、撮像用単位画素400-1となって)、撮像が行われる。この場合、上述のノイズ低減処理は実行されなくてよい。ステップS13の処理が実行された後、フローチャートの処理が終了する。
 なお、上記では、ステップS11及びステップS12(図11A)と、ステップS21~S25(図11B)とが同時に実行される(並列処理される)例について説明したが、それらのステップが順に実行されても(直列処理されても)よい。例えば、ステップS11及びステップS12の処理が実行された後に、ステップS21~S25の処理が実行されてもよい。ステップS21~S25の処理は、ステップS11の処理よりも前に実行されてもよいし、ステップS11の処理の後であってステップS12の処理の前に実行されてもよい。ステップS23の処理は適宜省略されてよい。
 以上、本開示の実施形態について説明したが、本開示の実施形態は上述の例に限定されない。
3. 変形例
3.1 単位画素の等価回路例
 図12は、変形例に係る画素の等価回路の例を示す図である。図12に例示す単位画素400Aは、単位画素400(図4)と比較して、読出し回路460Aが、隣接する単位画素400Bの読出し回路460Bと一部の要素を共有する点において相違する。図12に示す例では、FD403AB、第1排出トランジスタ404AB、増幅トランジスタ407AB、選択トランジスタ408AB及びリセットトランジスタ409ABが共有される。他の要素は、共有されていない。すなわち、単位画素400Aは、PD401A、MEM402A、第1転送トランジスタ405A、第2転送トランジスタ406A及び第2排出トランジスタ410Aを含み、単位画素400Bは、それらとは別に、PD401B、MEM402B、第1転送トランジスタ405B、第2転送トランジスタ406B及び第2排出トランジスタ410Bを含む。単位画素400Aの画素信号と単位画素400Bの画素信号とが例えば順番にVSL420に出力されるように、第1排出トランジスタ404ABの制御電圧OFG、第1転送トランジスタ405Aの制御電圧TRX_A、第2転送トランジスタ406Aの制御電圧TRG_A、リセットトランジスタ409ABの制御電圧RST、選択トランジスタ408ABの制御電圧SEL、第2排出トランジスタ410Aの制御電圧DCG_A、第1転送トランジスタ405Bの制御電圧TRX_B、第2転送トランジスタ406Bの制御電圧TRG_B及び第2排出トランジスタ410Bの制御電圧DCG_Bが制御される。
 なお、FD403AB、第1排出トランジスタ404AB、増幅トランジスタ407AB、選択トランジスタ408AB及びリセットトランジスタ409ABの機能等は、先に図4を参照して説明したFD403、第1排出トランジスタ404、増幅トランジスタ407、選択トランジスタ408及びリセットトランジスタ409と同様であるので、ここでは説明は繰り返さない。PD401A、MEM402A、第1転送トランジスタ405A、第2転送トランジスタ406A及び第2排出トランジスタ410Aの機能等は、先に図4を参照して説明したPD401、MEM402、第1転送トランジスタ405、第2転送トランジスタ406及び第2排出トランジスタ410と同様であるので、ここでは説明は繰り返さない。PD401B、MEM402B、第1転送トランジスタ405B、第2転送トランジスタ406B及び第2排出トランジスタ410Bについても同様である。
3.2 単位画素の平面レイアウト例
 図13は、図12の単位画素の平面レイアウト例を示す図である。この例では、単位画素400A及び単位画素400Bの各要素が、図12の等価回路を構成するように、基板450ABに形成される。基板450ABは、半導体基板である。なお、図13には、単位画素400A及び単位画素400Bの要素のうち、PD401A、PD401B、MEM402A、MEM402B、FD403AB、第1排出トランジスタ404AB、第1転送トランジスタ405A、第1転送トランジスタ405B、第2転送トランジスタ406A、第2転送トランジスタ406B、第2排出トランジスタ410A及び第2排出トランジスタ410Bのみが示され、他の要素は“Other elements”として省略して示す。なお、MEM402A及びMEM402Bは、基板厚方向(Z軸方向)において第1転送トランジスタ405A及び第1転送トランジスタ405Bとそれぞれ重複しており、破線で示される。
3.3 OR回路の例
 上記実施形態では、単位画素400のモード切替えのために行われるMEM402の状態の切替えが、第1排出トランジスタ404に並列接続された第2排出トランジスタ410によって実現される例について説明した。ただし、切替手段はこのような第2排出トランジスタ410に限定されない。例えば、第1排出トランジスタ404に、PD401と電源線VDDとを接続するという第2排出トランジスタ410の機能を併用させてよい。この場合、例えば、第1排出トランジスタ404の制御端に、垂直駆動部50からの電圧と、モード切替信号分配部80からの電圧とが、OR回路を介して印加されるようにしてよい。
 図14に例示する単位画素400Cは、単位画素400(図4)と比較して、読出し回路460Cが、第2排出トランジスタ410を有さない一方で、(第1排出トランジスタ404Cを介して)PD401に接続された第2排出トランジスタ410Cを有する点において相違する。第2排出トランジスタ410Cは、トランジスタ等を含んで構成されるOR回路である。第2排出トランジスタ410Cの一方の入力端には垂直駆動部50からの制御電圧OFGが供給され、他方の入力端にはモード切替信号分配部80からの制御電圧DCGが供給される。第2排出トランジスタ410Cの出力端は、第1排出トランジスタ404Cの制御端に接続される。垂直駆動部50からの制御電圧OFGが第2排出トランジスタ410Cを介して第1排出トランジスタ404Cの制御端に印加されると、第1排出トランジスタ404Cは、これまで説明した第1排出トランジスタ404(図4等)として機能する。モード切替信号分配部80からの制御電圧DCGが第2排出トランジスタ410Cを介して第1排出トランジスタ404の制御端に印加されると、第1排出トランジスタ404は、これまで説明した第2排出トランジスタ410(図4等)として機能する。したがって、単位画素400Cにおいては、第1排出トランジスタ404C及び第2排出トランジスタ410の共同によって、第1及び第2の2つの排出トランジスタが実現される。
3.4 裏面照射型の例
 上記実施形態では固体撮像装置100が表面照射型の固体撮像装置である例について説明した。ただし、固体撮像装置は、裏面照射型であってもよい。図15は、そのような固体撮像素子の画素の断面構造例を示す図である。
 図15に示すように、フォトダイオードPDが、半導体基板138の裏面(図では上面)側から入射する入射光L1を受光する。フォトダイオードPDの上方には、平坦化膜133及びオンチップレンズ131が設けられており、各部を順次介して入射した入射光L1を、受光面137で受光して光電変換が行われる。
 例えば、フォトダイオードPDは、N型半導体領域139が、電荷(電子)を蓄積する電荷蓄積領域として形成されている。フォトダイオードPDにおいては、N型半導体領域139は、半導体基板138のP型半導体領域136及び144で囲まれた領域内に設けられている。N型半導体領域139の、半導体基板138の表面(下面)側には、裏面(上面)側よりも不純物濃度が高いP型半導体領域144が設けられている。つまり、フォトダイオードPDは、HAD(Hole-Accumulation Diode)構造になっており、N型半導体領域139の上面側と下面側との各界面において、暗電流が発生することを抑制するように、P型半導体領域136及び144が形成されている。
 半導体基板138の内部には、複数の画素110の間を電気的に分離する画素分離部140が設けられており、この画素分離部140で区画された領域に、フォトダイオードPDが設けられている。図中、上面側から、固体撮像装置を見た場合、画素分離部140は、例えば、複数の画素110の間に介在するように格子状に形成されており、フォトダイオードPDは、この画素分離部140で区画された領域内に形成されている。
 各フォトダイオードPDでは、アノードが接地されており、固体撮像装置において、フォトダイオードPDが蓄積した信号電荷(例えば、電子)は、図示せぬ転送トランジスタ等を介して読み出され、電気信号として、図示せぬ垂直信号線へ出力される。
 配線層145は、半導体基板138のうち、遮光膜134、オンチップレンズ131等の各部が設けられた裏面(上面)とは反対側の表面(下面)に設けられる。
 配線層145は、配線146と絶縁層147とを含み、絶縁層147内において、配線146が各素子に電気的に接続するように形成されている。配線層145は、いわゆる多層配線の層になっており、絶縁層147を構成する層間絶縁膜と配線146とが交互に複数回積層されて形成されている。ここでは、配線146としては、転送トランジスタ111等のフォトダイオードPDから電荷を読み出すためのトランジスタへの配線や、垂直信号線124等の各配線が、絶縁層147を介して積層されている。
 配線層145の、フォトダイオードPDが設けられている側に対して反対側の面には、例えば回路チップ122が接合されている。
 遮光膜134は、半導体基板138の裏面(図では上面)の側に設けられている。
 遮光膜134は、半導体基板138の上方から半導体基板138の裏面へ向かう入射光L1の一部を、遮光するように構成されている。
 遮光膜134は、半導体基板138の内部に設けられた画素分離部140の上方に設けられている。ここでは、遮光膜134は、半導体基板138の裏面(上面)上において、シリコン酸化膜等の絶縁膜135を介して、凸形状に突き出るように設けられている。これに対して、半導体基板138の内部に設けられたフォトダイオードPDの上方においては、フォトダイオードPDに入射光L1が入射するように、遮光膜134は、設けられておらず、開口している。
 つまり、図中、上面側から、固体撮像装置を見た場合、遮光膜134の平面形状は、格子状になっており、入射光L1が受光面137へ通過する開口が形成されている。
 遮光膜134は、光を遮光する遮光材料で形成されている。例えば、チタン(Ti)膜とタングステン(W)膜とを、順次、積層することで、遮光膜134が形成されている。この他に、遮光膜134は、例えば、窒化チタン(TiN)膜とタングステン(W)膜とを、順次、積層することで形成することができる。
 遮光膜134は、平坦化膜133によって被覆されている。平坦化膜133は、光を透過する絶縁材料を用いて形成されている。この絶縁材料には、例えば、酸化シリコン(SiO)などを用いることができる。
 画素分離部140は、例えば、溝部141、固定電荷膜142、及び、絶縁膜143を有する。
 固定電荷膜142は、半導体基板138の裏面(上面)の側において、複数の画素110の間を区画している溝部141を覆うように形成されている。
 具体的には、固定電荷膜142は、半導体基板138において裏面(上面)側に形成された溝部141の内側の面を一定の厚みで被覆するように設けられている。そして、その固定電荷膜142で被覆された溝部141の内部を埋め込むように、絶縁膜143が設けられている(充填されている)。
 ここでは、固定電荷膜142は、半導体基板138との界面部分において正電荷(ホール)蓄積領域が形成されて暗電流の発生が抑制されるように、負の固定電荷を有する高誘電体を用いて形成されている。固定電荷膜142が負の固定電荷を有するように形成されていることで、その負の固定電荷によって、半導体基板138との界面に電界が加わり、正電荷(ホール)蓄積領域が形成される。
 固定電荷膜142は、例えば、ハフニウム酸化膜(HfO膜)で形成することができる。また、固定電荷膜142は、その他、例えば、ハフニウム、ジルコニウム、アルミニウム、タンタル、チタン、マグネシウム、イットリウム、ランタノイド元素等の酸化物の少なくとも1つを含むように形成することができる。
 なお、画素分離部140は、上記構成に限定されず、種々変形することができる。例えば、絶縁膜143の代わりにタングステン(W)膜などの光を反射する反射膜を用いることで、画素分離部140を光反射構造とすることが可能となる。それにより、フォトダイオードPD内に進入した入射光L1を画素分離部140で反射させることが可能となるため、フォトダイオードPD内での入射光L1の光路長を長くすることが可能となる。加えて、画素分離部140を光反射構造とすることで、隣接画素への光の漏れ込みを低減することが可能となるため、画質や測距精度等をより向上させることも可能となる。なお、反射膜の材料としてタングステン(W)などの金属材料を用いた場合には、固定電荷膜142の代わりにシリコン酸化膜などの絶縁膜を溝部141内に設けるとよい。
 また、画素分離部140を光反射構造とする構成は、反射膜を用いる構成に限定されず、例えば、溝部141内に半導体基板138よりも高い屈折率若しくは低い屈折率の材料を埋め込むことでも実現することができる。
 さらに、図15には、半導体基板138の裏面(上面)側から形成された溝部141内に画素分離部140が設けられた、いわゆるRDTI(Reverse Deep Trench Isolation)構造の画素分離部140が例示されているが、これに限定されず、例えば、半導体基板138の表面(下面)側から形成された溝部内に画素分離部140が設けられた、いわゆるDTI(Deep Trench Isolation)構造や、半導体基板138の表裏面を貫通するように形成された溝部内に画素分離部140が設けられた、いわゆるFTI(Full Trench Isolation)構造など、種々の構造の画素分離部140を採用することが可能である。
3.5 1画素1ADCの例
 上記実施形態では、カラム信号処理回路70が、画素アレイ40の列の数に対応したAD変換器を有するカラムADCである例について説明した。ただし、固体撮像装置は、1画素1ADCの構成であってもよい。この場合、各画素に1つのAD変換器がそれぞれ設けられる。
4. 効果
 以上説明した固体撮像装置100は、例えば以下のように特定される。すなわち、固体撮像装置100は、画素アレイ40と、垂直駆動部50及び水平駆動部60と、カラム信号処理回路70及び信号処理回路93とを備える。画素アレイ40は、複数の単位画素400を備える。垂直駆動部50及び水平駆動部60は、複数の単位画素400それぞれを露光期間が揃うように駆動する駆動部である。カラム信号処理回路70及び信号処理回路93は、垂直駆動部50及び水平駆動部60による駆動に基づいて複数の単位画素400それぞれからVSL420に出力された画素信号を処理する信号処理回路である。複数の単位画素400の各々は、PD401と、第1転送トランジスタ405と、MEM402と、第2転送トランジスタ406と、FD403と、増幅トランジスタ407と、第1排出トランジスタ404と、第2排出トランジスタ410とを備える。PD401は、光電変換部である。第1転送トランジスタ405は、PD401に接続される。MEM402は、第1転送トランジスタ405を介してPD401に接続され、PD401で発生した信号電荷を保持するメモリ部である。第2転送トランジスタ406は、MEM402に接続される。FD403は、第2転送トランジスタ406を介してMEM402に接続され、MEM402から転送された電荷を蓄積する蓄積部である。増幅トランジスタ407は、FD403に蓄積された電荷に基づく電圧値の画素信号をVSL420に出現させる。第1排出トランジスタ404は、PD401に接続される。第2排出トランジスタ410は、PD401に接続される。
 上記の固体撮像装置100では、複数の単位画素400の各々がPD401に接続された第2排出トランジスタ410を備えているので、各単位画素400を、第2排出トランジスタ410によるリセットが行われずMEM402に信号電荷が保持される撮像用単位画素400-1と、第2排出トランジスタ410によるリセットが行われてMEM402にノイズ電荷が保持される寄生光検出単位画素400-2との間で任意に切替えることができる。この場合、撮像用単位画素400-1及び寄生光検出単位画素400-2の露光期間が同じにできるので、寄生光検出単位画素400-2によるノイズ電荷の取得と、撮像用単位画素400-1による信号電荷及びノイズ電荷の取得との間にタイムラグが生じない。したがって、タイムラグ間での被写体の位置、輝度の変化といったタイムラグに起因する問題も生じない。その分、ノイズ電荷の影響をより確実に低減することができる。
 ノイズ電荷の影響としては、例えばスミアの発生による画質の劣化が考えられる。ここで、スミアの原因となるノイズ電荷を検出するために、寄生光検出単位画素400-2の数を増やせば、スミアスミア検出精度は上昇するが、その分、撮像用画素の数が減り画質劣化の要因となる。この点、固体撮像装置100によれば、寄生光検出単位画素400-2の数を任意に選択することができるので、スミア検出精度と撮像用画素の減少とのトレードオフを解消することもできる。
 電子機器1は、固体撮像装置100が搭載された電子機器である。固体撮像装置100が搭載された電子機器1によれば、上述のようにノイズ電荷の影響の低減と、上述のスミア検出精度と撮像用画素の減少とのトレードオフの解消との両立が実現される。
 第2排出トランジスタ410は、PD401に対し、第1排出トランジスタ404と並列に接続されてよい。これにより、画素駆動に対してアクティブに動作する第1排出トランジスタ404に対して直列に第2排出トランジスタ410を設けた場合に生じる可能性のある回路動作にばらつきを低減することができる。
 単位画素400の各々は、PD401の露光期間中、第2転送トランジスタ406が導通状態にされる第1モードと、第2転送トランジスタ406が遮断状態にされる第2モードとを備えてよい。これにより、複数のモードを備える単位画素400を得ることができる。
 固体撮像装置100は、モード切替信号分配部80を備えてよい。モード切替信号分配部80は、複数の単位画素400の各々を、第1モードと第2モードとのいずれかで動作させるモード切替部である。これにより、複数の単位画素400の各々の動作モードを個別に切替えることができる。
 モード切替信号分配部80は、複数の単位画素400のうちの一部の単位画素400を第1モードで動作させ、他の単位画素400を第2モードで動作させてよい。これにより、第1モードで動作する撮像用単位画素400-1と、第2モードで動作する寄生光検出単位画素400-2との両方を備える画素アレイ40を得ることができる。
 固体撮像装置100は、前フレームの画素信号に基づいて高光量領域が存在するか否かを判定する判定部をさらに備えてよい。判定部は、例えば、信号処理回路93、信号処理回路93から処理結果を受けたモード判定回路92、外部の制御部やアプリケーションプロセッサ等によって実現されてよい。モード切替信号分配部80は、高光量領域が存在する場合、複数の単位画素400のうちの一部の単位画素を第1モードで動作させ、他の単位画素を第2モードで動作させ、高光量領域が存在しない場合、複数の単位画素400のすべての単位画素を第1モードで動作させてよい。これにより、ノイズ電荷の影響が大きくなる高輝度領域が存在する場合にのみ、ノイズ電荷の影響を低減するために第2モードの単位画素である寄生光検出単位画素400-2を用いることができる。
 複数の単位画素400の各々は、FD403に接続されたリセットトランジスタ409をさらに備えてよい。これにより、FD403をリセットすることができる。
 複数の単位画素400のうちの互いに隣接する単位画素400A及び単位画素400Bは、第1排出トランジスタ404ABを共有してよい。これにより、単位画素の構成要素数を削減することができる。
 PD401は、基板450に設けられてよい。基板450は、半導体基板であってよい。第1転送トランジスタ405、MEM402、第2転送トランジスタ406、FD403、増幅トランジスタ407、第1排出トランジスタ404及び第2排出トランジスタ410のうちの少なくとも1つは、基板450における光の入射面とは反対側の面に配置されてよい。これにより、単位画素400の構成要素の配置の自由度を高めることができる。
5. 移動体への応用例
 本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
 図16は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
 車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図16に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(Interface)12053が図示されている。
 駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
 ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
 車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
 撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
 車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
 マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
 また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
 また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切替える等の防眩を図ることを目的とした協調制御を行うことができる。
 音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図16の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
 図17は、撮像部12031の設置位置の例を示す図である。
 図17では、撮像部12031として、撮像部12101、12102、12103、12104、12105を有する。
 撮像部12101、12102、12103、12104、12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102、12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
 なお、図17には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
 撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
 例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
 例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
 撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
 以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031に適用され得る。撮像部12031に本開示に係る技術を適用することにより、より見やすい撮像画像を得ることができるため、ドライバの疲労を軽減することが可能になる。
6. 内視鏡手術システムへの応用例
 本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
 図18は、本開示に係る技術(本技術)が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
 図18では、術者(医師)11131が、内視鏡手術システム11000を用いて、患者ベッド11133上の患者11132に手術を行っている様子が図示されている。図示するように、内視鏡手術システム11000は、内視鏡11100と、気腹チューブ11111やエネルギー処置具11112等の、その他の術具11110と、内視鏡11100を支持する支持アーム装置11120と、内視鏡下手術のための各種の装置が搭載されたカート11200と、から構成される。
 内視鏡11100は、先端から所定の長さの領域が患者11132の体腔内に挿入される鏡筒11101と、鏡筒11101の基端に接続されるカメラヘッド11102と、から構成される。図示する例では、硬性の鏡筒11101を有するいわゆる硬性鏡として構成される内視鏡11100を図示しているが、内視鏡11100は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
 鏡筒11101の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡11100には光源装置11203が接続されており、当該光源装置11203によって生成された光が、鏡筒11101の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者11132の体腔内の観察対象に向かって照射される。なお、内視鏡11100は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
 カメラヘッド11102の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU: Camera Control Unit)11201に送信される。
 CCU11201は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡11100及び表示装置11202の動作を統括的に制御する。さらに、CCU11201は、カメラヘッド11102から画像信号を受け取り、その画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
 表示装置11202は、CCU11201からの制御により、当該CCU11201によって画像処理が施された画像信号に基づく画像を表示する。
 光源装置11203は、例えばLED(light emitting diode)等の光源から構成され、術部等を撮影する際の照射光を内視鏡11100に供給する。
 入力装置11204は、内視鏡手術システム11000に対する入力インタフェースである。ユーザは、入力装置11204を介して、内視鏡手術システム11000に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡11100による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示等を入力する。
 処置具制御装置11205は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具11112の駆動を制御する。気腹装置11206は、内視鏡11100による視野の確保及び術者の作業空間の確保の目的で、患者11132の体腔を膨らめるために、気腹チューブ11111を介して当該体腔内にガスを送り込む。レコーダ11207は、手術に関する各種の情報を記録可能な装置である。プリンタ11208は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
 なお、内視鏡11100に術部を撮影する際の照射光を供給する光源装置11203は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置11203において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド11102の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
 また、光源装置11203は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド11102の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
 また、光源装置11203は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置11203は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
 図19は、図18に示すカメラヘッド11102及びCCU11201の機能構成の一例を示すブロック図である。
 カメラヘッド11102は、レンズユニット11401と、撮像部11402と、駆動部11403と、通信部11404と、カメラヘッド制御部11405と、を有する。CCU11201は、通信部11411と、画像処理部11412と、制御部11413と、を有する。カメラヘッド11102とCCU11201とは、伝送ケーブル11400によって互いに通信可能に接続されている。
 レンズユニット11401は、鏡筒11101との接続部に設けられる光学系である。鏡筒11101の先端から取り込まれた観察光は、カメラヘッド11102まで導光され、当該レンズユニット11401に入射する。レンズユニット11401は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
 撮像部11402を構成する撮像素子は、1つ(いわゆる単板式)であってもよいし、複数(いわゆる多板式)であってもよい。撮像部11402が多板式で構成される場合には、例えば各撮像素子によってRGBそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部11402は、3D(dimensional)表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成されてもよい。3D表示が行われることにより、術者11131は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部11402が多板式で構成される場合には、各撮像素子に対応して、レンズユニット11401も複数系統設けられ得る。
 また、撮像部11402は、必ずしもカメラヘッド11102に設けられなくてもよい。例えば、撮像部11402は、鏡筒11101の内部に、対物レンズの直後に設けられてもよい。
 駆動部11403は、アクチュエータによって構成され、カメラヘッド制御部11405からの制御により、レンズユニット11401のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部11402による撮像画像の倍率及び焦点が適宜調整され得る。
 通信部11404は、CCU11201との間で各種の情報を送受信するための通信装置によって構成される。通信部11404は、撮像部11402から得た画像信号をRAWデータとして伝送ケーブル11400を介してCCU11201に送信する。
 また、通信部11404は、CCU11201から、カメラヘッド11102の駆動を制御するための制御信号を受信し、カメラヘッド制御部11405に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
 なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてCCU11201の制御部11413によって自動的に設定されてもよい。後者の場合には、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡11100に搭載されていることになる。
 カメラヘッド制御部11405は、通信部11404を介して受信したCCU11201からの制御信号に基づいて、カメラヘッド11102の駆動を制御する。
 通信部11411は、カメラヘッド11102との間で各種の情報を送受信するための通信装置によって構成される。通信部11411は、カメラヘッド11102から、伝送ケーブル11400を介して送信される画像信号を受信する。
 また、通信部11411は、カメラヘッド11102に対して、カメラヘッド11102の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
 画像処理部11412は、カメラヘッド11102から送信されたRAWデータである画像信号に対して各種の画像処理を施す。
 制御部11413は、内視鏡11100による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部11413は、カメラヘッド11102の駆動を制御するための制御信号を生成する。
 また、制御部11413は、画像処理部11412によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置11202に表示させる。この際、制御部11413は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部11413は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具11112の使用時のミスト等を認識することができる。制御部11413は、表示装置11202に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者11131に提示されることにより、術者11131の負担を軽減することや、術者11131が確実に手術を進めることが可能になる。
 カメラヘッド11102及びCCU11201を接続する伝送ケーブル11400は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
 ここで、図示する例では、伝送ケーブル11400を用いて有線で通信が行われていたが、カメラヘッド11102とCCU11201との間の通信は無線で行われてもよい。
 以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、カメラヘッド11102の撮像部11402)に適用され得る。カメラヘッド11102に本開示に係る技術を適用することにより、より鮮明な術部画像を得ることができるため、術者が術部を確実に確認することが可能になる。
 なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
 なお、本開示に記載された効果は、あくまで例示であって、開示された内容に限定されない。他の効果があってもよい。
 以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
 また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
 なお、本技術は以下のような構成も取ることができる。
(1)
 複数の単位画素を備える画素アレイと、
 前記複数の単位画素それぞれを露光期間が揃うように駆動する駆動部と、
 前記駆動部による駆動に基づいて前記複数の単位画素それぞれから信号線に出力された画素信号を処理する信号処理回路と、
 を備え、
 前記複数の単位画素の各々は、
  光電変換部と、
  前記光電変換部に接続された第1転送トランジスタと、
  前記第1転送トランジスタを介して前記光電変換部に接続され、前記光電変換部で発生した信号電荷を保持するメモリ部と、
  前記メモリ部に接続された第2転送トランジスタと、
  前記第2転送トランジスタを介して前記メモリ部に接続され、前記メモリ部から転送された電荷を蓄積する蓄積部と、
  前記蓄積部に蓄積された電荷に基づく電圧値の画素信号を信号線に出現させる増幅トランジスタと、
  前記光電変換部に接続された第1排出トランジスタと、
  前記光電変換部に接続された第2排出トランジスタと、
 を備える、固体撮像装置。
(2)
 前記第2排出トランジスタは、前記光電変換部に対し、前記第1排出トランジスタと並列に接続される、
 前記(1)に記載の固体撮像装置。
(3)
 前記単位画素の各々は、前記光電変換部の露光期間中、前記第2排出トランジスタが導通状態にされる第1モードと、前記第2排出トランジスタが遮断状態にされる第2モードとを備える、
 前記(1)又は(2)に記載の固体撮像装置。
(4)
 前記複数の単位画素の各々を、前記第1モードと前記第2モードとのいずれかで動作させるモード切替部をさらに備える、
 前記(3)に記載の固体撮像装置。
(5)
 前記モード切替部は、前記複数の単位画素のうちの一部の単位画素を前記第1モードで動作させ、他の単位画素を前記第2モードで動作させる、
 前記(4)に記載の固体撮像装置。
(6)
 前フレームの画素信号に基づいて高光量領域が存在するか否かを判定する判定部をさらに備え、
 前記モード切替部は、
  前記高光量領域が存在する場合、前記複数の単位画素のうちの一部の単位画素を前記第1モードで動作させ、他の単位画素を前記第2モードで動作させ、
  前記高光量領域が存在しない場合、前記複数の単位画素のすべての単位画素を第1モードで動作させる、
 前記(4)又は(5)に記載の固体撮像装置。
(7)
 前記複数の単位画素の各々は、前記蓄積部に接続されたリセットトランジスタをさらに備える、
 前記(1)~(6)のいずれか1項に記載の固体撮像装置。
(8)
 前記複数の単位画素のうちの互いに隣接する単位画素は、前記第1排出トランジスタを共有する、
 前記(1)~(7)のいずれか1項に記載の固体撮像装置。
(9)
 前記光電変換部は、半導体基板に設けられ、
 前記第1転送トランジスタ、前記メモリ部、前記第2転送トランジスタ、前記蓄積部、前記増幅トランジスタ、前記第1排出トランジスタ及び前記第2排出トランジスタのうちの少なくとも1つは、前記半導体基板における光の入射面とは反対側の面に配置されている、
 前記(1)~(8)のいずれか一項に記載の固体撮像装置。
(10)
 固体撮像装置が搭載された電子機器であって、
 前記固体撮像装置は、
  複数の単位画素を備える画素アレイと、
  前記複数の単位画素それぞれを露光期間が揃うように駆動する駆動部と、
  前記駆動部による駆動に基づいて前記複数の単位画素それぞれから信号線に出力された画素信号を処理する信号処理回路と、
 を備え、
 前記複数の単位画素の各々は、
  光電変換部と、
  前記光電変換部に接続された第1転送トランジスタと、
  前記第1転送トランジスタを介して前記光電変換部に接続され、前記光電変換部で発生した信号電荷を保持するメモリ部と、
  前記メモリ部に接続された第2転送トランジスタと、
  前記第2転送トランジスタを介して前記メモリ部に接続され、前記メモリ部から転送された電荷を蓄積する蓄積部と、
  前記蓄積部に蓄積された電荷に基づく電圧値の画素信号を信号線に出現させる増幅トランジスタと、
  前記光電変換部に接続された第1排出トランジスタと、
  前記光電変換部に接続された第2排出トランジスタと、
 を備える、電子機器。
   1 電子機器
  10 撮像レンズ
  20 プロセッサ
  30 記憶部
  40 画素アレイ
  50 垂直駆動部
  60 水平駆動部
  70 カラム信号処理回路
  80 モード切替信号分配部
  90 ロジック回路
  91 駆動制御部
  92 モード判定回路
  93 信号処理回路
  93a 補間回路
  93b 偽信号推定回路
  93c 減算回路
  93d 分離回路
 100 固体撮像装置
 400 単位画素
 401 PD(フォトダイオード)
 402 MEM(メモリ)
 403 FD(フローティングディフュージョン)
 404 第1排出トランジスタ
 405 第1転送トランジスタ
 406 第2転送トランジスタ
 407 増幅トランジスタ
 408 選択トランジスタ
 409 リセットトランジスタ
 410 第2排出トランジスタ
 420 VSL
 450 基板
 460 読出し回路

Claims (10)

  1.  複数の単位画素を備える画素アレイと、
     前記複数の単位画素それぞれを露光期間が揃うように駆動する駆動部と、
     前記駆動部による駆動に基づいて前記複数の単位画素それぞれから信号線に出力された画素信号を処理する信号処理回路と、
     を備え、
     前記複数の単位画素の各々は、
      光電変換部と、
      前記光電変換部に接続された第1転送トランジスタと、
      前記第1転送トランジスタを介して前記光電変換部に接続され、前記光電変換部で発生した信号電荷を保持するメモリ部と、
      前記メモリ部に接続された第2転送トランジスタと、
      前記第2転送トランジスタを介して前記メモリ部に接続され、前記メモリ部から転送された電荷を蓄積する蓄積部と、
      前記蓄積部に蓄積された電荷に基づく電圧値の画素信号を信号線に出現させる増幅トランジスタと、
      前記光電変換部に接続された第1排出トランジスタと、
      前記光電変換部に接続された第2排出トランジスタと、
     を備える、固体撮像装置。
  2.  前記第2排出トランジスタは、前記光電変換部に対し、前記第1排出トランジスタと並列に接続される、
     請求項1に記載の固体撮像装置。
  3.  前記単位画素の各々は、前記光電変換部の露光期間中、前記第2排出トランジスタが導通状態にされる第1モードと、前記第2排出トランジスタが遮断状態にされる第2モードとを備える、
     請求項1に記載の固体撮像装置。
  4.  前記複数の単位画素の各々を、前記第1モードと前記第2モードとのいずれかで動作させるモード切替部をさらに備える、
     請求項3に記載の固体撮像装置。
  5.  前記モード切替部は、前記複数の単位画素のうちの一部の単位画素を前記第1モードで動作させ、他の単位画素を前記第2モードで動作させる、
     請求項4に記載の固体撮像装置。
  6.  前フレームの画素信号に基づいて高光量領域が存在するか否かを判定する判定部をさらに備え、
     前記モード切替部は、
      前記高光量領域が存在する場合、前記複数の単位画素のうちの一部の単位画素を前記第1モードで動作させ、他の単位画素を前記第2モードで動作させ、
      前記高光量領域が存在しない場合、前記複数の単位画素のすべての単位画素を第1モードで動作させる、
     請求項4に記載の固体撮像装置。
  7.  前記複数の単位画素の各々は、前記蓄積部に接続されたリセットトランジスタをさらに備える、
     請求項1に記載の固体撮像装置。
  8.  前記複数の単位画素のうちの互いに隣接する単位画素は、前記第1排出トランジスタを共有する、
     請求項1に記載の固体撮像装置。
  9.  前記光電変換部は、半導体基板に設けられ、
     前記第1転送トランジスタ、前記メモリ部、前記第2転送トランジスタ、前記蓄積部、前記増幅トランジスタ、前記第1排出トランジスタ及び前記第2排出トランジスタのうちの少なくとも1つは、前記半導体基板における光の入射面とは反対側の面に配置されている、
     請求項1に記載の固体撮像装置。
  10.  固体撮像装置が搭載された電子機器であって、
     前記固体撮像装置は、
      複数の単位画素を備える画素アレイと、
      前記複数の単位画素それぞれを露光期間が揃うように駆動する駆動部と、
      前記駆動部による駆動に基づいて前記複数の単位画素それぞれから信号線に出力された画素信号を処理する信号処理回路と、
     を備え、
     前記複数の単位画素の各々は、
      光電変換部と、
      前記光電変換部に接続された第1転送トランジスタと、
      前記第1転送トランジスタを介して前記光電変換部に接続され、前記光電変換部で発生した信号電荷を保持するメモリ部と、
      前記メモリ部に接続された第2転送トランジスタと、
      前記第2転送トランジスタを介して前記メモリ部に接続され、前記メモリ部から転送された電荷を蓄積する蓄積部と、
      前記蓄積部に蓄積された電荷に基づく電圧値の画素信号を信号線に出現させる増幅トランジスタと、
      前記光電変換部に接続された第1排出トランジスタと、
      前記光電変換部に接続された第2排出トランジスタと、
     を備える、電子機器。
PCT/JP2021/002122 2020-01-31 2021-01-22 固体撮像装置及び電子機器 WO2021153429A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020015755A JP2021125716A (ja) 2020-01-31 2020-01-31 固体撮像装置及び電子機器
JP2020-015755 2020-01-31

Publications (1)

Publication Number Publication Date
WO2021153429A1 true WO2021153429A1 (ja) 2021-08-05

Family

ID=77079746

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/002122 WO2021153429A1 (ja) 2020-01-31 2021-01-22 固体撮像装置及び電子機器

Country Status (2)

Country Link
JP (1) JP2021125716A (ja)
WO (1) WO2021153429A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023092248A1 (en) * 2021-11-23 2023-06-01 Huawei Technologies Co.,Ltd. Solid-state imaging device having tunable conversion gain, driving method, and electronic device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014011718A (ja) * 2012-07-02 2014-01-20 Sony Corp 信号処理装置、信号処理方法、及び、プログラム
WO2016002382A1 (ja) * 2014-07-04 2016-01-07 シャープ株式会社 固体撮像素子及び電子情報機器
JP2017118265A (ja) * 2015-12-22 2017-06-29 キヤノン株式会社 撮像装置
JP2019201335A (ja) * 2018-05-17 2019-11-21 キヤノン株式会社 撮像装置及び撮像システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014011718A (ja) * 2012-07-02 2014-01-20 Sony Corp 信号処理装置、信号処理方法、及び、プログラム
WO2016002382A1 (ja) * 2014-07-04 2016-01-07 シャープ株式会社 固体撮像素子及び電子情報機器
JP2017118265A (ja) * 2015-12-22 2017-06-29 キヤノン株式会社 撮像装置
JP2019201335A (ja) * 2018-05-17 2019-11-21 キヤノン株式会社 撮像装置及び撮像システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023092248A1 (en) * 2021-11-23 2023-06-01 Huawei Technologies Co.,Ltd. Solid-state imaging device having tunable conversion gain, driving method, and electronic device

Also Published As

Publication number Publication date
JP2021125716A (ja) 2021-08-30

Similar Documents

Publication Publication Date Title
CN115528056B (zh) 光检测设备和电子装置
US11923387B2 (en) Imaging device and electronic apparatus
WO2021235101A1 (ja) 固体撮像装置
WO2021124975A1 (ja) 固体撮像装置および電子機器
EP4160685A1 (en) Imaging element and imaging device
WO2021100332A1 (ja) 半導体装置、固体撮像装置及び電子機器
US20240006443A1 (en) Solid-state imaging device, imaging device, and electronic apparatus
WO2021153429A1 (ja) 固体撮像装置及び電子機器
WO2019181466A1 (ja) 撮像素子、電子機器
CN114586156A (zh) 摄像装置
WO2022172711A1 (ja) 光電変換素子および電子機器
WO2022009627A1 (ja) 固体撮像装置および電子機器
US20230005993A1 (en) Solid-state imaging element
WO2023058352A1 (ja) 固体撮像装置
WO2024057814A1 (ja) 光検出装置および電子機器
WO2024084991A1 (en) Photodetector, electronic apparatus, and optical element
TWI840384B (zh) 攝像裝置及電子機器
WO2024095832A1 (en) Photodetector, electronic apparatus, and optical element
WO2024057805A1 (ja) 撮像素子および電子機器
WO2021187151A1 (ja) 撮像素子、半導体チップ
WO2021215299A1 (ja) 撮像素子および撮像装置
WO2021166672A1 (ja) 撮像装置、電子機器
JP2023027455A (ja) 撮像素子、撮像装置、製造方法
JP2021072397A (ja) 固体撮像装置及び電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21747479

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21747479

Country of ref document: EP

Kind code of ref document: A1