WO2022201874A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2022201874A1
WO2022201874A1 PCT/JP2022/003761 JP2022003761W WO2022201874A1 WO 2022201874 A1 WO2022201874 A1 WO 2022201874A1 JP 2022003761 W JP2022003761 W JP 2022003761W WO 2022201874 A1 WO2022201874 A1 WO 2022201874A1
Authority
WO
WIPO (PCT)
Prior art keywords
charge storage
changeover switch
storage unit
imaging device
charge
Prior art date
Application number
PCT/JP2022/003761
Other languages
English (en)
French (fr)
Inventor
雄介 大塚
健市 奥村
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US18/550,402 priority Critical patent/US20240163585A1/en
Publication of WO2022201874A1 publication Critical patent/WO2022201874A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Definitions

  • the present disclosure relates to imaging devices.
  • An imaging device generally includes a photoelectric conversion element and a readout circuit (ROIC: Readout Integrated Circuit) that reads electric charges from the photoelectric conversion element.
  • the readout circuit is provided with a charge storage unit that stores charges read from the photoelectric conversion element.
  • the conversion efficiency which indicates the voltage of the output signal per electron, depends on the capacity of the charge storage section.
  • the conversion efficiency is also fixed. In this case, for example, since the conversion efficiency cannot be changed according to the charge amount from the photoelectric conversion element, it is difficult to expand the dynamic range.
  • the present disclosure provides an imaging device capable of expanding the dynamic range.
  • An imaging device includes a photoelectric conversion element provided in each of a plurality of pixels, a first charge storage unit connected to the photoelectric conversion element, and a first charge storage unit connected in parallel. a second charge storage unit, a reset transistor for resetting the potential of the second charge storage unit, a transfer transistor arranged between the first charge storage unit and the second charge storage unit, and a first charge storage unit a third charge storage unit connected in parallel; a switch;
  • the first changeover switch may switch whether to connect the third charge storage unit to the photoelectric conversion element according to the amount of light incident on the photoelectric conversion element.
  • the first changeover switch may be turned off when the amount of light is smaller than a reference value, and turned on when the amount of light is larger than the reference value.
  • a second changeover switch respectively connected to the reset transistor and the second charge storage unit; a fourth charge storage section disposed between the reset transistor and the second changeover switch or connected in parallel with the second charge storage section via the second changeover switch;
  • the second changeover switch may switch whether to connect the fourth charge storage unit to the second charge storage unit in synchronization with the first changeover switch.
  • the sum of the capacities of the first charge storage section and the third charge storage section may be equal to the sum of the capacities of the second charge storage section and the fourth charge storage section.
  • the reset transistor, the transfer transistor, the first changeover switch, and the second changeover switch may be P-channel MOS transistors.
  • the selection transistor may be turned on while the first changeover switch is maintained in the off state, and then the selection transistor may be turned on again after the first changeover switch is switched from the off state to the on state.
  • the capacity of the third charge storage section may be larger than the capacity of the first charge storage section.
  • an overflow gate transistor for discharging the charge accumulated in the third charge accumulation section may be further provided.
  • the reset transistor, the transfer transistor, and the first changeover switch may be P-channel MOS transistors.
  • a third changeover switch may be further provided for switching between connecting or not connecting the second charge accumulating portions respectively provided in adjacent pixels adjacent to each other among the plurality of pixels.
  • the third changeover switch when the adjacent pixels among the plurality of pixels are added, the third changeover switch is always on, and when the adjacent pixels are not added, the third changeover switch is always off.
  • FIG. 1 is a block diagram showing an example of the configuration of an imaging device according to a first embodiment
  • FIG. 2 is a circuit diagram showing the configuration of a pixel according to the first embodiment
  • FIG. 4 is a timing chart showing an example of readout operation of the pixel circuit according to the first embodiment
  • 4 is a timing chart showing another example of the readout operation of the pixel circuit according to the first embodiment
  • FIG. 11 is a circuit diagram showing the configuration of a pixel according to a first modified example
  • 9 is a timing chart showing an example of readout operation of the pixel circuit according to the first modified example
  • FIG. 11 is a circuit diagram showing the configuration of a pixel according to a second modified example
  • FIG. 11 is a timing chart showing an example of readout operation of the pixel circuit according to the second modified example;
  • FIG. FIG. 11 is a circuit diagram showing the configuration of a pixel according to a third modified example;
  • FIG. 11 is a circuit diagram showing a configuration of a pixel according to a fourth modified example;
  • FIG. 11 is a circuit diagram showing a configuration of a pixel according to a fourth modified example;
  • FIG. 11 is a circuit diagram showing a configuration of a pixel according to a fourth modified example;
  • FIG. 16 is a timing chart showing an example of readout operation of the pixel circuit according to the fourth modified example;
  • FIG. FIG. 7 is a circuit diagram showing the configuration of a pixel according to the second embodiment;
  • FIG. 7 is a circuit diagram showing the configuration of a pixel according to the second embodiment; 9 is a timing chart showing an example of readout operation of the pixel circuit according to the second embodiment;
  • FIG. 12 is a circuit diagram showing the configuration of a pixel according to a fifth modified example;
  • FIG. 12 is a circuit diagram showing the configuration of a pixel according to a fifth modified example;
  • FIG. 12 is a circuit diagram showing the configuration of a pixel according to a sixth modified example;
  • FIG. 12 is a circuit diagram showing the configuration of a pixel according to a sixth modified example;
  • FIG. 14 is a circuit diagram showing a configuration of a pixel according to a seventh modified example;
  • FIG. 14 is a circuit diagram showing a configuration of a pixel according to a seventh modified example;
  • FIG. 14 is a circuit diagram showing a configuration of a pixel according to a seventh modified example;
  • FIG. 14 is a circuit diagram showing a configuration of a pixel according to a
  • FIG. 12 is a circuit diagram showing the configuration of a pixel according to a sixth modified example;
  • FIG. 12 is a circuit diagram showing the configuration of a pixel according to a sixth modified example;
  • It is a functional block diagram showing an example of an electronic device.
  • 1 is a block diagram showing an example of a schematic configuration of an in-vivo information acquisition system;
  • FIG. 1 is a diagram showing an example of a schematic configuration of an endoscopic surgery system;
  • FIG. 3 is a block diagram showing an example of functional configurations of a camera head and a CCU;
  • FIG. 1 is a block diagram showing an example of a schematic configuration of a vehicle control system;
  • FIG. FIG. 4 is an explanatory diagram showing an example of installation positions of an outside information detection unit and an imaging unit;
  • FIG. 1 is a block diagram showing an example of the configuration of an imaging device according to the first embodiment.
  • the imaging device 1 shown in FIG. 1 is, for example, an infrared image sensor, and has sensitivity to light with a wavelength of 800 nm or more, for example.
  • the imaging device 1 is provided with, for example, a rectangular pixel region 10P and an extra-pixel region 10B outside the pixel region 10P.
  • a peripheral circuit for driving the pixel region 10P is provided in the non-pixel region 10B.
  • a plurality of pixels P are two-dimensionally arranged in the pixel region 10P of the imaging device 1 .
  • Peripheral circuits provided in the extra-pixel region 10B include, for example, a row scanning section 201, a horizontal selection section 203, a column scanning section 204, and a system control section 202.
  • FIG. 1 A plurality of pixels P are two-dimensionally arranged in the pixel region 10P of the imaging device 1 .
  • Peripheral circuits provided in the extra-pixel region 10B include, for example, a row scanning section 201, a horizontal selection section 203, a column scanning section 204, and a system control section 202.
  • the row scanning unit 201 is a pixel driving unit configured by shift registers, address decoders, etc., and drives each pixel P, for example, in units of rows.
  • a pixel signal output from each pixel P in a pixel row selectively scanned by the row scanning unit 201 is supplied to the horizontal selection unit 203 through each vertical signal line Lsig.
  • the horizontal selection unit 203 includes an amplifier, a horizontal selection switch, and the like provided for each vertical signal line Lsig.
  • the column scanning unit 204 is composed of a shift register, an address decoder, etc., and sequentially drives the horizontal selection switches of the horizontal selection unit 203 while scanning them. By selective scanning by the column scanning unit 204, the pixel signals of each pixel transmitted through each of the vertical signal lines Lsig are sequentially output to the horizontal signal lines. After that, the pixel signal is input to a signal processing section (not shown) or the like through a horizontal signal line.
  • the system control unit 202 receives a clock given from the outside, data instructing an operation mode, etc., and outputs data such as internal information of the imaging device 1 .
  • the system control unit 202 further has a timing generator that generates various timing signals, and controls the row scanning unit 201, horizontal selection unit 203, column scanning unit 204, etc. based on the various timing signals generated by the timing generator. Drive control.
  • FIG. 2 is a circuit diagram showing the configuration of the pixel P.
  • FIG. A pixel P has a photoelectric conversion element 10 and a pixel circuit 20 .
  • the photoelectric conversion element 10 is arranged on one semiconductor substrate, and the pixel circuit 20 is arranged on another semiconductor substrate stacked under the one semiconductor substrate.
  • the photoelectric conversion element 10 is, for example, a photodiode that photoelectrically converts incident light having a wavelength in the infrared region.
  • a photoelectric conversion film (not shown) is provided between an anode electrode and a cathode electrode.
  • This photoelectric conversion film is made of, for example, a compound semiconductor material such as a III-V group semiconductor, and photoelectrically converts light with wavelengths from the visible region to the short infrared region.
  • Compound semiconductor materials constituting the photoelectric conversion element 10 include, for example, InGaAs (indium gallium arsenide), InAsSb (indium arsenide antimony), GaAsSb (gallium arsenide antimony), InAs (indium arsenide), InSb (indium antimonide), and HgCdTe. (mercury-cadmium-tellurium) or the like can be used.
  • the photoelectric conversion film may be made of Ge (germanium).
  • the photoelectric conversion film may be made of a semiconductor material having a Type II structure.
  • the pixel circuit 20 is an example of a readout circuit that reads out the charge of the photoelectric conversion element 10 .
  • the pixel circuit 20 includes a first charge storage unit (SN1) 21, a transfer transistor (TRG) 22, a second charge storage unit (FD1) 23, a reset transistor (RST) 24, and an amplification transistor (AMP) 25. , a selection transistor (SEL) 26 , a switch 27 , and a third charge storage section 28 .
  • the first charge storage unit 21 is composed of a capacitor that temporarily holds the charge photoelectrically converted by the photoelectric conversion element 10 .
  • One end of the first charge storage unit 21 is connected to the anode electrode of the photoelectric conversion element 10 and the source of the transfer transistor 22 .
  • the other end of the first charge storage section 21 is grounded.
  • the drain of the transfer transistor 22 is connected to the second charge storage section 23 . That is, the transfer transistor 22 is arranged between the first charge storage section 21 and the second charge storage section 23 .
  • the transfer transistor 22 is turned on and off based on a transfer signal input to the gate from the row scanning section 201 . When the transfer transistor 22 is turned on, the charges accumulated in the first charge accumulation section 21 are transferred to the second charge accumulation section 23 via the transfer transistor 22 .
  • the second charge storage section 23 is a floating diffusion that stores charges transferred from the first charge storage section 21 .
  • One end of the second charge storage unit 23 is connected to the drain of the transfer transistor, the source of the reset transistor 24 and the gate of the amplification transistor 25 .
  • the other end of the second charge storage section 23 is grounded.
  • the drain of the reset transistor 24 is connected to the power supply VDD.
  • the reset transistor 24 is turned on and off based on a reset signal input to its gate from the row scanning section 201 .
  • the reset potential VRST is applied to the second charge storage section 23 .
  • the reset potential VRST causes the potential of the second charge storage section 23 to be in an initial state (reset state).
  • the amplification transistor 25 has a gate connected to the second charge storage unit 23 , a drain connected to the power supply VDD, and a source connected to the drain of the selection transistor 26 .
  • the amplification transistor 25 constitutes a load MOS (Metal Oxide Semiconductor) as a constant current source and a source follower circuit connected via a vertical signal line Lsig.
  • the amplification transistor 25 generates a pixel signal according to the charge amount accumulated in the second charge accumulation section 23 .
  • the source of the selection transistor 26 is connected to the vertical signal line Lsig.
  • the selection transistor 26 is turned on and off based on a selection signal input to the gate from the row scanning section 201 .
  • the selection transistor 26 is turned on, the pixel signal generated by the amplification transistor 25 is output to the horizontal selection section 203 via the vertical signal line Lsig.
  • the changeover switch 27 corresponds to the first changeover switch and is composed of an N-channel MOS transistor.
  • the switch 27 has a drain connected to one end of the first charge storage section 21 and a source connected to one end of the third charge storage section 28 . That is, the changeover switch 27 is arranged between the first charge storage section 21 and the third charge storage section 28 .
  • the changeover switch 27 is turned on and off based on a control signal input to the gate from the row scanning section 201 . When the changeover switch 27 is turned on, the charges photoelectrically converted by the photoelectric conversion element 10 are accumulated in the third charge accumulation section 28 via the changeover switch 27 .
  • the third charge storage unit 28 is composed of a capacitor that temporarily holds the charge photoelectrically converted by the photoelectric conversion element 10 .
  • the other end of the third charge storage section 28 is grounded.
  • the conversion efficiency changes depending on whether or not the switch 27 connects the third charge storage section 28 to the photoelectric conversion element 10 .
  • changeover switch 27 When changeover switch 27 is turned on, conversion efficiency decreases. Conversely, when the changeover switch 27 is turned off, the conversion efficiency increases.
  • Equation (1) q is the charge amount of the photoelectric conversion element 10 .
  • C sn1 , C sn2 , and C fd1 are the capacitances of the first charge storage section 21, the third charge storage section 28, and the second charge storage section 23, respectively.
  • the conversion efficiency (Low) depends on the capacitance of each of the first charge storage section 21, the second charge storage section 23, and the third charge storage section .
  • the capacitance Csn2 of the third charge storage section 28 increases, the saturation signal amount also increases. Therefore, it is desirable that the capacitance C sn2 of the third charge storage section 28 is larger than the capacitance C sn1 of the first charge storage section 21 .
  • the read noise depends on the balance between the sum of the capacitances C sn1 and C sn2 and the capacitance C fd1 .
  • the added value is equal to the capacitance Cfd1 .
  • the readout noise is, for example, input conversion random noise (RN) in DDS (Double Delta Sampling) driving, in other words, kT/C noise.
  • RN input conversion random noise
  • DDS Double Delta Sampling
  • FIG. 3 is a timing chart showing an example of the readout operation of the pixel circuit 20.
  • the conversion efficiency (Low) is set. Therefore, the changeover switch 27 (SNG) is always on regardless of the D phase (Data Phase) and P phase (Reset Phase).
  • the reset transistor 24 (RST), the transfer transistor 22 (TRG), and the select transistor 26 (SEL) are off during the charge accumulation time from time t1 to time t2. Therefore, the charges photoelectrically converted by the photoelectric conversion element 10 are accumulated in the first charge accumulation section 21 and the third charge accumulation section 28 .
  • the transfer transistor 22 switches from the off state to the on state within the time from time t2 to time t3.
  • the charges accumulated in the first charge accumulation section 21 and the third charge accumulation section 28 are transferred to the second charge accumulation section 23 and amplified as pixel signals by the amplification transistor 25 .
  • the selection transistor 26 is turned on. Thereby, the pixel signal is output to the vertical signal line Lsig.
  • the selection transistor 26 is turned off during the time from time t3 to time t4. Subsequently, the reset transistor 24, the transfer transistor 22, and the select transistor 26 are simultaneously switched from the off state to the on state. As a result, the charges remaining in the second charge storage section 23 are discharged via the reset transistor 24, so that the second charge storage section 23 is reset to the initial state. After that, the above operation is repeated again.
  • the changeover switch 27 (SNG) is always off regardless of the D phase (Data Phase) and P phase (Reset Phase). Further, by adjusting the pulse timing of the signal input to the gate of each transistor, the pixel region 10P can be driven by a global shutter method in which all the pixels P accumulate (expose) charges at the same timing. It is also possible to drive by a rolling shutter method in which each pixel P accumulates charges at different timings.
  • FIG. 4 is a timing chart showing another example of the readout operation of the pixel circuit 20.
  • FIG. Here, points different from the timing chart shown in FIG. 3 will be described.
  • charges set to the conversion efficiency (Hi) and charges set to the conversion efficiency (Low) are read at different times.
  • the selection transistor 26 is turned on again after the changeover switch 27 is switched from the off state to the on state, so the charge set to the conversion efficiency (Low) is read.
  • the charge set to the conversion efficiency (Hi) and the charge set to the conversion efficiency (Low) can be read out simultaneously in one exposure.
  • the dynamic range can be expanded with one exposure.
  • the pixel circuit 20 is provided with the changeover switch 27 and the third charge accumulation section 28 . Therefore, by switching ON and OFF of the changeover switch 27 according to the illuminance condition, the capacitance of the entire charge storage section in the pixel circuit 20 changes. Since this also changes the conversion efficiency, it is possible to expand the dynamic range.
  • the illuminance conditions may differ for each pixel P within the pixel region 10P. Therefore, in the pixel region 10P, there are pixels P for which the changeover switch 27 is turned on (set to conversion efficiency (Low)) and pixels P for which the changeover switch 27 is turned off (set to conversion efficiency (Hi)). , may be mixed. In this case, the conversion rate can be optimized for each pixel P.
  • FIG. 5 is a circuit diagram showing the configuration of a pixel according to the first modified example. Also, FIG. 6 is a timing chart showing an example of the readout operation of the pixel circuit according to the first modification.
  • the pixel circuit 20a further includes an overflow gate (OFG) transistor 29 in addition to the components of the pixel circuit 20 described above.
  • Overflow gate transistor 29 is composed of an N-channel MOS transistor.
  • the overflow gate transistor 29 has a drain connected to the source of the switch 27 and one end of the third charge storage section 28, and a source connected to the power supply VDD.
  • the overflow gate transistor 29 is turned on and off based on the discharge signal input to the gate from the row scanning section 201 .
  • the overflow gate transistor 29 changes from the off state to the Switch to ON state.
  • the charges remaining in the third charge storage section 28 are discharged to the power supply VDD via the overflow gate transistor 29 .
  • the pixel circuit 20a has the overflow gate transistor 29, so that the charge remaining in the third charge storage section 28 can be discharged. Thereby, blooming to other pixels P can be suppressed.
  • FIG. 7 is a circuit diagram showing the configuration of a pixel according to the second modification. Also, FIG. 8 is a timing chart showing an example of the readout operation of the pixel circuit according to the second modification.
  • the transfer transistor 22, the reset transistor 24, and the changeover switch 27 are all composed of N-channel MOS transistors.
  • the transfer transistor 22, the reset transistor 24, and the changeover switch 27 are all composed of P-channel MOS transistors.
  • the conductivity types of the transfer transistor 22, the reset transistor 24, and the changeover switch 27 are opposite to those in the first embodiment. Therefore, in this modification, as shown in FIG. 8, the signal level input to the gate of each transistor is opposite to that in the first embodiment.
  • the transfer transistor 22, the reset transistor 24, and the switch 27 are all composed of P-channel MOS transistors. Therefore, the readout of the signal charge from the photoelectric conversion element 10 is the readout of the hole, which is the positive charge. In this case, charges are less likely to overflow from the first charge storage section 21, the second charge storage section 23, and the third charge storage section 28 compared to the case where these transistors are N-channel MOS transistors. Therefore, this modification can also suppress blooming between pixels P adjacent to each other.
  • FIG. 9 is a circuit diagram showing the configuration of a pixel according to the third modification.
  • a pixel circuit 20c shown in FIG. 9 is further provided with the overflow gate transistor 29 described in the first modification in addition to the components of the pixel circuit 20b in the second modification described above.
  • the overflow gate transistor 29 is composed of a P-channel MOS transistor.
  • a pixel circuit 20c according to this modified example has a configuration in which the first modified example and the second modified example are combined. Therefore, the charge remaining in the third charge storage section 28 can be discharged by the overflow gate transistor 29, and the charge is transferred to the first charge storage section 21 and the second charge storage section 21 by forming the pixel transistor with a P-channel MOS transistor. It becomes difficult for the charge to overflow from the storage section 23 and the third charge storage section 28 .
  • FIG. 10A, 10B, and 10C are circuit diagrams showing pixel configurations according to the fourth modification. Also, FIG. 11 is a timing chart showing an example of the readout operation of the pixel circuit according to the fourth modification.
  • a changeover switch 30 is arranged between the pixel P11 and the pixel P12.
  • the pixel P11 and the pixel P12 are commonly connected to the vertical signal line Lsig and are adjacent to each other.
  • the changeover switch 30 corresponds to a third changeover switch and is composed of an N-channel MOS transistor.
  • the drain of the changeover switch 30 is connected to the second charge storage section 23 of the pixel P11, and the source is connected to the second charge storage section 23 of the pixel P12.
  • the changeover switch 30 is turned on and off based on a signal input to the gate from the row scanning section 201 .
  • the changeover switch 30 (FDX) is always on during the period from time t1 to time t4 (within the period of the D phase and the P phase)
  • the second charge storage unit 23 is shared between the pixel P11 and the pixel P12, and the charge accumulated in the second charge accumulation section 23 is thereby added.
  • the sensitivity and saturation signal amount are doubled.
  • the change-over switch 30 is always off during the above time, the second charge storage units 23 are not shared, so the charges stored in the respective second charge storage units 23 are not added.
  • the changeover switch 30 is arranged between the first charge storage section 21 of the pixel P11 and the first charge storage section 21 of the pixel P12.
  • the switch 30 When the switch 30 is always on, the first charge storage section 21 of the pixel P11 is connected via the switch 30 to the first charge storage section 21 of the pixel P12.
  • the first charge accumulating portion 21 is shared between the pixel P11 and the pixel P12, and the charges accumulated in the first charge accumulating portion 21 are thereby added.
  • the amount of signal saturation is doubled.
  • the change-over switch 30 is always off during the above time, the first charge storage units 21 are not shared, so the charges stored in the respective first charge storage units 21 are not added.
  • the changeover switch 30 is arranged between the third charge storage section 28 of the pixel P11 and the third charge storage section 28 of the pixel P12.
  • the changeover switch 30 is always on, the third charge storage section 28 of the pixel P11 is connected via the changeover switch 30 to the third charge storage section 28 of the pixel P12.
  • the third charge accumulation section 28 is shared between the pixel P11 and the pixel P12, and the charges accumulated in the third charge accumulation section 28 are added.
  • the change-over switch 30 is always off during the above time, the third charge storage units 28 are not shared, so the charges stored in the respective third charge storage units 28 are not added.
  • the changeover switch 30 connects the first charge storage unit 21, the second charge storage unit 23, or the third charge storage unit 28 arranged in pixels adjacent to each other is determined. can be switched. Thereby, the sensitivity and saturation signal amount can be adjusted.
  • the changeover switch 30 is arranged between pixels adjacent in a direction (vertical direction) parallel to the vertical signal line Lsig. may be arranged between the pixels to be used.
  • (Second embodiment) 12A and 12B are circuit diagrams showing configurations of pixels according to the second embodiment. Components similar to those of the first embodiment described above are denoted by the same reference numerals, and detailed description thereof is omitted.
  • a pixel circuit 20d shown in FIG. 12A and a pixel circuit 20e shown in FIG. 12B further have a changeover switch 31 and a fourth charge accumulation section 32 in addition to the components of the pixel circuit 20 described in the first embodiment.
  • the changeover switch 31 corresponds to a second changeover switch and is composed of an N-channel MOS transistor.
  • the fourth charge storage unit 32 is configured with a capacitor.
  • the switch 31 has the drain connected to the source of the reset transistor 24 and the source connected to the second charge storage section 23 .
  • the changeover switch 31 is turned on and off based on a signal input to the gate from the row scanning section 201 .
  • One end of the fourth charge storage section 32 is connected to the source of the reset transistor 24 and the drain of the switch 31, and the other end is grounded.
  • a source is connected to one end of the fourth charge storage unit 32 .
  • the other end of the fourth charge storage section 32 is grounded. That is, the fourth charge storage section 32 is connected to the second charge storage section 23 via the switch 31 .
  • the changeover switch 27 switches whether or not the third charge storage unit 28 is connected to the photoelectric conversion element 10, and the changeover switch 31 switches the fourth charge storage unit.
  • the conversion efficiency changes by switching whether or not the section 32 is connected to the second charge storage section 23 .
  • changeover switch 27 is turned on, conversion efficiency decreases. Conversely, when the changeover switch 27 is turned off, the conversion efficiency increases.
  • Equation (2) C fd2 is the capacitance of the fourth charge storage section 32 .
  • the conversion efficiency (Low) depends on the capacity of each of the first charge storage section 21, the second charge storage section 23, the third charge storage section 28, and the fourth charge storage section 32. .
  • the capacitance C fd2 of the fourth charge storage unit 32 increases, the saturation signal amount also increases. Therefore, the capacitance C fd2 of the fourth charge storage section 32 is preferably larger than the capacitance C fd1 of the second charge storage section 23 .
  • the read noise depends on the balance between the first added value of the capacitances C sn1 and C sn2 and the second added value of the capacitances C fd1 and C fd2 .
  • the first addition value be equal to the second addition value.
  • readout noise can be reduced by turning off the switch 27 and the switch 31 at low illuminance when the amount of light incident on the photoelectric conversion element 10 is smaller than the reference value.
  • the saturation signal amount can be increased by turning on the switch 27 and the switch 31 .
  • FIG. 13 is a timing chart showing an example of readout operations of the pixel circuits 20d and 20e according to the second embodiment.
  • the conversion efficiency (Low) is set.
  • the changeover switch 27 (SNG) not only the changeover switch 27 (SNG) but also the changeover switch 31 (FDG) are always on regardless of the D phase and P phase.
  • the changeover switches 27 and 31 are always off regardless of the D phase and P phase.
  • the changeover switch 31 operates in synchronization with the changeover switch 27 .
  • the reset transistor 24, the transfer transistor 22, and the selection transistor 26 may be driven according to the timing chart shown in FIG. 11, as in the first embodiment.
  • the charges set to the conversion efficiency (Hi) and the charges set to the conversion efficiency (Low) can be simultaneously read out by one exposure.
  • the dynamic range can be expanded with one exposure.
  • the conversion efficiency can be switched by controlling the ON and OFF of the changeover switch 31 in addition to the changeover switch 27 . Furthermore, by adjusting the balance between the SN capacities of the first charge accumulating section 21 and the third charge accumulating section 28 and the FD capacities of the second charge accumulating section 23 and the fourth charge accumulating section 32, Imaging at a high SN ratio becomes possible.
  • 14A and 14B are circuit diagrams showing the pixel configuration according to the fifth modification.
  • a pixel circuit 20f shown in FIG. 14A and a pixel circuit 20g shown in FIG. 14B further include an overflow gate transistor 29, as in the first modification described above.
  • the overflow gate transistor 29 is driven according to the timing chart shown in FIG. 6, as in the first modified example. That is, during the time from time t2 to time t3, the overflow gate transistor 29 switches from the off state to the on state during the period from when the selection transistor 26 is turned off until the selection transistor 26 is turned on. As a result, the charges remaining in the third charge storage section 28 are discharged to the power supply VDD via the overflow gate transistor 29 .
  • the conversion efficiency (Hi) is set, the change-over switch 31 and the change-over switch 27 are always in an off state, and when the conversion efficiency (Low) is set, the change-over switch 31 and the change-over switch 27 Always on.
  • the pixel circuits 20f and 20g have the overflow gate transistors 29, so that the charges remaining in the third charge storage section 28 can be discharged. Thereby, blooming to other pixels P can be suppressed.
  • (Sixth modification) 15A and 15B are circuit diagrams showing pixel configurations according to the sixth modification. Comparing the pixel circuit 20h shown in FIG. 15A with the pixel circuit 20d shown in FIG. 12A, the transfer transistor 22, the reset transistor 24, the changeover switch 27, and the changeover switch 31 are all P-channel transistors instead of N-channel MOS transistors. MOS transistors.
  • the conductivity types of the transfer transistor 22, reset transistor 24, changeover switch 27, and changeover switch 31 are opposite to those in the second embodiment. Therefore, in this modification, the signal level input to the gate of each transistor is opposite to that in the second embodiment.
  • the transfer transistor 22, the reset transistor 24, the changeover switch 27, and the changeover switch 31 are all composed of P-channel MOS transistors. Therefore, the readout of the signal charge from the photoelectric conversion element 10 is the readout of the hole, which is the positive charge. Therefore, electric charges are less likely to overflow from the first charge storage portion 21 , the second charge storage portion 23 , the third charge storage portion 28 , and the fourth charge storage portion 32 . Therefore, this modification can also suppress blooming between adjacent pixels.
  • (Seventh modification) 16A and 16B are circuit diagrams showing pixel configurations according to the seventh modification.
  • the transfer transistor 22, the reset transistor 24, the changeover switch 27, the changeover switch 31, and the overflow gate transistor 29 are all N-channel MOS transistors. Instead, it is composed of a P-channel MOS transistor.
  • a pixel circuit 20k according to this modified example has a configuration in which the fifth modified example and the sixth modified example are combined. Therefore, the charge remaining in the third charge storage section 28 can be discharged by the overflow gate transistor 29, and the charge is transferred to the first charge storage section 21 and the second charge storage section 21 by forming the pixel transistor with a P-channel MOS transistor. It becomes difficult for the charge to overflow from the storage section 23 and the third charge storage section 28 .
  • FIG. 17A and 17B are circuit diagrams showing pixel configurations according to the eighth modification.
  • the changeover switch 30 is arranged between the pixel P21 and the pixel P22, as in the above-described fourth modified example.
  • the pixel P21 and the pixel P22 are commonly connected to the vertical signal line Lsig and are adjacent to each other.
  • each of pixel P21 and pixel P22 has a pixel circuit 20d shown in FIG. 12A.
  • each of the pixels P21 and P22 has the pixel circuit 20e shown in FIG. 12B.
  • the drain of the changeover switch 30 is connected between the second charge accumulation section 23 of the pixel P21 and the changeover switch 31, and the source is connected between the second charge accumulation section 23 of the pixel P22 and the changeover switch 31. ing.
  • the changeover switch 31 is always on during the D-phase and P-phase periods. Conversely, if the charge is not added, the switch 31 is always off during the D-phase and P-phase periods.
  • connection form of the changeover switch 30 is not limited to the arrangement shown in FIGS. 17A and 17B.
  • the changeover switch 30 may switch the connection between the second charge storage units 21 as in FIG. 10B, or may switch the connection between the third charge storage units 28 as in FIG. 10C.
  • the changeover switch 30 connects the first charge storage unit 21, the second charge storage unit 23, or the third charge storage unit 28 arranged in pixels adjacent to each other is determined. can be switched. Thereby, the sensitivity and saturation signal amount can be adjusted.
  • the changeover switch 30 is arranged between the pixels adjacent in the direction parallel to the vertical signal line Lsig, but is arranged between the pixels adjacent in the direction orthogonal to the vertical signal line Lsig. good too.
  • FIG. 18 shows a schematic configuration of an electronic device 3 (camera) as an example.
  • the electronic device 3 is, for example, a camera capable of capturing still images or moving images, and includes an imaging device 1, an optical system 310, a shutter device 311, a driving unit 313 that drives the imaging device 1 and the shutter device 311, a signal and a processing unit 312 .
  • the optical system 310 guides image light (incident light) from the subject to the imaging device 1 .
  • This optical system 310 may be composed of a plurality of optical lenses.
  • the shutter device 311 controls a light irradiation period and a light shielding period for the imaging device 1 .
  • the drive unit 313 controls the transfer operation of the imaging device 1 and the shutter operation of the shutter device 311 .
  • the signal processing unit 312 performs various signal processing on the signal output from the imaging device 1 .
  • the video signal Dout after signal processing is stored in a storage medium such as a memory, or output to a monitor or the like.
  • the technology (this technology) according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be applied to an endoscopic surgery system.
  • FIG. 19 is a block diagram showing an example of a schematic configuration of a system for acquiring in-vivo information of a patient using a capsule endoscope, to which the technology according to the present disclosure (this technology) can be applied.
  • the in-vivo information acquisition system 10001 is composed of a capsule endoscope 10100 and an external control device 10200.
  • the capsule endoscope 10100 is swallowed by the patient during examination.
  • the capsule endoscope 10100 has an imaging function and a wireless communication function, and moves inside organs such as the stomach and intestines by peristaltic motion or the like until it is naturally expelled from the patient.
  • Images (hereinafter also referred to as in-vivo images) are sequentially captured at predetermined intervals, and information about the in-vivo images is sequentially wirelessly transmitted to the external control device 10200 outside the body.
  • the external control device 10200 comprehensively controls the operation of the in-vivo information acquisition system 10001 .
  • the external control device 10200 receives information about the in-vivo image transmitted from the capsule endoscope 10100, and displays the in-vivo image on a display device (not shown) based on the received information about the in-vivo image.
  • the in-vivo information acquisition system 10001 can obtain in-vivo images of the patient's insides at any time during the period from when the capsule endoscope 10100 is swallowed to when the capsule endoscope 10100 is expelled.
  • a capsule endoscope 10100 has a capsule-shaped housing 10101, and the housing 10101 contains a light source unit 10111, an imaging unit 10112, an image processing unit 10113, a wireless communication unit 10114, a power supply unit 10115, and a power supply unit. 10116 and a control unit 10117 are housed.
  • the light source unit 10111 is composed of a light source such as an LED (light emitting diode), for example, and irradiates the imaging field of the imaging unit 10112 with light.
  • a light source such as an LED (light emitting diode)
  • the imaging unit 10112 is composed of an imaging element and an optical system including a plurality of lenses provided in front of the imaging element. Reflected light (hereinafter referred to as observation light) of the light applied to the body tissue to be observed is condensed by the optical system and enters the imaging device. In the imaging unit 10112, the imaging element photoelectrically converts the observation light incident thereon to generate an image signal corresponding to the observation light. An image signal generated by the imaging unit 10112 is provided to the image processing unit 10113 .
  • the image processing unit 10113 is composed of a processor such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit), and performs various signal processing on the image signal generated by the imaging unit 10112.
  • the image processing unit 10113 provides the signal-processed image signal to the wireless communication unit 10114 as RAW data.
  • the wireless communication unit 10114 performs predetermined processing such as modulation processing on the image signal processed by the image processing unit 10113, and transmits the image signal to the external control device 10200 via the antenna 10114A. Also, the wireless communication unit 10114 receives a control signal regarding drive control of the capsule endoscope 10100 from the external control device 10200 via the antenna 10114A. Wireless communication section 10114 provides control signal received from external control device 10200 to control section 10117 .
  • the power supply unit 10115 is composed of an antenna coil for power reception, a power regeneration circuit that regenerates power from the current generated in the antenna coil, a booster circuit, and the like. Power supply unit 10115 generates electric power using the principle of so-called contactless charging.
  • the power supply unit 10116 is composed of a secondary battery and stores the power generated by the power supply unit 10115 .
  • FIG. 19 to avoid complication of the drawing, illustration of arrows and the like indicating the destination of power supply from the power supply unit 10116 is omitted.
  • the imaging unit 10112, the image processing unit 10113, the wireless communication unit 10114, and the control unit 10117 can be used to drive these units.
  • the control unit 10117 is configured by a processor such as a CPU, and controls the driving of the light source unit 10111, the imaging unit 10112, the image processing unit 10113, the wireless communication unit 10114, and the power supply unit 10115 in response to control signals transmitted from the external control device 10200. Control accordingly.
  • a processor such as a CPU
  • the external control device 10200 is composed of a processor such as a CPU or GPU, or a microcomputer or control board in which a processor and storage elements such as memory are mounted together.
  • the external control device 10200 controls the operation of the capsule endoscope 10100 by transmitting a control signal to the controller 10117 of the capsule endoscope 10100 via the antenna 10200A.
  • a control signal from the external control device 10200 can change the irradiation condition of the light source unit 10111 for the observation target.
  • the control signal from the external control device 10200 can change the imaging conditions (for example, frame rate, exposure value, etc. in the imaging unit 10112).
  • the content of processing in the image processing unit 10113 and the conditions for transmitting image signals by the wireless communication unit 10114 may be changed by a control signal from the external control device 10200. .
  • the external control device 10200 performs various image processing on the image signal transmitted from the capsule endoscope 10100, and generates image data for displaying the captured in-vivo image on the display device.
  • the image processing includes, for example, development processing (demosaicing processing), image quality improvement processing (band enhancement processing, super-resolution processing, NR (noise reduction) processing and/or camera shake correction processing, etc.), and/or enlargement processing ( Various signal processing such as electronic zoom processing) can be performed.
  • the external control device 10200 controls driving of the display device to display an in-vivo image captured based on the generated image data.
  • the external control device 10200 may cause the generated image data to be recorded in a recording device (not shown) or printed out by a printing device (not shown).
  • the technology (the present technology) according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be applied to an endoscopic surgery system.
  • FIG. 20 is a diagram showing an example of a schematic configuration of an endoscopic surgery system to which the technology according to the present disclosure (this technology) can be applied.
  • FIG. 20 shows an operator (doctor) 11131 performing surgery on a patient 11132 on a patient bed 11133 using an endoscopic surgery system 11000 .
  • an endoscopic surgery system 11000 includes an endoscope 11100, other surgical instruments 11110 such as a pneumoperitoneum tube 11111 and an energy treatment instrument 11112, and a support arm device 11120 for supporting the endoscope 11100. , and a cart 11200 loaded with various devices for endoscopic surgery.
  • An endoscope 11100 is composed of a lens barrel 11101 whose distal end is inserted into the body cavity of a patient 11132 and a camera head 11102 connected to the proximal end of the lens barrel 11101 .
  • an endoscope 11100 configured as a so-called rigid scope having a rigid lens barrel 11101 is illustrated, but the endoscope 11100 may be configured as a so-called flexible scope having a flexible lens barrel. good.
  • the tip of the lens barrel 11101 is provided with an opening into which the objective lens is fitted.
  • a light source device 11203 is connected to the endoscope 11100, and light generated by the light source device 11203 is guided to the tip of the lens barrel 11101 by a light guide extending inside the lens barrel 11101, where it reaches the objective. Through the lens, the light is irradiated toward the observation object inside the body cavity of the patient 11132 .
  • the endoscope 11100 may be a straight scope, a perspective scope, or a side scope.
  • An optical system and an imaging element are provided inside the camera head 11102, and the reflected light (observation light) from the observation target is focused on the imaging element by the optical system.
  • the imaging device photoelectrically converts the observation light to generate an electrical signal corresponding to the observation light, that is, an image signal corresponding to the observation image.
  • the image signal is transmitted to a camera control unit (CCU: Camera Control Unit) 11201 as RAW data.
  • CCU Camera Control Unit
  • the CCU 11201 is composed of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), etc., and controls the operations of the endoscope 11100 and the display device 11202 in an integrated manner. Further, the CCU 11201 receives an image signal from the camera head 11102 and performs various image processing such as development processing (demosaicing) for displaying an image based on the image signal.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the display device 11202 displays an image based on an image signal subjected to image processing by the CCU 11201 under the control of the CCU 11201 .
  • the light source device 11203 is composed of a light source such as an LED (light emitting diode), for example, and supplies the endoscope 11100 with irradiation light for imaging a surgical site or the like.
  • a light source such as an LED (light emitting diode)
  • LED light emitting diode
  • the input device 11204 is an input interface for the endoscopic surgery system 11000.
  • the user can input various information and instructions to the endoscopic surgery system 11000 via the input device 11204 .
  • the user inputs an instruction or the like to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 11100 .
  • the treatment instrument control device 11205 controls driving of the energy treatment instrument 11112 for tissue cauterization, incision, blood vessel sealing, or the like.
  • the pneumoperitoneum device 11206 inflates the body cavity of the patient 11132 for the purpose of securing the visual field of the endoscope 11100 and securing the operator's working space, and injects gas into the body cavity through the pneumoperitoneum tube 11111. send in.
  • the recorder 11207 is a device capable of recording various types of information regarding surgery.
  • the printer 11208 is a device capable of printing various types of information regarding surgery in various formats such as text, images, and graphs.
  • the light source device 11203 that supplies the endoscope 11100 with irradiation light for photographing the surgical site can be composed of, for example, a white light source composed of an LED, a laser light source, or a combination thereof.
  • a white light source is configured by a combination of RGB laser light sources
  • the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy. It can be carried out.
  • the observation target is irradiated with laser light from each of the RGB laser light sources in a time-division manner, and by controlling the drive of the imaging element of the camera head 11102 in synchronization with the irradiation timing, each of RGB can be handled. It is also possible to pick up images by time division. According to this method, a color image can be obtained without providing a color filter in the imaging element.
  • the driving of the light source device 11203 may be controlled so as to change the intensity of the output light every predetermined time.
  • the drive of the imaging device of the camera head 11102 in synchronism with the timing of the change in the intensity of the light to obtain an image in a time-division manner and synthesizing the images, a high dynamic A range of images can be generated.
  • the light source device 11203 may be configured to be able to supply light in a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, the wavelength dependence of light absorption in body tissues is used to irradiate a narrower band of light than the irradiation light (i.e., white light) used during normal observation, thereby observing the mucosal surface layer.
  • irradiation light i.e., white light
  • Narrow Band Imaging in which a predetermined tissue such as a blood vessel is imaged with high contrast, is performed.
  • fluorescence observation may be performed in which an image is obtained from fluorescence generated by irradiation with excitation light.
  • the body tissue is irradiated with excitation light and the fluorescence from the body tissue is observed (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally injected into the body tissue and the body tissue is A fluorescence image can be obtained by irradiating excitation light corresponding to the fluorescence wavelength of the reagent.
  • the light source device 11203 can be configured to be able to supply narrowband light and/or excitation light corresponding to such special light observation.
  • FIG. 21 is a block diagram showing an example of functional configurations of the camera head 11102 and CCU 11201 shown in FIG.
  • the camera head 11102 has a lens unit 11401, an imaging section 11402, a drive section 11403, a communication section 11404, and a camera head control section 11405.
  • the CCU 11201 has a communication section 11411 , an image processing section 11412 and a control section 11413 .
  • the camera head 11102 and the CCU 11201 are communicably connected to each other via a transmission cable 11400 .
  • a lens unit 11401 is an optical system provided at a connection with the lens barrel 11101 . Observation light captured from the tip of the lens barrel 11101 is guided to the camera head 11102 and enters the lens unit 11401 .
  • a lens unit 11401 is configured by combining a plurality of lenses including a zoom lens and a focus lens.
  • the number of imaging elements constituting the imaging unit 11402 may be one (so-called single-plate type) or plural (so-called multi-plate type).
  • image signals corresponding to RGB may be generated by each image pickup element, and a color image may be obtained by synthesizing the image signals.
  • the imaging unit 11402 may be configured to have a pair of imaging elements for respectively acquiring right-eye and left-eye image signals corresponding to 3D (dimensional) display.
  • the 3D display enables the operator 11131 to more accurately grasp the depth of the living tissue in the surgical site.
  • a plurality of systems of lens units 11401 may be provided corresponding to each imaging element.
  • the imaging unit 11402 does not necessarily have to be provided in the camera head 11102 .
  • the imaging unit 11402 may be provided inside the lens barrel 11101 immediately after the objective lens.
  • the drive unit 11403 is configured by an actuator, and moves the zoom lens and focus lens of the lens unit 11401 by a predetermined distance along the optical axis under control from the camera head control unit 11405 . Thereby, the magnification and focus of the image captured by the imaging unit 11402 can be appropriately adjusted.
  • the communication unit 11404 is composed of a communication device for transmitting and receiving various information to and from the CCU 11201.
  • the communication unit 11404 transmits the image signal obtained from the imaging unit 11402 as RAW data to the CCU 11201 via the transmission cable 11400 .
  • the communication unit 11404 receives a control signal for controlling driving of the camera head 11102 from the CCU 11201 and supplies it to the camera head control unit 11405 .
  • the control signal includes, for example, information to specify the frame rate of the captured image, information to specify the exposure value at the time of imaging, and/or information to specify the magnification and focus of the captured image. Contains information about conditions.
  • the imaging conditions such as the frame rate, exposure value, magnification, and focus may be appropriately designated by the user, or may be automatically set by the control unit 11413 of the CCU 11201 based on the acquired image signal. good.
  • the endoscope 11100 is equipped with so-called AE (Auto Exposure) function, AF (Auto Focus) function, and AWB (Auto White Balance) function.
  • the camera head control unit 11405 controls driving of the camera head 11102 based on the control signal from the CCU 11201 received via the communication unit 11404.
  • the communication unit 11411 is composed of a communication device for transmitting and receiving various information to and from the camera head 11102 .
  • the communication unit 11411 receives image signals transmitted from the camera head 11102 via the transmission cable 11400 .
  • the communication unit 11411 transmits a control signal for controlling driving of the camera head 11102 to the camera head 11102 .
  • Image signals and control signals can be transmitted by electric communication, optical communication, or the like.
  • the image processing unit 11412 performs various types of image processing on the image signal, which is RAW data transmitted from the camera head 11102 .
  • the control unit 11413 performs various controls related to imaging of the surgical site and the like by the endoscope 11100 and display of the captured image obtained by imaging the surgical site and the like. For example, the control unit 11413 generates control signals for controlling driving of the camera head 11102 .
  • control unit 11413 causes the display device 11202 to display a captured image showing the surgical site and the like based on the image signal that has undergone image processing by the image processing unit 11412 .
  • the control unit 11413 may recognize various objects in the captured image using various image recognition techniques. For example, the control unit 11413 detects the shape, color, and the like of the edges of objects included in the captured image, thereby detecting surgical instruments such as forceps, specific body parts, bleeding, mist during use of the energy treatment instrument 11112, and the like. can recognize.
  • the control unit 11413 may use the recognition result to display various types of surgical assistance information superimposed on the image of the surgical site. By superimposing and presenting the surgery support information to the operator 11131, the burden on the operator 11131 can be reduced and the operator 11131 can proceed with the surgery reliably.
  • a transmission cable 11400 connecting the camera head 11102 and the CCU 11201 is an electrical signal cable compatible with electrical signal communication, an optical fiber compatible with optical communication, or a composite cable of these.
  • wired communication is performed using the transmission cable 11400, but communication between the camera head 11102 and the CCU 11201 may be performed wirelessly.
  • the technology according to the present disclosure may also be applied to, for example, a microsurgery system.
  • the technology according to the present disclosure may be realized as a device mounted on any type of moving object such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, and robots. good.
  • FIG. 22 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • a vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • vehicle control system 12000 includes drive system control unit 12010 , body system control unit 12020 , vehicle exterior information detection unit 12030 , vehicle interior information detection unit 12040 , and integrated control unit 12050 .
  • a microcomputer 12051 , an audio/image output unit 12052 , and an in-vehicle network I/F (Interface) 12053 are also illustrated as the functional configuration of the integrated control unit 12050 .
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the driving system control unit 12010 includes a driving force generator for generating driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism to adjust and a brake device to generate braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices equipped on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, winkers or fog lamps.
  • the body system control unit 12020 can receive radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 12020 receives the input of these radio waves or signals and controls the door lock device, power window device, lamps, etc. of the vehicle.
  • the vehicle exterior information detection unit 12030 detects information outside the vehicle in which the vehicle control system 12000 is installed.
  • the vehicle exterior information detection unit 12030 is connected with an imaging section 12031 .
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image of the exterior of the vehicle, and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of received light.
  • the imaging unit 12031 can output the electric signal as an image, and can also output it as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or non-visible light such as infrared rays.
  • the in-vehicle information detection unit 12040 detects in-vehicle information.
  • the in-vehicle information detection unit 12040 is connected to, for example, a driver state detection section 12041 that detects the state of the driver.
  • the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 detects the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing off.
  • the microcomputer 12051 calculates control target values for the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and controls the drive system control unit.
  • a control command can be output to 12010 .
  • the microcomputer 12051 realizes the functions of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation of vehicles, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, etc. Cooperative control can be performed for the purpose of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation of vehicles, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, etc. Cooperative control can be performed for the purpose of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation of vehicles, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, etc. based on the information about the vehicle surroundings acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, so that the driver's Cooperative control can be performed for the purpose of autonomous driving, etc., in which vehicles autonomously travel without depending on operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12030 based on the information outside the vehicle acquired by the information detection unit 12030 outside the vehicle.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the vehicle exterior information detection unit 12030, and performs cooperative control aimed at anti-glare such as switching from high beam to low beam. It can be carried out.
  • the audio/image output unit 12052 transmits at least one of audio and/or image output signals to an output device capable of visually or audibly notifying the passengers of the vehicle or the outside of the vehicle.
  • an audio speaker 12061, a display section 12062 and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
  • FIG. 23 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the imaging unit 12031 has imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided at positions such as the front nose, side mirrors, rear bumper, back door, and windshield of the vehicle 12100, for example.
  • An image pickup unit 12101 provided in the front nose and an image pickup unit 12105 provided above the windshield in the passenger compartment mainly acquire images in front of the vehicle 12100 .
  • Imaging units 12102 and 12103 provided in the side mirrors mainly acquire side images of the vehicle 12100 .
  • An imaging unit 12104 provided in the rear bumper or back door mainly acquires an image behind the vehicle 12100 .
  • the imaging unit 12105 provided above the windshield in the passenger compartment is mainly used for detecting preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
  • FIG. 23 shows an example of the imaging range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided in the front nose
  • the imaging range 1211212113 indicates the imaging ranges of the imaging units 12102 and 12103 provided in the side mirrors
  • the imaging range 12114 indicates the imaging range of the rear bumper or
  • the imaging range of the imaging unit 12104 provided in the back door is shown.
  • a bird's-eye view image of the vehicle 12100 viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera composed of a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 determines the distance to each three-dimensional object within the imaging ranges 12111 to 12114 and changes in this distance over time (relative velocity with respect to the vehicle 12100). , it is possible to extract, as the preceding vehicle, the closest three-dimensional object on the traveling path of the vehicle 12100, which runs at a predetermined speed (for example, 0 km/h or more) in substantially the same direction as the vehicle 12100. can. Furthermore, the microcomputer 12051 can set the inter-vehicle distance to be secured in advance in front of the preceding vehicle, and perform automatic brake control (including following stop control) and automatic acceleration control (including following start control). In this way, cooperative control can be performed for the purpose of automatic driving in which the vehicle autonomously travels without depending on the operation of the driver.
  • automatic brake control including following stop control
  • automatic acceleration control including following start control
  • the microcomputer 12051 converts three-dimensional object data related to three-dimensional objects to other three-dimensional objects such as motorcycles, ordinary vehicles, large vehicles, pedestrians, and utility poles. It can be classified and extracted and used for automatic avoidance of obstacles. For example, microcomputer 12051 distinguishes obstacles around vehicle 12100 into obstacles visible to the driver of vehicle 12100 and obstacles difficult to see. Then, the microcomputer 12051 judges the collision risk indicating the degree of danger of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the obstacle is detected through the audio speaker 12061 and the display unit 12062. By outputting an alarm to the driver via the drive system control unit 12010 and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving assistance for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not the pedestrian exists in the captured images of the imaging units 12101 to 12104 .
  • recognition of a pedestrian is performed by, for example, a procedure for extracting feature points in images captured by the imaging units 12101 to 12104 as infrared cameras, and performing pattern matching processing on a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian.
  • the audio image output unit 12052 outputs a rectangular outline for emphasis to the recognized pedestrian. is superimposed on the display unit 12062 . Also, the audio/image output unit 12052 may control the display unit 12062 to display an icon or the like indicating a pedestrian at a desired position.
  • the technology according to the present disclosure can be applied, for example, to the imaging unit 12031 among the configurations described above.
  • the imaging device 1 can be applied to the imaging unit 12031 .
  • the dynamic range of the imaging unit 12031 is expanded.
  • this technique can take the following structures.
  • An imaging device comprising: (2) The imaging device according to (1), wherein the first changeover switch switches whether to connect the third charge storage unit to the photoelectric conversion element according to the amount of light incident on the photoelectric conversion element.
  • the imaging device according to any one of (4) to (6), wherein the reset transistor, the transfer transistor, the first switch, and the second switch are P-channel MOS transistors.
  • (8) further comprising a selection transistor for switching whether to output a pixel signal corresponding to the amount of charge accumulated in the second charge accumulation unit; From (1), the selection transistor is turned on while the first changeover switch is maintained in the off state, and then the selection transistor is turned on again after the first changeover switch is switched from the off state to the on state.
  • the imaging device according to any one of the above.
  • the imaging device according to any one of (1) to (8), wherein the capacity of the third charge storage section is larger than the capacity of the first charge storage section. (10) Among the plurality of pixels, a pixel in which the third charge storage unit is connected to the photoelectric conversion element by the first changeover switch, and a pixel in which the third charge storage unit is connected to the photoelectric conversion element by the first changeover switch.
  • the imaging device according to any one of (1) to (9), in which pixels that are not connected to conversion elements are mixed.
  • the imaging device according to any one of (1) to (10), further comprising an overflow gate transistor that discharges charges accumulated in the third charge accumulation section.
  • the imaging device according to any one of (1) to 10, wherein the reset transistor, the transfer transistor, and the first switch are P-channel MOS transistors. (13) Further comprising a third changeover switch for switching whether or not to connect the second charge accumulation portions respectively provided in adjacent pixels among the plurality of pixels, (1) to (10) The imaging device according to any one of 1. (14) When the adjacent pixels among the plurality of pixels are added, the third changeover switch is always on, and when the adjacent pixels are not added, the third changeover switch is always off. The imaging device according to (13), which is in a state.
  • Imaging Device 10 Photoelectric Conversion Element 21: First Charge Storage Section 22: Transfer Transistor 23: Second Charge Storage Section 24: Reset Transistor 26: Selection Transistor 27: Changeover Switch 28: Third Charge Storage Section 29: Overflow Gate Transistor 30: Changeover switch 31: Changeover switch 32: Fourth charge storage unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

［課題］ダイナミックレンジを拡大することが可能な撮像装置を提供する。 ［解決手段］本開示の一実施形態に係る撮像装置は、複数の画素の各々に設けられた光電変換素子と、光電変換素子に接続された第１電荷蓄積部と、第１電荷蓄積部と並列に接続された第２電荷蓄積部と、第２電荷蓄積部の電位をリセットするリセットトランジスタと、第１電荷蓄積部と第２電荷蓄積部との間に配置された転送トランジスタと、第１電荷蓄積部と並列に接続された第３電荷蓄積部と、第１電荷蓄積部と第３電荷蓄積部との間に配置され、第３電荷蓄積部を光電変換素子に接続するか否かを切り替える第１切り替えスイッチと、を備える。

Description

撮像装置
　本開示は、撮像装置に関する。
　撮像装置は、一般的に、光電変換素子と、光電変換素子から電荷を読み出す読み出し回路（ＲＯＩＣ：Readout Integrated Circuit）と、を備える。読み出し回路には、光電変換素子から読み出した電荷を蓄積する電荷蓄積部が設けられている。電子１個当たりの出力信号の電圧を示す変換効率は、電荷蓄積部の容量に依存する。
国際公開第２０１９／１５５８４１号
　撮像装置では、電荷蓄積部の容量は固定されているため、変換効率も固定される。この場合、例えば、光電変換素子からの電荷量に応じて変換効率を変化させるといったことができないため、ダイナミックレンジを拡大することが困難である。
　本開示は、ダイナミックレンジを拡大することが可能な撮像装置を提供する。
　本開示の一実施形態に係る撮像装置は、複数の画素の各々に設けられた光電変換素子と、光電変換素子に接続された第１電荷蓄積部と、第１電荷蓄積部と並列に接続された第２電荷蓄積部と、第２電荷蓄積部の電位をリセットするリセットトランジスタと、第１電荷蓄積部と第２電荷蓄積部との間に配置された転送トランジスタと、第１電荷蓄積部と並列に接続された第３電荷蓄積部と、第１電荷蓄積部と第３電荷蓄積部との間に配置され、第３電荷蓄積部を光電変換素子に接続するか否かを切り替える第１切り替えスイッチと、を備える。
　また、第１切り替えスイッチが、前記光電変換素子への入射光の光量に応じて前記第３電荷蓄積部を前記光電変換素子に接続するか否かを切り替えてもよい。
　また、第１切り替えスイッチは、前記光量が基準値よりも小さい場合にオフ状態となり、前記光量が前記基準値よりも大きい場合にオン状態となってもよい。
　また、前記リセットトランジスタおよび前記第２電荷蓄積部にそれぞれ接続された第２切り替えスイッチと、
　前記リセットトランジスタと前記第２切り替えスイッチとの間に配置されるか、またはた前記第２切り替えスイッチを介して前記第２電荷蓄積部と並列に接続された第４電荷蓄積部と、をさらに備えていてもよい。
　また、前記第２切り替えスイッチは、前記第１切り替えスイッチと同期して前記第４電荷蓄積部を前記第２電荷蓄積部に接続するか否かを切り替えもよい。
　また、前記第１電荷蓄積部および前記第３電荷蓄積部の容量の加算値が、前記第２電荷蓄積部および前記第４電荷蓄積部の容量の加算値に等しくてもよい。
　また、前記リセットトランジスタ、前記転送トランジスタ、前記第１切り替えスイッチ、および前記第２切り替えスイッチが、Ｐチャネル型ＭＯＳトランジスタであってもよい。
　また、前記第２電荷蓄積部に蓄積された電荷量に応じた画素信号を出力するか否かを切り替える選択トランジスタをさらに備え、
　前記第１切り替えスイッチがオフ状態に維持されて前記選択トランジスタがオンし、続いて前記第１切り替えスイッチが前記オフ状態からオン状態に切り替わった後、前記選択トランジスタが再びオンしてもよい。
　また、前記第３電荷蓄積部の容量が、前記第１電荷蓄積部の容量よりも大きくてもよい。
　また、前記複数の画素の中で、前記第１切り替えスイッチによって前記第３電荷蓄積部が前記光電変換素子に接続される画素と、前記第１切り替えスイッチによって前記第３電荷蓄積部が前記光電変換素子に接続されない画素と、が混在してもよい。
　また、前記第３電荷蓄積部に蓄積された電荷を排出するオーバーフローゲートトランジスタをさらに備えていてもよい。
　また、前記リセットトランジスタ、前記転送トランジスタ、および第１切り替えスイッチが、Ｐチャネル型ＭＯＳトランジスタであってもよい。
　また、前記複数の画素の中で互いに隣接する隣接画素にそれぞれ設けられた前記第２電荷蓄積部同士を接続するか否かを切り替える第３切り替えスイッチをさらに備えていてもよい。
　また、前記複数の画素の中で、前記隣接画素を加算する場合には前記第３切り替えスイッチは常時オン状態であり、前記隣接画素を加算しない場合には前記前記第３切り替えスイッチは常時オフ状態であってもよい。
第１実施形態に係る撮像装置の構成の一例を示すブロック図である。 第１実施形態に係る画素の構成を示す回路図である。 第１実施形態に係る画素回路の読み出し動作の一例を示すタイミングチャートである。 第１実施形態に係る画素回路の読み出し動作の別の一例を示すタイミングチャートである。 第１変形例に係る画素の構成を示す回路図である。 第１変形例に係る画素回路の読み出し動作の一例を示すタイミングチャートである。 第２変形例に係る画素の構成を示す回路図である。 第２変形例に係る画素回路の読み出し動作の一例を示すタイミングチャートである。 第３変形例に係る画素の構成を示す回路図である。 第４変形例に係る画素の構成を示す回路図である。 第４変形例に係る画素の構成を示す回路図である。 第４変形例に係る画素の構成を示す回路図である。 第４変形例に係る画素回路の読み出し動作の一例を示すタイミングチャートである。 第２実施形態に係る画素の構成を示す回路図である。 第２実施形態に係る画素の構成を示す回路図である。 第２実施形態に係る画素回路の読み出し動作の一例を示すタイミングチャートである。 第５変形例に係る画素の構成を示す回路図である。 第５変形例に係る画素の構成を示す回路図である。 第６変形例に係る画素の構成を示す回路図である。 第６変形例に係る画素の構成を示す回路図である。 第７変形例に係る画素の構成を示す回路図である。 第７変形例に係る画素の構成を示す回路図である。 第６変形例に係る画素の構成を示す回路図である。 第６変形例に係る画素の構成を示す回路図である。 電子機器の一例を表す機能ブロック図である。 体内情報取得システムの概略的な構成の一例を示すブロック図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部および撮像部の設置位置の一例を示す説明図である。
　（第１実施形態）
　図１は、第１実施形態に係る撮像装置の構成の一例を示すブロック図である。図１に示す撮像装置１は、例えば赤外線イメージセンサであり、例えば波長８００ｎｍ以上の光に対しても感度を有する。この撮像装置１には、例えば矩形状の画素領域１０Ｐと、画素領域１０Ｐの外側の画素外領域１０Ｂとが設けられている。画素外領域１０Ｂには、画素領域１０Ｐを駆動するための周辺回路が設けられている。
　撮像装置１の画素領域１０Ｐには、複数の画素Ｐが２次元状に配置される。画素外領域１０Ｂに設けられた周辺回路は、例えば行走査部２０１、水平選択部２０３、列走査部２０４およびシステム制御部２０２を含む。
　行走査部２０１は、シフトレジスタやアドレスデコーダ等によって構成され、各画素Ｐを、例えば行単位で駆動する画素駆動部である。行走査部２０１によって選択走査された画素行の各画素Ｐから出力される画素信号は、垂直信号線Ｌｓｉｇの各々を通して水平選択部２０３に供給される。水平選択部２０３は、垂直信号線Ｌｓｉｇごとに設けられたアンプや水平選択スイッチ等によって構成されている。
　列走査部２０４は、シフトレジスタやアドレスデコーダ等によって構成され、水平選択部２０３の各水平選択スイッチを走査しつつ順番に駆動する。この列走査部２０４による選択走査により、垂直信号線Ｌｓｉｇの各々を通して伝送される各画素の画素信号が順番に水平信号線に出力される。その後、画素信号は、水平信号線を通して信号処理部（不図示）等へ入力される。
　システム制御部２０２は、外部から与えられるクロックや、動作モードを指令するデータなどを受け取り、また、撮像装置１の内部情報などのデータを出力する。システム制御部２０２はさらに、各種のタイミング信号を生成するタイミングジェネレータを有し、当該タイミングジェネレータで生成された各種のタイミング信号を基に行走査部２０１、水平選択部２０３および列走査部２０４などの駆動制御を行う。
　図２は、画素Ｐの構成を示す回路図である。画素Ｐは、光電変換素子１０および画素回路２０を有する。光電変換素子１０は、一の半導体基板に配置され、画素回路２０は、一の半導体基板の下に積層された他の半導体基板に配置される。
　光電変換素子１０は、例えば赤外領域の波長を有する入射光を光電変換するフォトダイオードである。光電変換素子１０では、アノード電極とカソード電極との間に光電変換膜（不図示）が設けられている。この光電変換膜は、例えば、ＩＩＩ－Ｖ族半導体などの化合物半導体材料により構成され、可視領域から短赤外領域の波長の光を光電変換する。
　光電変換素子１０を構成する化合物半導体材料には、例えば、ＩｎＧａＡｓ（インジウムガリウム砒素），ＩｎＡｓＳｂ（インジウム砒素アンチモン），ＧａＡｓＳｂ（ガリウム砒素アンチモン），ＩｎＡｓ（インジウム砒素），ＩｎＳｂ（インジムアンチモン）およびＨｇＣｄＴｅ（水銀カドミウムテルル）等を用いることができる。また、光電変換膜は、Ｇｅ（ゲルマニウム）により構成されてもよい。また、光電変換膜は、ＴｙｐｅＩＩ構造を有する半導体材料により構成されてもよい。
　画素回路２０は、光電変換素子１０の電荷を読み出す読み出し回路の一例である。具体的には、画素回路２０は、第１電荷蓄積部（ＳＮ１）２１、転送トランジスタ（ＴＲＧ）２２、第２電荷蓄積部（ＦＤ１）２３、リセットトランジスタ（ＲＳＴ）２４、増幅トランジスタ（ＡＭＰ）２５、選択トランジスタ（ＳＥＬ）２６、切り替えスイッチ２７、および第３電荷蓄積部２８を有する。
　第１電荷蓄積部２１は、光電変換素子１０で光電変換された電荷を一時的に保持するキャパシタで構成される。第１電荷蓄積部２１の一端は、光電変換素子１０のアノード電極および転送トランジスタ２２のソースに接続されている。第１電荷蓄積部２１の他端は、接地されている。
　転送トランジスタ２２のドレインは、第２電荷蓄積部２３に接続されている。すなわち、転送トランジスタ２２は、第１電荷蓄積部２１と第２電荷蓄積部２３との間に配置されている。転送トランジスタ２２は、行走査部２０１からゲートに入力される転送信号に基づいてオンおよびオフする。転送トランジスタ２２がオンすると、第１電荷蓄積部２１に蓄積された電荷が、転送トランジスタ２２を介して第２電荷蓄積部２３に転送される。
　第２電荷蓄積部２３は、第１電荷蓄積部２１から転送された電荷を蓄積するフローティングディフュージョンである。第２電荷蓄積部２３の一端は、転送トランジスタのドレインとともに、リセットトランジスタ２４のソースおよび増幅トランジスタ２５のゲートに接続されている。第２電荷蓄積部２３の他端は、接地されている。
　リセットトランジスタ２４のドレインは、電源ＶＤＤに接続されている。リセットトランジスタ２４は、行走査部２０１からゲートに入力されるリセット信号に基づいてオンおよびオフする。リセットトランジスタ２４がオンすると、リセット電位ＶＲＳＴが第２電荷蓄積部２３に印加される。このリセット電位ＶＲＳＴによって、第２電荷蓄積部２３の電位は、初期状態（リセット状態）となる。
　増幅トランジスタ２５において、ゲートは第２電荷蓄積部２３に接続され、ドレインは電源ＶＤＤに接続され、ソースは選択トランジスタ２６のドレインに接続されている。増幅トランジスタ２５は、垂直信号線Ｌｓｉｇを介して接続された、定電流源としての負荷ＭＯＳ（Metal Oxide Semiconductor）とソースフォロア回路を構成している。増幅トランジスタ２５は、第２電荷蓄積部２３に蓄積された電荷量に応じた画素信号を生成する。
　選択トランジスタ２６のソースは、垂直信号線Ｌｓｉｇに接続されている。選択トランジスタ２６は、行走査部２０１からゲートに入力される選択信号に基づいてオンおよびオフする。選択トランジスタ２６がオンすると、増幅トランジスタ２５で生成された画素信号が、垂直信号線Ｌｓｉｇを介して水平選択部２０３に出力される。
　切り替えスイッチ２７は、第１切り替えスイッチに相当し、Ｎチャネル型のＭＯＳトランジスタで構成される。切り替えスイッチ２７では、ドレインが第１電荷蓄積部２１の一端に接続され、ソースが第３電荷蓄積部２８の一端に接続されている。すなわち、切り替えスイッチ２７は、第１電荷蓄積部２１と第３電荷蓄積部２８との間に配置される。切り替えスイッチ２７は、行走査部２０１からゲートに入力される制御信号に基づいてオンおよびオフする。切り替えスイッチ２７がオンすると、光電変換素子１０で光電変換された電荷が、切り替えスイッチ２７を介して第３電荷蓄積部２８に蓄積される。
　第３電荷蓄積部２８は、光電変換素子１０で光電変換された電荷を一時的に保持するキャパシタで構成される。第３電荷蓄積部２８の他端は、接地されている。
　上記のように構成された画素Ｐでは、切り替えスイッチ２７が、第３電荷蓄積部２８を光電変換素子１０に接続するか否かによって、変換効率が変化する。切り替えスイッチ２７がオンすると、変換効率が低くなる。反対に、切り替えスイッチ２７がオフすると、変換効率は高くなる。
　下記の式（１）に、切り替えスイッチ２７がオンした際の変換効率（Ｌｏｗ）と、切り替えスイッチ２７がオフした際の変換効率（Ｈｉ）と、を示す。式（１）において、ｑは光電変換素子１０の電荷量である。また、Ｃｓｎ１、Ｃｓｎ２、Ｃｆｄ１は、それぞれ第１電荷蓄積部２１、第３電荷蓄積部２８、および第２電荷蓄積部２３の容量である。
Figure JPOXMLDOC01-appb-M000001
　式（１）によれば、変換効率（Ｌｏｗ）は、第１電荷蓄積部２１、第２電荷蓄積部２３および第３電荷蓄積部２８の各々の容量に依存する。このとき、第３電荷蓄積部２８の容量Ｃｓｎ２が大きくなるにつれて、飽和信号量も大きくなる。そのため、第３電荷蓄積部２８の容量Ｃｓｎ２は、第１電荷蓄積部２１の容量Ｃｓｎ１よりも大きいことが望ましい。
　また、読み出しノイズは、容量Ｃｓｎ１および容量Ｃｓｎ２の加算値と、容量Ｃｆｄ１とのバランスに依存する。例えば、上記加算値が容量Ｃｆｄ１に等しいことが望ましい。なお、読み出しノイズは、例えばＤＤＳ（Double Delta Sampling）駆動における入力換算ランダムノイズ（ＲＮ）、換言するとｋＴ／Ｃノイズである。さらに、容量Ｃｆｄ１が大きくなるにつれて、第２電荷蓄積部２３で蓄積可能な電荷量が増加する。
　上述した画素回路２０の構成により、光電変換素子１０への入射光の光量が基準値よりも小さい低照度時には、切り替えスイッチ２７をオフ状態にすることによって、読み出しノイズを減少させることができる。反対に、光電変換素子１０への入射光の光量が基準値よりも高い高照度時には、切り替えスイッチ２７をオン状態にすることで飽和信号量を増加させることができる。
　以下、画素回路２０の読み出し動作について説明する。
　図３は、画素回路２０の読み出し動作の一例を示すタイミングチャートである。この読み出し動作では、変換効率（Ｌｏｗ）に設定されている。そのため、切り替えスイッチ２７（ＳＮＧ）は、Ｄ相（Data Phase）およびＰ相（Reset Phase）に関わらず、常時オン状態である。
　図３に示すタイミングチャートでは、まず、時刻ｔ１から時刻ｔ２までの電荷蓄積時間で、リセットトランジスタ２４（ＲＳＴ）、転送トランジスタ２２（ＴＲＧ）、および選択トランジスタ２６（ＳＥＬ）は、オフ状態である。そのため、光電変換素子１０で光電変換された電荷が、第１電荷蓄積部２１および第３電荷蓄積部２８に蓄積される。
　次に、時刻ｔ２から時刻ｔ３までの時間内で、転送トランジスタ２２が、オフ状態からオン状態に切り替わる。これにより、第１電荷蓄積部２１および第３電荷蓄積部２８に蓄積された電荷が、第２電荷蓄積部２３に転送され、増幅トランジスタ２５で画素信号として増幅される。続いて、転送トランジスタ２２がオフ状態に戻ると、選択トランジスタ２６がオンする。これにより、画素信号が、垂直信号線Ｌｓｉｇに出力される。
　次に、時刻ｔ３から時刻ｔ４までの時間内で、選択トランジスタ２６がオフする。続いて、リセットトランジスタ２４、転送トランジスタ２２、および選択トランジスタ２６が、同時にオフ状態からオン状態に切り替わる。これにより、第２電荷蓄積部２３に残った電荷がリセットトランジスタ２４を介して排出されるため、第２電荷蓄積部２３は、初期状態にリセットされる。その後、再び、上記動作が繰り返される。
　なお、変換効率（Ｈｉ）に設定された読み出し動作では、切り替えスイッチ２７（ＳＮＧ）は、Ｄ相（Data Phase）およびＰ相（Reset Phase）に関わらず、常時オフ状態である。また、各トランジスタのゲートに入力される信号のパルスのタイミングを調整することによって、画素領域１０Ｐは、全ての画素Ｐが同じタイミングで電荷を蓄積する（露光する）グローバルシャッタ方式で駆動することも、各画素Ｐが異なるタイミングで電荷を蓄積するローリングシャッタ方式で駆動することもできる。
　図４は、画素回路２０の読み出し動作の別の一例を示すタイミングチャートである。ここでは、図３に示すタイミングチャートと異なる点を説明する。図３に示すタイミングチャートでは、変換効率（Ｈｉ）に設定された電荷と、変換効率（Ｌｏｗ）に設定された電荷と、は異時に読み出される。
　一方、図４に示すタイミングチャートでは、電荷蓄積時間（時刻ｔ１から時刻ｔ２までの時間）後の時刻ｔ２から時刻ｔ３までの時間内では、切り替えスイッチ２７がオフ状態に維持されて選択トランジスタ２６がオンするため、変換効率（Ｈｉ）に設定された電荷が読み出される。
　次に、時刻ｔ３から時刻ｔ４までの時間内では、切り替えスイッチ２７がオフ状態からオン状態に切り替わった後に選択トランジスタ２６が再びオンするため、変換効率（Ｌｏｗ）に設定された電荷が読み出される。
　その後、時刻ｔ４から時刻ｔ５までの時間内では、第２電荷蓄積部２３に残った電荷がリセットトランジスタ２４を介して排出されるため、第２電荷蓄積部２３は、初期状態にリセットされる。
　図４に示すタイミングチャートによれば、変換効率（Ｈｉ）に設定された電荷と、変換効率（Ｌｏｗ）に設定された電荷と、を一回の露光で同時に読み出すことができる。また、この読み出し動作では、切り替えスイッチ２７を介して第１電荷蓄積部２１から溢れた電荷を第３電荷蓄積部２８に蓄積することによって、一回の露光でダイナミックレンジを拡大することもできる。
　以上説明した本実施形態によれば、画素回路２０には、切り替えスイッチ２７および第３電荷蓄積部２８が設けられている。そのため、照度条件に応じて切り替えスイッチ２７のオンおよびオフを切り替えることによって、画素回路２０における電荷蓄積部全体の容量が変化する。これにより、変換効率も変化するので、ダイナミックレンジを拡大することが可能となる。
　なお、画素領域１０Ｐ内では、照度条件が画素Ｐ毎に異なる場合があり得る。そのため、画素領域１０Ｐ内で、切り替えスイッチ２７がオンした（変換効率（Ｌｏｗ）に設定された）画素Ｐと、切り替えスイッチ２７がオフした（変換効率（Ｈｉ）に設定された）画素Ｐとが、混在してもよい。この場合、画素Ｐ毎に変換率を最適化することが可能となる。
　（第１変形例）
　以下、第１実施形態のいくつかの変形例を説明する。上述した第１実施形態と同様の構成要素には、同じ符号を付し、詳細な説明を省略する。
　図５は、第１変形例に係る画素の構成を示す回路図である。また、図６は、第１変形例に係る画素回路の読み出し動作の一例を示すタイミングチャートである。
　図５に示すように、本変形例に係る画素回路２０ａは、上述した画素回路２０の構成要素に加えて、オーバーフローゲート（ＯＦＧ）トランジスタ２９をさらに有する。オーバーフローゲートトランジスタ２９は、Ｎチャネル型ＭＯＳトランジスタで構成される。オーバーフローゲートトランジスタ２９では、ドレインが切り替えスイッチ２７のソースおよび第３電荷蓄積部２８の一端に接続され、ソースは電源ＶＤＤに接続されている。オーバーフローゲートトランジスタ２９は、行走査部２０１からゲートに入力される排出信号に基づいてオンおよびオフする。
　本変形例では、図６に示すように、時刻ｔ２から時刻ｔ３までの時間内において、選択トランジスタ２６がオフして選択トランジスタ２６がオンするまでの間に、オーバーフローゲートトランジスタ２９は、オフ状態からオン状態に切り替わる。これにより、第３電荷蓄積部２８に残った電荷が、オーバーフローゲートトランジスタ２９を介して電源ＶＤＤに排出される。
　以上説明した本変形例によれば、画素回路２０ａがオーバーフローゲートトランジスタ２９を有することによって、第３電荷蓄積部２８に残った電荷を排出することができる。これにより、他の画素Ｐへのブルーミングを抑制することが可能となる。
　（第２変形例）
　図７は、第２変形例に係る画素の構成を示す回路図である。また、図８は、第２変形例に係る画素回路の読み出し動作の一例を示すタイミングチャートである。
　上述した第１実施形態に係る画素回路２０では、図２に示すように、転送トランジスタ２２、リセットトランジスタ２４、および切り替えスイッチ２７の全てが、Ｎチャネル型ＭＯＳトランジスタで構成される。一方、本変形例に係る画素回路２０ｂでは、図７に示すように、転送トランジスタ２２、リセットトランジスタ２４、および切り替えスイッチ２７の全てが、Ｐチャネル型ＭＯＳトランジスタで構成される。
　上記のように、本変形例では、転送トランジスタ２２、リセットトランジスタ２４、および切り替えスイッチ２７の導電型が第１実施形態と反対である。そのため、本変形例では、図８に示すように、各トランジスタのゲートに入力される信号レベルが、第１実施形態と反対になる。
　以上説明した本変形例によれば、転送トランジスタ２２、リセットトランジスタ２４、および切り替えスイッチ２７が、全てＰチャネル型ＭＯＳトランジスタで構成される。そのため、光電変換素子１０からの信号電荷の読み出しが、正の電荷であるホールの読み出しとなる。この場合、これらのトランジスタがＮチャネル型ＭＯＳトランジスタで構成される場合に比べて、電荷が第１電荷蓄積部２１、第２電荷蓄積部２３、および第３電荷蓄積部２８から溢れにくくなる。よって、本変形例も、互いに隣接する画素Ｐ間のブルーミングを抑制することが可能となる。
　（第３変形例）
　図９は、第３変形例に係る画素の構成を示す回路図である。図９に示す画素回路２０ｃには、上述した第２変形例の画素回路２０ｂの構成要素に加えて、第１変形例で説明したオーバーフローゲートトランジスタ２９がさらに設けられている。ただし、本変形例では、オーバーフローゲートトランジスタ２９は、Ｐチャネル型ＭＯＳトランジスタで構成される。
　本変形例に係る画素回路２０ｃは、第１変形例と第２変形例とを組み合わせた構成を有する。そのため、オーバーフローゲートトランジスタ２９によって、第３電荷蓄積部２８に残った電荷を排出でき、また、画素トランジスタをＰチャネル型ＭＯＳトランジスタで構成することによって、電荷が第１電荷蓄積部２１、第２電荷蓄積部２３、および第３電荷蓄積部２８から溢れにくくなる。
　したがって、本変形例によれば、ブルーミングの抑制効果を高めることが可能となる。
　（第４変形例）
　図１０Ａ、図１０Ｂ、および図１０Ｃは、第４変形例に係る画素の構成を示す回路図である。また、図１１は、第４変形例に係る画素回路の読み出し動作の一例を示すタイミングチャートである。
　本変形例では、図１０Ａ～図１０Ｃに示すように、切り替えスイッチ３０が画素Ｐ１１と画素Ｐ１２との間に配置されている。画素Ｐ１１および画素Ｐ１２は、垂直信号線Ｌｓｉｇに共通に接続され、互いに隣接している。切り替えスイッチ３０は、第３切り替えスイッチに相当し、Ｎチャネル型ＭＯＳトランジスタで構成される。
　図１０Ａでは、切り替えスイッチ３０のドレインは、画素Ｐ１１の第２電荷蓄積部２３に接続され、ソースは画素Ｐ１２の第２電荷蓄積部２３に接続されている。切り替えスイッチ３０は、行走査部２０１からゲートに入力される信号に基づいてオンおよびオフする。
　図１１に示すように、例えば、切り替えスイッチ３０（ＦＤＸ）が、時刻ｔ１～時刻ｔ４までの時間内（Ｄ相およびＰ相の期間内）で常時オン状態であると、第２電荷蓄積部２３が画素Ｐ１１と画素Ｐ１２との間で共有され、これにより第２電荷蓄積部２３に蓄積された電荷が加算される。その結果、感度や飽和信号量が２倍になる。一方、切り替えスイッチ３０が上記時間内で常時オフ状態であると、第２電荷蓄積部２３は共有されないため、各第２電荷蓄積部２３に蓄積された電荷は加算されない。
　図１０Ｂでは、切り替えスイッチ３０は、画素Ｐ１１の第１電荷蓄積部２１と画素Ｐ１２の第１電荷蓄積部２１との間に配置されている。切り替えスイッチ３０が常時オン状態であると、画素Ｐ１１の第１電荷蓄積部２１が切り替えスイッチ３０を介して画素Ｐ１２の第１電荷蓄積部２１と接続される。この場合、第１電荷蓄積部２１が画素Ｐ１１と画素Ｐ１２との間で共有され、これにより第１電荷蓄積部２１に蓄積された電荷が加算される。その結果、信号飽和量が２倍になる。一方、切り替えスイッチ３０が上記時間内で常時オフ状態であると、第１電荷蓄積部２１は共有されないため、各第１電荷蓄積部２１に蓄積された電荷は加算されない。
　図１０Ｃでは、切り替えスイッチ３０は、画素Ｐ１１の第３電荷蓄積部２８と画素Ｐ１２の第３電荷蓄積部２８との間に配置されている。切り替えスイッチ３０が常時オン状態であると、画素Ｐ１１の第３電荷蓄積部２８が切り替えスイッチ３０を介して画素Ｐ１２の第３電荷蓄積部２８と接続される。この場合、第３電荷蓄積部２８が画素Ｐ１１と画素Ｐ１２との間で共有され、第３電荷蓄積部２８に蓄積された電荷が加算される。その結果、信号飽和量が２倍になる。一方、切り替えスイッチ３０が上記時間内で常時オフ状態であると、第３電荷蓄積部２８は共有されないため、各第３電荷蓄積部２８に蓄積された電荷は加算されない。
　以上説明した本変形例によれば、切り替えスイッチ３０が、互いに隣接する画素に配置された、第１電荷蓄積部２１、第２電荷蓄積部２３、または第３電荷蓄積部２８を接続するか否か切り替えることができる。これにより、感度や飽和信号量を調整することができる。なお、本変形例では、切り替えスイッチ３０は、垂直信号線Ｌｓｉｇに平行な方向（上下方向）で隣接する画素間に配置されているが、垂直信号線Ｌｓｉｇに直交する方向（左右方向）で隣接する画素間に配置されていてもよい。
　（第２実施形態）
　図１２Ａおよび図１２Ｂは、第２実施形態に係る画素の構成を示す回路図である。上述した第１実施形態と同様の構成要素には、同じ符号を付し、詳細な説明を省略する。
　図１２Ａに示す画素回路２０ｄおよび図１２Ｂに示す画素回路２０ｅは、第１実施形態で説明した画素回路２０の構成要素に加えて、切り替えスイッチ３１および第４電荷蓄積部３２をさらに有する。切り替えスイッチ３１は、第２切り替えスイッチに相当し、Ｎチャネル型ＭＯＳトランジスタで構成される。第４電荷蓄積部３２は、キャパシタで構成される。
　図１２Ａに示す画素回路２０ｄでは、切り替えスイッチ３１では、ドレインはリセットトランジスタ２４のソースに接続され、ソースは、第２電荷蓄積部２３に接続されている。切り替えスイッチ３１は、行走査部２０１からゲートに入力される信号に基づいてオンおよびオフする。第４電荷蓄積部３２の一端は、リセットトランジスタ２４のソースおよび切り替えスイッチ３１のドレインに接続され、他端は接地されている。転送トランジスタ２２および切り替えスイッチ３１がオンすると、第１電荷蓄積部２１に蓄積された電荷が、第２電荷蓄積部２３とともに第４電荷蓄積部３２にも転送される。
　一方、図１２Ｂに示す画素回路２０ｅでは、切り替えスイッチ３１のドレインは、第２電荷蓄積部２３およびリセットトランジスタ２４のソース、および増幅トランジスタ２５のゲートに接続されている。ソースは、第４電荷蓄積部３２の一端に接続される。第４電荷蓄積部３２の他端は、接地されている。すなわち、第４電荷蓄積部３２は、切り替えスイッチ３１を介して第２電荷蓄積部２３に接続されている。
　上記のように構成された画素回路２０ｄおよび画素回路２０ｅでは、切り替えスイッチ２７が、第３電荷蓄積部２８を光電変換素子１０に接続するか否か切り替えることと、切り替えスイッチ３１が第４電荷蓄積部３２を第２電荷蓄積部２３に接続するか否か切り替えることによって、変換効率が変化する。切り替えスイッチ２７がオンすると、変換効率が低くなる。反対に、切り替えスイッチ２７がオフすると、変換効率は高くなる。
　下記の式（２）に、切り替えスイッチ２７および切り替えスイッチ３１がオンした際の変換効率（Ｌｏｗ）と、切り替えスイッチ２７および切り替えスイッチ３１がオフした際の変換効率（Ｈｉ）と、を示す。
　式（２）において、Ｃｆｄ2は、第４電荷蓄積部３２の容量である。
Figure JPOXMLDOC01-appb-M000002
　式（２）によれば、変換効率（Ｌｏｗ）は、第１電荷蓄積部２１、第２電荷蓄積部２３、第３電荷蓄積部２８、および第４電荷蓄積部３２の各々の容量に依存する。このとき、第４電荷蓄積部３２の容量Ｃｆｄ２が大きくなるにつれて、飽和信号量も大きくなる。そのため、第４電荷蓄積部３２の容量Ｃｆｄ２は、第２電荷蓄積部２３の容量Ｃｆｄ１よりも大きいことが望ましい。
　また、読み出しノイズは、容量Ｃｓｎ１および容量Ｃｓｎ２の第１加算値と、容量Ｃｆｄ１および容量Ｃｆｄ２の第２加算値とのバランスに依存する。例えば、第１加算値が第２加算値に等しいことが望ましい。
　本実施形態では、光電変換素子１０への入射光の光量が基準値よりも小さい低照度時には、切り替えスイッチ２７および切り替えスイッチ３１をオフ状態にすることによって、読み出しノイズを減少させることができる。反対に、光電変換素子１０への入射光の光量が基準値よりも高い高照度時には、切り替えスイッチ２７および切り替えスイッチ３１をオン状態にすることで飽和信号量を増加させることができる。
　図１３は、第２実施形態に係る画素回路２０ｄ、２０ｅの読み出し動作の一例を示すタイミングチャートである。この読み出し動作では、変換効率（Ｌｏｗ）に設定されている。この場合、本実施形態では、切り替えスイッチ２７（ＳＮＧ）だけでなく切り替えスイッチ３１（ＦＤＧ）も、Ｄ相およびＰ相に関わらず、常時オン状態である。一方、変換効率（Ｈｉ）に設定された読み出し動作では、切り替えスイッチ２７および切り替えスイッチ３１は、Ｄ相およびＰ相に関わらず、常時オフ状態である。このように、切り替えスイッチ３１は、切り替えスイッチ２７と同期して動作する。
　なお、本実施形態でも、第１実施形態と同様に、リセットトランジスタ２４、転送トランジスタ２２、および選択トランジスタ２６を図１１に示すタイミングチャートで駆動してもよい。この場合、変換効率（Ｈｉ）に設定された電荷と、変換効率（Ｌｏｗ）に設定された電荷と、を一回の露光で同時に読み出すことができる。また、この読み出し動作では、切り替えスイッチ３１を介して第２電荷蓄積部２３から溢れた電荷を第４電荷蓄積部３２に蓄積することによって、一回の露光でダイナミックレンジを拡大することもできる。
　以上説明した本実施形態によれば、切り替えスイッチ２７に加えて切り替えスイッチ３１のオンおよびオフを制御することによって、変換効率を切り替えることができる。さらに、第１電荷蓄積部２１および第３電荷蓄積部２８のＳＮ容量と、第２電荷蓄積部２３および第４電荷蓄積部３２のＦＤ容量とのバランスを調整することで、より広い照度条件で高いＳＮ比での撮像が可能になる。
　（第５変形例）
　以下、第２実施形態のいくつかの変形例を説明する。上述した第２実施形態と同様の構成要素には、同じ符号を付し、詳細な説明を省略する。
　図１４Ａおよび図１４Ｂは、第５変形例に係る画素の構成を示す回路図である。
　図１４Ａに示す画素回路２０ｆおよび図１４Ｂに示す画素回路２０ｇは、上述した第１変形例と同様に、オーバーフローゲートトランジスタ２９をさらに有する。
　本変形例では、オーバーフローゲートトランジスタ２９は、第１変形例と同様に、図６に示すタイミングチャートで駆動する。すなわち、時刻ｔ２から時刻ｔ３までの時間内において、選択トランジスタ２６がオフして選択トランジスタ２６がオンするまでの間に、オーバーフローゲートトランジスタ２９は、オフ状態からオン状態に切り替わる。これにより、第３電荷蓄積部２８に残った電荷が、オーバーフローゲートトランジスタ２９を介して電源ＶＤＤに排出される。このとき、切り替えスイッチ３１は、変換効率（Ｈｉ）に設定されている場合には、切り替えスイッチ２７とともに常時オフ状態であり、変換効率（Ｌｏｗ）に設定されている場合には、切り替えスイッチ２７とともに常時オン状態である。
　以上説明した本変形例によれば、画素回路２０ｆ、２０ｇがオーバーフローゲートトランジスタ２９を有することによって、第３電荷蓄積部２８に残った電荷を排出することができる。これにより、他の画素Ｐへのブルーミングを抑制することが可能となる。
　（第６変形例）
　図１５Ａおよび図１５Ｂは、第６変形例に係る画素の構成を示す回路図である。図１５Ａに示す画素回路２０ｈを、図１２Ａに示す画素回路２０ｄと対比すると、転送トランジスタ２２、リセットトランジスタ２４、切り替えスイッチ２７、および切り替えスイッチ３１の全てが、Ｎチャネル型ＭＯＳトランジスタの代わりにＰチャネル型ＭＯＳトランジスタで構成されている。
　同様に、図１５Ｂに示す画素回路２０ｉを、図１２Ｂに示す画素回路２０ｅと対比すると、転送トランジスタ２２、リセットトランジスタ２４、切り替えスイッチ２７、および切り替えスイッチ３１の全てが、Ｎチャネル型ＭＯＳトランジスタの代わりにＰチャネル型ＭＯＳトランジスタで構成されている。
　上記のように、本変形例では、転送トランジスタ２２、リセットトランジスタ２４、切り替えスイッチ２７、および切り替えスイッチ３１の導電型が第２実施形態と反対である。そのため、本変形例では、各トランジスタのゲートに入力される信号レベルが、第２実施形態と反対になる。
　以上説明した本変形例によれば、転送トランジスタ２２、リセットトランジスタ２４、切り替えスイッチ２７、および切り替えスイッチ３１が、全てＰチャネル型ＭＯＳトランジスタで構成される。そのため、光電変換素子１０からの信号電荷の読み出しが、正の電荷であるホールの読み出しとなる。そのため、電荷が第１電荷蓄積部２１、第２電荷蓄積部２３、第３電荷蓄積部２８、および第４電荷蓄積部３２から溢れにくくなる。よって、本変形例も、互いに隣接する画素間のブルーミングを抑制することが可能となる。
　（第７変形例）
　図１６Ａおよび図１６Ｂは、第７変形例に係る画素の構成を示す回路図である。図１６Ａに示す画素回路２０ｊを図１４Ａに示す画素回路２０ｆと対比すると、転送トランジスタ２２、リセットトランジスタ２４、切り替えスイッチ２７、切り替えスイッチ３１、およびオーバーフローゲートトランジスタ２９の全てが、Ｎチャネル型ＭＯＳトランジスタの代わりにＰチャネル型ＭＯＳトランジスタで構成されている。
　同様に、図１６Ｂに示す画素回路２０ｋを図１４Ｂに示す画素回路２０ｇと対比すると、転送トランジスタ２２、リセットトランジスタ２４、切り替えスイッチ２７、切り替えスイッチ３１、およびオーバーフローゲートトランジスタ２９の全てが、Ｎチャネル型ＭＯＳトランジスタの代わりにＰチャネル型ＭＯＳトランジスタで構成されている。
　本変形例に係る画素回路２０ｋは、第５変形例と第６変形例とを組み合わせた構成を有する。そのため、オーバーフローゲートトランジスタ２９によって、第３電荷蓄積部２８に残った電荷を排出でき、また、画素トランジスタをＰチャネル型ＭＯＳトランジスタで構成することによって、電荷が第１電荷蓄積部２１、第２電荷蓄積部２３、および第３電荷蓄積部２８から溢れにくくなる。
　したがって、本変形例によれば、ブルーミングの抑制効果を高めることが可能となる。
　（第８変形例）
　図１７Ａおよび図１７Ｂは、第８変形例に係る画素の構成を示す回路図である。本変形例では、上述した第４変形例と同様に、切り替えスイッチ３０が画素Ｐ２１と画素Ｐ２２との間に配置されている。画素Ｐ２１および画素Ｐ２２は、垂直信号線Ｌｓｉｇに共通に接続され、互いに隣接している。
　図１７Ａでは、画素Ｐ２１および画素Ｐ２２の各々は、図１２Ａに示す画素回路２０ｄを有する。一方、図１７Ｂでは、画素Ｐ２１および画素Ｐ２２の各々は、図１２Ｂに示す画素回路２０ｅを有する。また、切り替えスイッチ３０のドレインは、画素Ｐ２１の第２電荷蓄積部２３と切り替えスイッチ３１との間に接続され、ソースは画素Ｐ２２の第２電荷蓄積部２３と切り替えスイッチ３１との間に接続されている。
　本変形例も、第４変形例と同様に、画素Ｐ２１および画素Ｐ２２の電荷を加算する場合には、切り替えスイッチ３１は、Ｄ相およびＰ相の期間内で常時オン状態になる。反対に、電荷を加算しない場合には、切り替えスイッチ３１は、Ｄ相およびＰ相の期間内で常時オフ状態になる。
　なお、切り替えスイッチ３０の接続形態は、図１７Ａおよび図１７Ｂに示す配置に限定されない。切り替えスイッチ３０は、図１０Ｂと同様に、第２電荷蓄積部２１同士の接続を切り替えてもよいし、図１０Ｃと同様に、第３電荷蓄積部２８同士の接続を切り替えてもよい。
　以上説明した本変形例によれば、切り替えスイッチ３０が、互いに隣接する画素に配置された、第１電荷蓄積部２１、第２電荷蓄積部２３、または第３電荷蓄積部２８を接続するか否か切り替えることができる。これにより、感度や飽和信号量を調整することができる。なお、本変形例では、切り替えスイッチ３０は、垂直信号線Ｌｓｉｇに平行な方向で隣接する画素間に配置されているが、垂直信号線Ｌｓｉｇに直交する方向で隣接する画素間に配置されていてもよい。
　＜適用例＞
　上述した撮像装置１は、赤外領域を撮像可能なカメラの他に、様々なタイプの電子機器に適用することができる。図１８に、その一例として、電子機器３（カメラ）の概略構成を示す。この電子機器３は、例えば静止画または動画を撮影可能なカメラであり、撮像装置１と、光学系３１０と、シャッタ装置３１１と、撮像装置１およびシャッタ装置３１１を駆動する駆動部３１３と、信号処理部３１２と、を備える。
　光学系３１０は、被写体からの像光（入射光）を撮像装置１へ導く。この光学系３１０は、複数の光学レンズから構成されていてもよい。シャッタ装置３１１は、撮像装置１への光照射期間および遮光期間を制御する。駆動部３１３は、撮像装置１の転送動作およびシャッタ装置３１１のシャッタ動作を制御する。信号処理部３１２は、撮像装置１から出力された信号に対し、各種の信号処理を行う。信号処理後の映像信号Ｄｏｕｔは、メモリなどの記憶媒体に記憶されるか、あるいは、モニタ等に出力される。
＜体内情報取得システムへの応用例＞
　更に、本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
　図１９は、本開示に係る技術（本技術）が適用され得る、カプセル型内視鏡を用いた患者の体内情報取得システムの概略的な構成の一例を示すブロック図である。
　体内情報取得システム１０００１は、カプセル型内視鏡１０１００と、外部制御装置１０２００とから構成される。
　カプセル型内視鏡１０１００は、検査時に、患者によって飲み込まれる。カプセル型内視鏡１０１００は、撮像機能及び無線通信機能を有し、患者から自然排出されるまでの間、胃や腸等の臓器の内部を蠕動運動等によって移動しつつ、当該臓器の内部の画像（以下、体内画像ともいう）を所定の間隔で順次撮像し、その体内画像についての情報を体外の外部制御装置１０２００に順次無線送信する。
　外部制御装置１０２００は、体内情報取得システム１０００１の動作を統括的に制御する。また、外部制御装置１０２００は、カプセル型内視鏡１０１００から送信されてくる体内画像についての情報を受信し、受信した体内画像についての情報に基づいて、表示装置（図示せず）に当該体内画像を表示するための画像データを生成する。
　体内情報取得システム１０００１では、このようにして、カプセル型内視鏡１０１００が飲み込まれてから排出されるまでの間、患者の体内の様子を撮像した体内画像を随時得ることができる。
　カプセル型内視鏡１０１００と外部制御装置１０２００の構成及び機能についてより詳細に説明する。
　カプセル型内視鏡１０１００は、カプセル型の筐体１０１０１を有し、その筐体１０１０１内には、光源部１０１１１、撮像部１０１１２、画像処理部１０１１３、無線通信部１０１１４、給電部１０１１５、電源部１０１１６、及び制御部１０１１７が収納されている。
　光源部１０１１１は、例えばＬＥＤ（light emitting diode）等の光源から構成され、撮像部１０１１２の撮像視野に対して光を照射する。
　撮像部１０１１２は、撮像素子、及び当該撮像素子の前段に設けられる複数のレンズからなる光学系から構成される。観察対象である体組織に照射された光の反射光（以下、観察光という）は、当該光学系によって集光され、当該撮像素子に入射する。撮像部１０１１２では、撮像素子において、そこに入射した観察光が光電変換され、その観察光に対応する画像信号が生成される。撮像部１０１１２によって生成された画像信号は、画像処理部１０１１３に提供される。
　画像処理部１０１１３は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサによって構成され、撮像部１０１１２によって生成された画像信号に対して各種の信号処理を行う。画像処理部１０１１３は、信号処理を施した画像信号を、ＲＡＷデータとして無線通信部１０１１４に提供する。
　無線通信部１０１１４は、画像処理部１０１１３によって信号処理が施された画像信号に対して変調処理等の所定の処理を行い、その画像信号を、アンテナ１０１１４Ａを介して外部制御装置１０２００に送信する。また、無線通信部１０１１４は、外部制御装置１０２００から、カプセル型内視鏡１０１００の駆動制御に関する制御信号を、アンテナ１０１１４Ａを介して受信する。無線通信部１０１１４は、外部制御装置１０２００から受信した制御信号を制御部１０１１７に提供する。
　給電部１０１１５は、受電用のアンテナコイル、当該アンテナコイルに発生した電流から電力を再生する電力再生回路、及び昇圧回路等から構成される。給電部１０１１５では、いわゆる非接触充電の原理を用いて電力が生成される。
　電源部１０１１６は、二次電池によって構成され、給電部１０１１５によって生成された電力を蓄電する。図１９では、図面が煩雑になることを避けるために、電源部１０１１６からの電力の供給先を示す矢印等の図示を省略しているが、電源部１０１１６に蓄電された電力は、光源部１０１１１、撮像部１０１１２、画像処理部１０１１３、無線通信部１０１１４、及び制御部１０１１７に供給され、これらの駆動に用いられ得る。
　制御部１０１１７は、ＣＰＵ等のプロセッサによって構成され、光源部１０１１１、撮像部１０１１２、画像処理部１０１１３、無線通信部１０１１４、及び、給電部１０１１５の駆動を、外部制御装置１０２００から送信される制御信号に従って適宜制御する。
　外部制御装置１０２００は、ＣＰＵ，ＧＰＵ等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイクロコンピュータ若しくは制御基板等で構成される。外部制御装置１０２００は、カプセル型内視鏡１０１００の制御部１０１１７に対して制御信号を、アンテナ１０２００Ａを介して送信することにより、カプセル型内視鏡１０１００の動作を制御する。カプセル型内視鏡１０１００では、例えば、外部制御装置１０２００からの制御信号により、光源部１０１１１における観察対象に対する光の照射条件が変更され得る。また、外部制御装置１０２００からの制御信号により、撮像条件（例えば、撮像部１０１１２におけるフレームレート、露出値等）が変更され得る。また、外部制御装置１０２００からの制御信号により、画像処理部１０１１３における処理の内容や、無線通信部１０１１４が画像信号を送信する条件（例えば、送信間隔、送信画像数等）が変更されてもよい。
　また、外部制御装置１０２００は、カプセル型内視鏡１０１００から送信される画像信号に対して、各種の画像処理を施し、撮像された体内画像を表示装置に表示するための画像データを生成する。当該画像処理としては、例えば現像処理（デモザイク処理）、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の信号処理を行うことができる。外部制御装置１０２００は、表示装置の駆動を制御して、生成した画像データに基づいて撮像された体内画像を表示させる。あるいは、外部制御装置１０２００は、生成した画像データを記録装置（図示せず）に記録させたり、印刷装置（図示せず）に印刷出力させてもよい。
　以上、本開示に係る技術が適用され得る体内情報取得システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１０１１２に適用され得る。これにより、撮像部１０１１２のダイナミックレンジが拡大する。
＜内視鏡手術システムへの応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
　図２０は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
　図２０では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
　内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
　鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
　カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）１１２０１に送信される。
　ＣＣＵ１１２０１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
　表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
　光源装置１１２０３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。
　入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
　処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
　なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
　また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
　また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
　図２１は、図２０に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。
　カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
　レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
　撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（dimensional）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。
　また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
　駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。
　通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
　また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡１１１００に搭載されていることになる。
　カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
　通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
　また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
　画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
　制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
　また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
　カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
　ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
　以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１１４０２に適用され得る。これにより、撮像部１１４０２のダイナミックレンジが拡大する。
　なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
　＜移動体への応用例＞
　本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２２は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２２に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、および統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、および車載ネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、および、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声および画像のうちの少なくとも一方の出力信号を送信する。図１１の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２およびインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイおよびヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図２３は、撮像部１２０３１の設置位置の例を示す図である。
　図２３では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１および車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２３には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば撮像部１２０３１に適用され得る。具体的には、撮像装置１は、撮像部１２０３１に適用することができる。本開示に係る技術を適用することにより、撮像部１２０３１のダイナミックレンジが拡大する。
　なお、本技術は以下のような構成を取ることができる。
（１）　複数の画素の各々に設けられた光電変換素子と、
　前記光電変換素子に接続された第１電荷蓄積部と、
　前記第１電荷蓄積部と並列に接続された第２電荷蓄積部と、
　前記第２電荷蓄積部の電位をリセットするリセットトランジスタと、
　前記第１電荷蓄積部と前記第２電荷蓄積部との間に配置された転送トランジスタと、
　前記第１電荷蓄積部と並列に接続された第３電荷蓄積部と、
　前記第１電荷蓄積部と前記第３電荷蓄積部との間に配置され、前記第３電荷蓄積部を前記光電変換素子に接続するか否かを切り替える第１切り替えスイッチと、
を備える、撮像装置。
（２）　第１切り替えスイッチが、前記光電変換素子への入射光の光量に応じて前記第３電荷蓄積部を前記光電変換素子に接続するか否かを切り替える、（１）に記載の撮像装置。
（３）　第１切り替えスイッチは、前記光量が基準値よりも小さい場合にオフ状態となり、前記光量が前記基準値よりも大きい場合にオン状態となる、（２）に記載の撮像装置。
（４）　前記リセットトランジスタおよび前記第２電荷蓄積部にそれぞれ接続された第２切り替えスイッチと、
　前記リセットトランジスタと前記第２切り替えスイッチとの間に配置されるか、またはた前記第２切り替えスイッチを介して前記第２電荷蓄積部と並列に接続された第４電荷蓄積部と、をさらに備える、（１）から（３）のいずれかに記載の撮像装置。
（５）　前記第２切り替えスイッチは、前記第１切り替えスイッチと同期して前記第４電荷蓄積部を前記第２電荷蓄積部に接続するか否かを切り替える、（４）に記載の撮像装置。
（６）　前記第１電荷蓄積部および前記第３電荷蓄積部の容量の加算値が、前記第２電荷蓄積部および前記第４電荷蓄積部の容量の加算値に等しい、（４）または（５）に記載の撮像装置。
（７）　前記リセットトランジスタ、前記転送トランジスタ、前記第１切り替えスイッチ、および前記第２切り替えスイッチが、Ｐチャネル型ＭＯＳトランジスタである、（４）から（６）のいずれかに記載の撮像装置。
（８）　前記第２電荷蓄積部に蓄積された電荷量に応じた画素信号を出力するか否かを切り替える選択トランジスタをさらに備え、
　前記第１切り替えスイッチがオフ状態に維持されて前記選択トランジスタがオンし、続いて前記第１切り替えスイッチが前記オフ状態からオン状態に切り替わった後、前記選択トランジスタが再びオンする、（１）から（７）のいずれかに記載の撮像装置。
（９）　前記第３電荷蓄積部の容量が、前記第１電荷蓄積部の容量よりも大きい、（１）から（８）のいずれかに記載の撮像装置。
（１０）　前記複数の画素の中で、前記第１切り替えスイッチによって前記第３電荷蓄積部が前記光電変換素子に接続される画素と、前記第１切り替えスイッチによって前記第３電荷蓄積部が前記光電変換素子に接続されない画素と、が混在する、（１）から（９）のいずれかに記載の撮像装置。
（１１）　前記第３電荷蓄積部に蓄積された電荷を排出するオーバーフローゲートトランジスタをさらに備える、（１）から（１０）のいずれかに記載の撮像装置。
（１２）　前記リセットトランジスタ、前記転送トランジスタ、および第１切り替えスイッチが、Ｐチャネル型ＭＯＳトランジスタである、（１）から１０のいずれかに記載の撮像装置。
（１３）　前記複数の画素の中で互いに隣接する隣接画素にそれぞれ設けられた前記第２電荷蓄積部同士を接続するか否かを切り替える第３切り替えスイッチをさらに備える、（１）から（１０）のいずれかに記載の撮像装置。
（１４）　前記複数の画素の中で、前記隣接画素を加算する場合には前記第３切り替えスイッチは常時オン状態であり、前記隣接画素を加算しない場合には前記前記第３切り替えスイッチは常時オフ状態である、（１３）に記載の撮像装置。
　１：撮像装置
　１０：光電変換素子
　２１：第１電荷蓄積部
　２２：転送トランジスタ
　２３：第２電荷蓄積部
　２４：リセットトランジスタ
　２６：選択トランジスタ
　２７：切り替えスイッチ
　２８：第３電荷蓄積部
　２９：オーバーフローゲートトランジスタ
　３０：切り替えスイッチ
　３１：切り替えスイッチ
　３２：第４電荷蓄積部

Claims (14)

  1. 　複数の画素の各々に設けられた光電変換素子と、
    　前記光電変換素子に接続された第１電荷蓄積部と、
    　前記第１電荷蓄積部と並列に接続された第２電荷蓄積部と、
    　前記第２電荷蓄積部の電位をリセットするリセットトランジスタと、
    　前記第１電荷蓄積部と前記第２電荷蓄積部との間に配置された転送トランジスタと、
    　前記第１電荷蓄積部と並列に接続された第３電荷蓄積部と、
    　前記第１電荷蓄積部と前記第３電荷蓄積部との間に配置され、前記第３電荷蓄積部を前記光電変換素子に接続するか否かを切り替える第１切り替えスイッチと、
    を備える、撮像装置。
  2. 　第１切り替えスイッチが、前記光電変換素子への入射光の光量に応じて前記第３電荷蓄積部を前記光電変換素子に接続するか否かを切り替える、請求項１に記載の撮像装置。
  3. 　第１切り替えスイッチは、前記光量が基準値よりも小さい場合にオフ状態となり、前記光量が前記基準値よりも大きい場合にオン状態となる、請求項２に記載の撮像装置。
  4. 　前記リセットトランジスタおよび前記第２電荷蓄積部にそれぞれ接続された第２切り替えスイッチと、
    　前記リセットトランジスタと前記第２切り替えスイッチとの間に配置されるか、またはた前記第２切り替えスイッチを介して前記第２電荷蓄積部と並列に接続された第４電荷蓄積部と、をさらに備える、請求項１に記載の撮像装置。
  5. 　前記第２切り替えスイッチは、前記第１切り替えスイッチと同期して前記第４電荷蓄積部を前記第２電荷蓄積部に接続するか否かを切り替える、請求項４に記載の撮像装置。
  6. 　前記第１電荷蓄積部および前記第３電荷蓄積部の容量の加算値が、前記第２電荷蓄積部および前記第４電荷蓄積部の容量の加算値に等しい、請求項４に記載の撮像装置。
  7. 　前記リセットトランジスタ、前記転送トランジスタ、前記第１切り替えスイッチ、および前記第２切り替えスイッチが、Ｐチャネル型ＭＯＳトランジスタである、請求項４に記載の撮像装置。
  8. 　前記第２電荷蓄積部に蓄積された電荷量に応じた画素信号を出力するか否かを切り替える選択トランジスタをさらに備え、
    　前記第１切り替えスイッチがオフ状態に維持されて前記選択トランジスタがオンし、続いて前記第１切り替えスイッチが前記オフ状態からオン状態に切り替わった後、前記選択トランジスタが再びオンする、請求項１に記載の撮像装置。
  9. 　前記第３電荷蓄積部の容量が、前記第１電荷蓄積部の容量よりも大きい、請求項１に記載の撮像装置。
  10. 　前記複数の画素の中で、前記第１切り替えスイッチによって前記第３電荷蓄積部が前記光電変換素子に接続される画素と、前記第１切り替えスイッチによって前記第３電荷蓄積部が前記光電変換素子に接続されない画素と、が混在する、請求項１に記載の撮像装置。
  11. 　前記第３電荷蓄積部に蓄積された電荷を排出するオーバーフローゲートトランジスタをさらに備える、請求項１に記載の撮像装置。
  12. 　前記リセットトランジスタ、前記転送トランジスタ、および第１切り替えスイッチが、Ｐチャネル型ＭＯＳトランジスタである、請求項１に記載の撮像装置。
  13. 　前記複数の画素の中で互いに隣接する隣接画素にそれぞれ設けられた前記第２電荷蓄積部同士を接続するか否かを切り替える第３切り替えスイッチをさらに備える、請求項１に記載の撮像装置。
  14. 　前記複数の画素の中で、前記隣接画素を加算する場合には前記第３切り替えスイッチは常時オン状態であり、前記隣接画素を加算しない場合には前記前記第３切り替えスイッチは常時オフ状態である、請求項１３に記載の撮像装置。
PCT/JP2022/003761 2021-03-22 2022-02-01 撮像装置 WO2022201874A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/550,402 US20240163585A1 (en) 2021-03-22 2022-02-01 Imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021047710 2021-03-22
JP2021-047710 2021-03-22

Publications (1)

Publication Number Publication Date
WO2022201874A1 true WO2022201874A1 (ja) 2022-09-29

Family

ID=83396760

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/003761 WO2022201874A1 (ja) 2021-03-22 2022-02-01 撮像装置

Country Status (2)

Country Link
US (1) US20240163585A1 (ja)
WO (1) WO2022201874A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003134396A (ja) * 2001-10-29 2003-05-09 Canon Inc 撮像素子、撮像素子の駆動方法、その撮像素子を用いた放射線撮像装置及びそれを用いた放射線撮像システム
JP2018186398A (ja) * 2017-04-26 2018-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、および電子機器
WO2019155841A1 (ja) * 2018-02-07 2019-08-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子および撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003134396A (ja) * 2001-10-29 2003-05-09 Canon Inc 撮像素子、撮像素子の駆動方法、その撮像素子を用いた放射線撮像装置及びそれを用いた放射線撮像システム
JP2018186398A (ja) * 2017-04-26 2018-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、および電子機器
WO2019155841A1 (ja) * 2018-02-07 2019-08-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子および撮像装置

Also Published As

Publication number Publication date
US20240163585A1 (en) 2024-05-16

Similar Documents

Publication Publication Date Title
TWI754696B (zh) 固體攝像元件及電子機器
US11641529B2 (en) Imaging element
CN110537367B (zh) 固态成像捕捉装置和电子装置
JP7272969B2 (ja) 固体撮像素子および撮像装置
CN112534579A (zh) 摄像装置和电子设备
US11778352B2 (en) Imaging apparatus and electronic device
CN110169051B (zh) 固态摄像元件和电子设备
US11218658B2 (en) Solid-state imaging device, method of controlling the solid-state imaging device, and electronic apparatus to generate high dynamic range image
CN108702473B (zh) 成像元件和电子设备
WO2022201874A1 (ja) 撮像装置
CN111713100B (zh) 摄像器件和电子设备
WO2022097529A1 (ja) 撮像装置、撮像方法
CN114556906A (zh) 摄像装置和电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22774676

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18550402

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22774676

Country of ref document: EP

Kind code of ref document: A1