WO2019017217A1 - 固体撮像素子およびその制御方法、並びに電子機器 - Google Patents

固体撮像素子およびその制御方法、並びに電子機器 Download PDF

Info

Publication number
WO2019017217A1
WO2019017217A1 PCT/JP2018/025656 JP2018025656W WO2019017217A1 WO 2019017217 A1 WO2019017217 A1 WO 2019017217A1 JP 2018025656 W JP2018025656 W JP 2018025656W WO 2019017217 A1 WO2019017217 A1 WO 2019017217A1
Authority
WO
WIPO (PCT)
Prior art keywords
charge
unit
pixel
voltage
charge holding
Prior art date
Application number
PCT/JP2018/025656
Other languages
English (en)
French (fr)
Inventor
弘二 榎
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US16/632,430 priority Critical patent/US11218658B2/en
Publication of WO2019017217A1 publication Critical patent/WO2019017217A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/571—Control of the dynamic range involving a non-linear response
    • H04N25/575—Control of the dynamic range involving a non-linear response with a response composed of multiple slopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters

Definitions

  • the present technology relates to a solid-state imaging device and a control method thereof, and an electronic device, and more particularly, to a solid-state imaging device capable of generating an HDR image more easily and a control method thereof and an electronic device.
  • the exposure time, the area of the photodiode, and the area of the FD (floating diffusion) for accumulating charges are made different for a plurality of pixels arranged in the pixel array unit.
  • There is a technique of changing the sensitivity of a pixel by and performing HDR synthesis in the spatial direction see, for example, Patent Document 2).
  • the resolution drops.
  • the present technology has been made in view of such a situation, and makes it possible to generate an HDR image more easily.
  • the solid-state imaging device includes first and second charge holding units for holding charges generated by a photoelectric conversion unit of a pixel, the first charge holding unit, and the second charge.
  • first and second charge holding units for holding charges generated by a photoelectric conversion unit of a pixel, the first charge holding unit, and the second charge.
  • a control method of a solid-state imaging device includes first and second charge holding units for holding charges generated by a photoelectric conversion unit of a pixel, the first charge holding unit, and the first charge holding unit.
  • the voltage of the pixel signal output from the pixel of the solid-state imaging device includes a connection transistor that turns on and off the connection with the charge storage unit 2 and a control circuit that controls the connection transistor. Control is performed to connect the first charge holding unit and the second charge holding unit when the voltage matches the voltage of the ramp signal whose level changes accordingly.
  • An electronic device includes first and second charge holding units that hold charges generated by a photoelectric conversion unit of a pixel, the first charge holding unit, and the second charge holding unit.
  • a control circuit that performs control to connect the second charge holding unit.
  • the first and second charge holding units that hold the charge generated by the photoelectric conversion unit of the pixel, the first charge holding unit, and the second charge A connection transistor for turning on and off the connection with the holding portion and a control circuit for controlling the connection transistor are provided in the solid-state imaging device, and the voltage of the pixel signal output from the pixel changes in level with time. When the voltage matches the voltage of the ramp signal, control is performed so that the first charge holding unit and the second charge holding unit are connected.
  • the solid-state imaging device and the electronic device may be independent devices or may be modules incorporated in other devices.
  • an HDR image can be generated more easily.
  • FIG. 1 is a block diagram showing a schematic configuration of a solid-state imaging device to which the present technology is applied. It is a figure which shows the detailed circuit of a pixel and a saturation detection circuit. It is a figure explaining the operation
  • FIG. 1 It is a figure which shows an example of a schematic structure of an endoscopic surgery system. It is a block diagram which shows an example of a function structure of a camera head and CCU. It is a block diagram showing an example of rough composition of a vehicle control system. It is explanatory drawing which shows an example of the installation position of a vehicle exterior information detection part and an imaging part.
  • FIG. 1 is a block diagram showing a schematic configuration of a solid-state imaging device to which the present technology is applied.
  • the solid-state imaging device 1 shown in FIG. 1 includes a pixel array unit 11, a vertical scanning circuit 12, a DAC (Digital to Analog Converter) 13, a comparing unit 14, a counter unit 15, a horizontal scanning circuit 16, a signal processing unit 17, and an output unit. 18 and at least a timing control unit 19.
  • a plurality of pixels 21 are two-dimensionally arranged in a matrix in the row direction and the column direction.
  • the reset signal RST, the transfer signal TRG, and the selection signal SEL are supplied from the vertical scanning circuit 12 to the pixels 21 arranged in a matrix via the drive wirings 22.
  • Each pixel 21 transmits a pixel signal VSL generated by photoelectric conversion of a photoelectric conversion unit such as a photodiode in the column direction via the first vertical signal line 23 and outputs the pixel signal VSL to the comparison unit 14.
  • a comparator (comparator) 31 and a saturation detection circuit 32 are provided corresponding to each pixel column of the pixel array unit 11. Further, in the counter unit 15, counters (CNTs) 33 are provided corresponding to the respective pixel columns of the pixel array unit 11. Therefore, the comparators 31, the saturation detection circuits 32, and the counters 33 are provided in the same number as the pixel columns.
  • the circuit configuration of the pixel 21 will be described later with reference to FIG. 2, but the pixel 21 has a high sensitivity FD 40 H for high sensitivity and a low sensitivity FD 40 L for low sensitivity (FIG. 2) as FD (floating diffusion). Switching between high sensitivity for low illumination and low sensitivity for high illumination according to the charge generated by light reception. In the case of high sensitivity for low illumination, only high sensitivity FD40H for high sensitivity is used, and in the case of low sensitivity for high illumination, both high sensitivity FD40H and low sensitivity FD40L are used.
  • An FD control signal GA for switching between high sensitivity and low sensitivity is supplied from the saturation detection circuit 32 in the same column to each pixel 21 via the second vertical signal line 24.
  • Each drive wiring 22 transmitting the reset signal RST, the transfer signal TRG, or the selection signal SEL is wired in the horizontal direction for each pixel row with respect to the matrix pixel arrangement of the pixel array unit 11.
  • the first vertical signal line 23 and the second vertical signal line 24 are wired in the vertical direction for each pixel column.
  • the vertical scanning circuit 12 is configured by a shift register, an address decoder, and the like, and drives each pixel 21 of the pixel array unit 11 simultaneously for all pixels or in units of rows.
  • the DAC 13 generates a ramp signal Ramp whose level (voltage) changes stepwise as time passes, and supplies the ramp signal Ramp to each comparator 31 in the comparison unit 14.
  • Each comparator 31 of the comparison unit 14 compares the voltage of the pixel signal VSL supplied from the pixels 21 in the same column via the first vertical signal line 23 with the voltage of the ramp signal Ramp supplied from the DAC 13, and the comparison result It outputs Comp to the saturation detection circuit 32 and the counter 33.
  • the saturation detection circuit 32 of the comparison unit 14 is supplied with the comparison result Comp from the comparator 31, and is also supplied with the detection reset signal DET_RST and the detection enable signal DET_ENB from the timing control unit 19.
  • Each saturation detection circuit 32 detects saturation of the high sensitivity FD 40H during a detection period indicated by the detection enable signal DET_ENB based on the comparison result Comp from the comparator 31.
  • the saturation detection circuit 32 outputs a saturation detection result indicating whether or not the high sensitivity FD 40 H is saturated to the pixel 21 as an FD control signal GA for switching between high sensitivity and low sensitivity.
  • the sensitivity is switched from the high sensitivity to the low sensitivity.
  • Each counter 33 of the counter unit 15 counts the comparison time of the comparator 31. More specifically, each counter 33 counts the time until the comparison result Comp obtained by comparing the pixel signal VSL and the ramp signal Ramp changes from Hi level to Lo level or from Lo level to Hi level. .
  • the counter 33 counts down only while the comparison result Comp of Hi level is supplied, for example, in the P phase (Preset Phase) period, and the comparison result Comp of Hi level is supplied in the D phase (Data Phase) period. Count up only while you are. Then, the counter 33 uses pixel data after CDS (Correlated Double Sampling) processing and AD conversion processing as the addition result of the down count value of the P phase period and the up count value of the D phase period. .
  • CDS Correlated Double Sampling
  • the counter 33 executes the HDR processing to convert pixel data after AD conversion processing into pixel data of HDR (High Dynamic Range) based on the saturation detection result by the saturation detection circuit 32, and the pixel after HDR processing The data is output to the horizontal scanning circuit 16.
  • HDR High Dynamic Range
  • up-counting may be performed in the P-phase period, and down-counting may be performed in the D-phase period.
  • the comparator 31, the saturation detection circuit 32, and the counter 33 constitute an AD conversion unit that performs CDS processing and AD conversion processing of the pixel signal.
  • the horizontal scanning circuit 16 is configured of a shift register, an address decoder, and the like, and sequentially selects the plurality of counters 33 in the counter unit 15 in a predetermined order.
  • the pixel data (pixel signal after AD conversion) temporarily held by the counter 33 is sequentially output to the signal processing unit 17 by the selective scanning by the horizontal scanning circuit 16.
  • the signal processing unit 17 performs predetermined signal processing on the signals sequentially supplied from the horizontal scanning circuit 16 and outputs the processed signal to the output unit 18.
  • the signal processing unit 17 may perform only buffering, for example, or may perform various digital signal processing such as black level adjustment and column variation correction. Note that the signal processing unit 17 may perform the HDR processing described as being performed by each counter 33.
  • the output unit 18 outputs the pixel signal (HDR image signal) after the HDR processing of the solid-state imaging device 1 to the outside.
  • the timing control unit 19 includes a timing generator that generates various timing signals, and the vertical scanning circuit 12, the DAC 13, the counter unit 15, and the horizontal scanning circuit 16 based on various timings generated by the timing generator. Drive control. Further, the timing control unit 19 generates the detection reset signal DET_RST and the detection enable signal DET_ENB, and supplies the detection reset signal DET_RST and the detection enable signal DET_ENB to the saturation detection circuit 32 of the comparison unit 14.
  • the solid-state imaging device 1 configured as described above is a CMOS image sensor called a column AD system in which an AD conversion unit that performs CDS processing and AD conversion processing is disposed for each pixel column.
  • the solid-state imaging device 1 is an imaging device that can automatically perform sensitivity adjustment on a pixel basis of the pixel array unit 11 and output pixel data of an HDR image based on the result.
  • the solid-state imaging device 1 can also perform imaging in the normal mode in which the dynamic range is not expanded by changing the operation mode.
  • FIG. 2 shows one pixel 21 and a comparator 31, a saturation detection circuit 32, and a counter 33 arranged in the same pixel column.
  • the pixel 21 includes a photodiode PD, two FDs of high sensitivity FD 40H and low sensitivity FD 40L, a transfer transistor 41, a first reset transistor 42A, a second reset transistor 42B, an FD connection transistor 43, an amplification transistor 44, and a selection transistor 45.
  • a photodiode PD two FDs of high sensitivity FD 40H and low sensitivity FD 40L
  • a transfer transistor 41 a first reset transistor 42A, a second reset transistor 42B, an FD connection transistor 43, an amplification transistor 44, and a selection transistor 45.
  • the photodiode PD generates and accumulates a charge (signal charge) according to the amount of light received.
  • the anode terminal of the photodiode PD is grounded, and the cathode terminal is connected to the high sensitivity FD 40 H via the transfer transistor 41.
  • the transfer transistor 41 When turned on by the transfer signal TRG, the transfer transistor 41 reads the charge generated by the photodiode PD and transfers it to the high sensitivity FD 40H.
  • the high sensitivity FD 40 H and the low sensitivity FD 40 L hold the charge read from the photodiode PD.
  • the high sensitivity FD 40H is set to have higher sensitivity than the low sensitivity FD 40L because the holdable charge capacity is formed smaller than that of the low sensitivity FD 40L.
  • the charge capacity of the high sensitivity FD 40 H is not necessarily limited to the case where it is smaller than the charge capacity of the low sensitivity FD 40 L, and may be, for example, the same charge capacity.
  • the high sensitivity FD 40 H and the low sensitivity FD 40 L constitute one charge storage unit when the FD connection transistor 43 is turned on.
  • the first reset transistor 42A and the second reset transistor 42B when turned on by the reset signal RST, connect the high sensitivity FD 40H and the low sensitivity FD 40L to the drain of the second reset transistor 42B to which the predetermined reset voltage Vrst is applied.
  • the reset voltage Vrst is, for example, a constant voltage source VDD.
  • the FD connection transistor 43 controls (on / off) the connection between the high sensitivity FD 40 H and the low sensitivity FD 40 L based on the FD control signal GA supplied from the saturation detection circuit 32 via the second vertical signal line 24.
  • the amplification transistor 44 outputs a pixel signal according to the potential of the high sensitivity FD 40 H and the low sensitivity FD 40 L. That is, the amplification transistor 44 forms a source follower circuit with a load MOS (not shown) as a constant current source connected via the first vertical signal line 23, and is stored in the high sensitivity FD 40H and the low sensitivity FD 40L.
  • the pixel signal VSL indicating the level corresponding to the charge is output from the amplification transistor 44 to the comparator 31 of the comparison unit 14 via the selection transistor 45.
  • the selection transistor 45 is turned on when the pixel 21 is selected by the selection signal SEL, and outputs the pixel signal VSL of the pixel 21 to the comparator 31 via the first vertical signal line 23.
  • Each signal line to which the transfer signal TRG, the selection signal SEL, and the reset signal RST are transmitted corresponds to each drive wiring 22 of FIG.
  • the saturation detection circuit 32 is configured of one AND circuit 51 and two NOR circuits 52 and 53 that constitute a flip flop circuit.
  • a comparison result Comp which is an output of the comparator 31, and a detection enable signal DET_ENB from the timing control unit 19 are input to the AND circuit 51.
  • the AND circuit 51 performs an AND (logical product) operation of the comparison result Comp and the detection enable signal DET_ENB, and supplies the operation result to the NOR circuit 52.
  • the output signal of the AND circuit 51 is taken as SIG_A.
  • the AND circuit of the comparison result Comp and the detection enable signal DET_ENB, which is the output of the AND circuit 51, and the output of the NOR circuit 53 are input to the NOR circuit 52.
  • the NOR circuit 52 performs an NOR (Negation OR) operation on the output of the NOR circuit 53 with an AND signal of the comparison result Comp and the detection enable signal DET_ENB, and supplies the operation result to the NOR circuit 53.
  • the output signal of the NOR circuit 52 is taken as SIG_B.
  • the output of the NOR circuit 52 and the detection reset signal DET_RST from the timing control unit 19 are input to the NOR circuit 53.
  • the NOR circuit 53 performs an NOR (Negation OR) operation of the output of the NOR circuit 52 and the detection reset signal DET_RST, supplies the operation result to the NOR circuit 52, and connects the FD of the pixel 21 as an FD control signal GA.
  • the transistor 43 is supplied.
  • the output of the NOR circuit 53 is fed back as an input of the NOR circuit 52 and is also supplied as a saturation detection signal to the counters 33 in the same column in the counter unit 15.
  • the counter 33 corrects pixel data after AD conversion processing according to a gain ratio based on a saturation detection signal, thereby generating pixel data after HDR processing and outputs the pixel data to the horizontal scanning circuit 16.
  • the counter 33 counts by a predetermined bit number (for example, 10 bits) based on the comparison result Comp from the comparator 31, and AD-converts an analog pixel signal into digital pixel data.
  • the counter 33 corrects the AD converted pixel data with the gain ratio of low illuminance and high illuminance, and outputs the pixel data after correction. More specifically, the counter 33 multiplies the pixel data after AD conversion processing by the ratio of (total capacitance value of high sensitivity FD 40 H and low sensitivity FD 40 L) / (capacitance value of high sensitivity FD 40 H) , Output as pixel data.
  • the counter 33 outputs the pixel data after the AD conversion processing to the horizontal scanning circuit 16 as it is.
  • a of FIG. 3 shows the operation of the pixel 21 in the case of high illuminance.
  • the high reset signal RST is supplied to the gates of the first reset transistor 42A and the second reset transistor 42B, and the high sensitivity FD 40H and the low sensitivity FD 40L are reset to the reset voltage Vrst. Ru.
  • the charge stored in the photodiode PD is first transferred to the high sensitivity FD 40H. Then, when the amount of transferred charges exceeds a predetermined overflow level (saturation level), the saturation detection circuit 32 detects that and supplies the FD control signal GA of the Hi level to the FD connection transistor 43. , FD connection transistor 43 is turned on. Thereby, as shown on the right side of A of FIG. 3, the high sensitivity FD 40 H and the low sensitivity FD 40 L are connected, and the sensitivity of the pixel 21 is switched from the high sensitivity for low illuminance to the low sensitivity for high illuminance.
  • a predetermined overflow level saturated level
  • the amount of charge transferred from the photodiode PD does not exceed the overflow level, so the FD connection transistor 43 is not turned on and transferred.
  • the charge is accumulated only in the high sensitivity FD 40 H, and high sensitivity is maintained.
  • the overflow level at which high sensitivity and low sensitivity are switched is determined by the voltage of the ramp signal Ramp. Therefore, the overflow level can be set to an arbitrary level by adjusting (changing) the voltage of the ramp signal Ramp.
  • FIG. 4 shows a timing chart showing the operation of the pixel 21 in the case of high illuminance.
  • FIG. 5 is a table showing input / output signals of the comparator 31 and the saturation detection circuit 32.
  • FIG. 4 shows the pixel signal VSL and the ramp signal Ramp, the detection reset signal DET_RST, the detection enable signal DET_ENB, the comparison result Comp, the FD control signal GA, the reset signal RST, the transfer signal TRG, and the selection signal SEL. There is.
  • the pixel signal VSL and the ramp signal Ramp have a high voltage as their levels decrease in the figure.
  • the Hi level of the detection enable signal DET_ENB, the comparison result Comp, the FD control signal GA, the reset signal RST, the transfer signal TRG, and the selection signal SEL is “1”, and the Lo level is “0”. There is.
  • the selection transistor 45 of the pixel 21 is supplied with the selection signal SEL of Hi level, and the selection transistor 45 is turned on.
  • a period from time t1 to time t2 is a detection reset period in which the saturation detection circuit 32 is reset.
  • the detection reset signal DET_RST is set to the Hi level, and the FD control signal GA indicating the previous saturation detection result (saturation history) is reset.
  • the state ST_A in the table of FIG. 5 shows the state immediately after the detection reset signal DET_RST is set to the Hi level.
  • the detection reset signal DET_RST When the detection reset signal DET_RST is set to the Hi level (“1”), the FD control signal GA which is the output of the NOR circuit 53 becomes the Lo level (“0”), so the saturation detection result (saturation history) is reset. Be done.
  • the reset signal RST supplied to the pixel 21 is set to the Hi level, and as described with reference to FIG. 3, the first reset transistor 42A and the second reset transistor 42B Is turned on to reset the high sensitivity FD 40 H and the low sensitivity FD 40 L to the reset voltage Vrst.
  • the period from time t2 to time t3 is a P phase period in which the reset level of the CDS process is detected.
  • the P phase period the voltages of the pixel signal VSL and the ramp signal Ramp are compared, the timing when the voltage of the pixel signal VSL and the voltage of the ramp signal Ramp match is detected, and the reset level is detected.
  • a period from time t3 to time t9 is a charge transfer period in which the charge accumulated in the photodiode PD is transferred to the FD.
  • detection enable signal DET_ENB is set to Hi level (“1”) during a first half period from time t4 to time t8 when a predetermined time has elapsed from time t3, and the transfer charge overflow level is exceeded
  • a detection period is set to detect switching of the sensitivity of the pixel 21 from high sensitivity for low illuminance to low sensitivity for high illuminance.
  • the detection reset signal DET_RST set to Hi level at time t1 is returned to Lo level from time t3 to time t4.
  • the voltage of the ramp signal Ramp supplied from the DAC 13 to the comparator 31 is set to the voltage V OFL corresponding to the overflow level (saturation level) described with reference to FIG.
  • the transfer signal TRG of Hi level is supplied to the transfer transistor 41 to turn on the transfer transistor 41, and the pixel signal VSL gradually increases from the initial value V 0. It will rise.
  • the voltage of the pixel signal VSL which changes in accordance with the transfer of charge, becomes higher than the voltage V OFL corresponding to the overflow level, and the comparison result Comp is changed to the Hi level (“1”).
  • the state ST_D in the table of FIG. 5 indicates the state immediately after the comparison result Comp is changed to the Hi level.
  • the detection enable signal DET_ENB is also at the Hi level, so the output signal SIG_A of the AND circuit 51 becomes the Hi level ("1").
  • the FD control signal GA which is the output of the circuit 53, becomes the Hi level ("1").
  • the FD control signal GA becomes the Hi level ("1"), as described with reference to FIG. 3, the FD connection transistor 43 of the pixel 21 is turned on, and the high sensitivity FD 40H and the low sensitivity FD 40L are connected. . That is, the sensitivity of the pixel 21 is switched from high sensitivity for low illuminance to low sensitivity for high illuminance.
  • the sensitivity of the pixel 21 is switched from the high sensitivity to low sensitivity, the voltage of the pixel signal VSL, lower again than the voltage V OFL of the ramp signal Ramp, stabilized at the predetermined voltages V 1 corresponding to the amount of charge.
  • the voltage of the pixel signal VSL is, to stabilize at a given voltages V 1 corresponding to the amount of charge, it requires a certain period of time.
  • the detection period is set to a predetermined period of the first half of the charge transfer period.
  • State ST_C in the table of FIG. 5 shows a state immediately after the voltage of the pixel signal VSL becomes lower than the voltage V OFL of the ramp signal Ramp again and the comparison result Comp is changed to the Lo level.
  • the FD control signal GA which is the output of the NOR circuit 53
  • the Hi level (“1") is maintained. That is, the saturation detection circuit 32 latches and stores that the voltage of the pixel signal VSL matches the voltage V OFL of the ramp signal Ramp in the detection period.
  • the detection enable signal DET_ENB is set to the Lo level (“0”), and the detection period ends.
  • State ST_B in the table of FIG. 5 shows a state immediately after the detection enable signal DET_ENB is changed to the Lo level.
  • the FD control signal GA which is the output of the NOR circuit 53, is maintained at the previous state, and therefore, the Hi level ("1") is maintained.
  • the ramp signal Ramp is again controlled to the initial value V 0.
  • the counter 33 counts the time until the time t10 when the voltage of the pixel signal VSL matches the voltage of the ramp signal Ramp and the comparison result Comp changes to the Lo level (“0”).
  • FIG. 6 shows a timing chart showing the operation of the pixel 21 in the case of low illuminance.
  • the FD control signal GA is selected during the selection period of the pixel 21. , Hi level ("1") does not. Therefore, as described with reference to FIG. 3, the FD connection transistor 43 is not turned on, the high sensitivity is maintained, and the transferred charge is accumulated only in the high sensitivity FD 40H.
  • the voltage of the pixel signal VSL corresponding to the charge stored in the high sensitivity FD 40 H is compared with the voltage of the ramp signal Ramp, and the comparison result Comp changes to the Lo level (“0”) until time t 18 Is counted by the counter 33.
  • FIG. 7 is a diagram for explaining the HDR process performed by the counter 33.
  • the counter 33 has a high sensitivity (high gain) for low illumination using only the high sensitivity FD 40 H, and a low sensitivity (low gain) for high illumination using both the high sensitivity FD 40 H and the low sensitivity FD 40 L. , AD conversion in the same AD range.
  • FIG. 7 The upper part of FIG. 7 is a graph showing the correspondence between the illuminance received by the pixel and the pixel data after AD conversion in the fixed AD range.
  • the pixel illuminance corresponding to BR1 is the illuminance (the amount of received light) corresponding to the overflow level at which the high sensitivity (high gain) switches to the low sensitivity (low gain).
  • the pixel data (AD conversion value) after AD conversion processing is output as it is, but the high sensitivity FD 40H
  • the pixel data after AD conversion processing is corrected with the gain ratio of (total capacitance value of high-sensitivity FD40H and low-sensitivity FD40L) / (capacity value of high-sensitivity FD40H) , And output pixel data after correction.
  • the pixel 21 includes the high sensitivity FD 40 H and the low sensitivity FD 40 L, and the high sensitivity FD 40 H is saturated in the detection period set in the first half of the charge transfer period (whether the overflow level is exceeded Is determined. Then, when it is determined that the high sensitivity FD 40 H is saturated, the high sensitivity FD 40 H and the low sensitivity FD 40 L are connected, and the sensitivity of the pixel 21 is switched from the high sensitivity for low illuminance to the low sensitivity for high illuminance. On the other hand, when the high sensitivity FD 40H is not saturated, high sensitivity is maintained.
  • the counter 33 of the counter unit 15 executes the HDR processing based on the saturation detection result (saturation detection signal), converts it into the pixel data of the HDR image in which the dynamic range is expanded, and outputs it.
  • sensitivity adjustment can be automatically performed in pixel units of the pixel array unit 11, and pixel data of an HDR image can be output based on the result. That is, HDR images can be generated more easily.
  • FIG. 8 shows a timing chart showing the operation of the pixel 21 in the case of high illuminance in the second drive control.
  • times t1 to t10 of FIG. 4 correspond to times t21 to t30 of FIG.
  • FIG. 9 shows a timing chart showing the operation of the pixel 21 in the case of low illuminance in the second drive control.
  • the ramp signal Ramp changes from the initial value V 0 to the voltage V OFL according to the passage of time. It was a down slope voltage signal so as to approach. Therefore, DAC 13 is in accordance with the time t9 and time t17 D phase period begins, the ramp signal Ramp, it is necessary to perform control for changing significantly the initial value V 0 again.
  • the ramp signal Ramp in the D phase period approaches the initial value V 0 from the voltage V BL close to the voltage V OFL as time passes.
  • the difference is that the voltage signal has an upward slope.
  • the counter 33 counts the comparison time until the comparison result Comp changes from the Hi level to the Lo level, but in the second drive control, the comparison result Comp changes from the Lo level to the Hi level Count the time to comparison.
  • the other drive of the second drive control is similar to the first drive control described above.
  • the ramp signal Ramp at the time of counting the D-phase period is a voltage signal with an upward slope so as to approach the initial value V 0 from the voltage V BL close to the voltage V OFL. Since it is not necessary to greatly change the voltage of the ramp signal Ramp from the voltage V OFL to the initial value V 0 immediately before the D phase period, the control can be simplified and the driving time can be shortened.
  • the ramp signal Ramp in the P-phase period may be a voltage signal with an upward slope as well as the ramp signal Ramp in the D-phase period.
  • FIG. 10 shows a timing chart showing the operation of the pixel 21 in the case of high illuminance in the third drive control.
  • FIG. 10 corresponds to the timing chart of FIG. 8 in the second drive control.
  • the third drive control for high illuminance is the same as the second drive control shown in FIG.
  • the detection period for detecting the switching of the sensitivity of the pixel 21 from high sensitivity for low illuminance to low sensitivity for high illuminance is the first half of the charge transfer period and the D phase period. It is set in the first two periods. That is, assuming that the detection period set in the first half of the charge transfer period is a first detection period, and the detection period set in the first half of the D phase period is a second detection period, the first detection period is a second drive control. In the third drive control, a second detection period is newly provided.
  • the solid-state imaging device 1 detects an overflow in the case of high illuminance in the first detection period, but detects an overflow in the case of middle illuminance between the high illuminance and the low illuminance in the second detection period.
  • the operation at time t61 to t66 in the timing chart of FIG. 10 is the same as the operation at time t41 to t46 in the timing chart of FIG.
  • the timing controller 19 again Hi level detection enable signal DET_ENB ( "1") Change (set) and start the second detection period.
  • the FD control signal GA which is the output of the NOR circuit 53, becomes Hi level ("1").
  • the FD control signal GA becomes the Hi level (“1”)
  • the FD connection transistor 43 of the pixel 21 is turned on, and the high sensitivity FD 40 H and the low sensitivity FD 40 L are connected. That is, the sensitivity of the pixel 21 is switched from high sensitivity for low illuminance to low sensitivity for high illuminance.
  • the comparison result Comp is again changed to the Lo level.
  • the timing control unit 19 changes (sets) the detection enable signal DET_ENB to the Lo level (“0”). Thus, the second detection period ends.
  • the voltage of the pixel signal VSL matches the voltage of the ramp signal Ramp again, and the comparison result Comp is changed to the Hi level (“1”).
  • the counter unit 15 requires two counters 33A and 33B for one comparator 31 in the same pixel column.
  • FIG. 11 is a diagram showing a configuration example of the counter unit 15 in the case of executing the third drive control.
  • two counters 33A and 33B are provided for one comparator 31 in the same pixel column, and a switch circuit 71 is provided between the counter 33A and the comparator 31. There is.
  • Each of the counters 33A and 33B is the same, and in the P phase period, down counts only while the comparison result Comp of the Hi level is supplied, and in the D phase period, only while the comparison result Comp of the Lo level is supplied. Count up.
  • the counter 33A performs up-counting until the voltages of the pixel signal VSL and the ramp signal Ramp match during the second detection period after starting up-counting.
  • the switch circuit 71 turns off the connection when it is detected based on the saturation detection signal that the voltages of the pixel signal VSL and the ramp signal Ramp match.
  • the counter 33B performs up-counting until the voltages of the pixel signal VSL and the ramp signal Ramp coincide with each other after the end of the second detection period since the start of up-counting.
  • the counter 33A calculates the count value when using only the high sensitivity FD 40H for low illuminance
  • the counter 33B calculates the count value when using the high sensitivity FD 40H for high illuminance and the low sensitivity FD 40L.
  • the illuminance (amount of light received) of the pixel 21 is divided into three levels of low illuminance, medium illuminance, and high illuminance, and the solid-state imaging device 1 has medium pixel illuminance.
  • the voltage match between the pixel signal VSL and the ramp signal Ramp is detected twice in total.
  • the voltage coincidence between the pixel signal VSL and the ramp signal Ramp is detected only in the first detection period of the charge transfer period, and when the pixel illuminance is low, It is detected only in the remaining D phase period after the second detection period.
  • the configuration of the solid-state imaging device 1 in the case of executing the third drive control is not limited to this.
  • a configuration may be adopted in which only one counter 33 counts the same pixel row and one counter 33 counts both low illuminance and high illuminance.
  • a configuration may be employed in which the comparator 31 and the saturation detection circuit 32 are provided in parallel for each of the two counters 33A and 33B.
  • FIG. 12 is a diagram for explaining the HDR process in the third drive control.
  • the illuminance is detected using only the high sensitivity FD 40 H at low illuminance from zero to Bra, and from BRa to In the medium illuminance up to BRb, the illuminance is detected in the state using only the high sensitivity FD 40 H and in the state using both the high sensitivity FD 40 H and the low sensitivity FD 40 L. In high illuminance from BRb to BRc, illuminance is detected only in the state using high sensitivity FD40H and low sensitivity FD40L.
  • middle illuminance from BRa to BRb two detection results are obtained, so those results are synthesized at a predetermined composition ratio such as 3: 7 or 5: 5 and output as pixel data of the HDR image .
  • the counter 33 outputs pixel data after AD conversion processing as it is at low illuminance from zero to BRc, and corrects pixel data after AD conversion processing with gain data at medium illuminance from BRa to BRb.
  • the pixel data after combining the corrected pixel data is output, and at high illuminance from BRb to BRc, the pixel data after the AD conversion processing is corrected by the gain ratio is output.
  • the detection method is switched suddenly at the boundary of low illuminance and high illuminance. There is a concern that a step may occur in the pixel data of
  • the circuit configuration of the pixel 21 is not limited to the configuration described with reference to FIG. 2, and other configurations can also be adopted.
  • FIG. 13 shows another circuit configuration of the pixel 21. As shown in FIG. 13
  • FIG. 12 the parts corresponding to those in FIG. 2 are denoted with the same reference numerals, and the description thereof is omitted.
  • the FD connection transistor 43 is disposed between the high sensitivity FD 40 H and the low sensitivity FD 40 L, and the high sensitivity FD 40 H is disposed between the transfer transistor 41 and the amplification transistor 44. It is common.
  • the high sensitivity FD 40H is connected to the predetermined reset voltage Vrst via the first reset transistor 42A and the second reset transistor 42B, while in the pixel circuit of FIG.
  • the high sensitivity FD 40H is connected to a predetermined reset voltage Vrst only via the second reset transistor 42B.
  • the first reset transistor 42A is connected between the high sensitivity FD 40H and the low sensitivity FD 40L, and the low sensitivity FD 40L is connected to the ground.
  • FIG. 14 shows still another circuit configuration of the pixel 21.
  • the photodiode PD and the transfer transistor 41 are disposed for each pixel 21, and other FDs of high sensitivity FD 40H and low sensitivity FD 40L, the first reset transistor 42A, the second reset transistor 42B, the FD connection transistor 43, the amplification transistor 44, and the selection transistor 45 are provided one by one for each of the n pixels 21 as a sharing unit.
  • the two FDs commonly used by a plurality of pixels, the first reset transistor 42A, the second reset transistor 42B, the FD connection transistor 43, the amplification transistor 44, and the selection transistor 45 may be, for example, any of a plurality of pixels in a sharing unit. It is placed in the area or in the middle area.
  • FIG. 14 shows the configuration in which the circuit configuration in FIG. 2 is changed to the shared pixel structure
  • the circuit configuration in FIG. 13 can be similarly changed to the shared pixel structure.
  • the solid-state imaging device 1 adopting the sharing pixel structure, when the charges accumulated in the photodiodes PD of two or more pixels 21 used by sharing the FD are simultaneously transferred to the FD, pixel signals of a plurality of pixels are transferred using the FD. Although it is possible to perform FD addition to be added, the probability of reaching the overflow level is high.
  • various imaging modes such as an FD addition mode in which pixel signals of a plurality of pixels are added using an FD, a single pixel mode in which pixel signals are output in 1 pixel unit, etc.
  • the overflow level (voltage V OFL ) is appropriately changed in accordance with the set value etc. of.
  • the solid-state imaging device 1 described above has two FDs of high sensitivity FD 40 H (first charge holding portion) and low sensitivity FD 40 L (second charge holding portion), which hold the charge generated by the photodiode PD, and
  • the FD connection transistor 43 that controls (on / off) the connection between the sensitivity FD 40H and the low sensitivity FD 40L and the voltage of the pixel signal VSL output from the pixel 21 match the voltage of the ramp signal Ramp whose level changes with time.
  • the saturation detection circuit 32 as a control circuit which performs control which connects high sensitivity FD40H and low sensitivity FD40L is provided.
  • the charge accumulated in the photodiode PD is first transferred to the high sensitivity FD 40H. Then, when the voltage of the pixel signal VSL matches the voltage of the ramp signal Ramp set to the voltage V OFL corresponding to the overflow level of the high sensitivity FD 40 H and the saturation of the high sensitivity FD 40 H is detected, the high sensitivity FD 40 H and low sensitivity The connection with the FD 40L is turned on, and the charge generated by the photodiode PD is accumulated in both the high sensitivity FD 40H and the low sensitivity FD 40L.
  • the solid-state imaging device 1 it is possible to automatically perform sensitivity adjustment for each pixel according to the amount of received light and output pixel data of an HDR image. That is, HDR images can be generated more easily.
  • a method for combining a plurality of images with different imaging timing Compared to a general method for generating HDR images, a method for combining a plurality of images with different imaging timing, and a method for receiving light with different pixel sensitivities in a pixel array unit, etc. Since the HDR image can be generated, the frame rate does not decrease and the power consumption is also reduced. In addition, since an HDR image can be generated by one imaging operation, there is little influence on a moving subject, and no post-processing such as moving object detection or spatial filter is required.
  • the present technology is not limited to application to a solid-state imaging device. That is, the present technology relates to an image capturing unit (photoelectric conversion unit) such as an imaging device such as a digital still camera or a video camera, a portable terminal device having an imaging function, a copying machine using a solid-state
  • the present invention is applicable to electronic devices in general using a solid-state imaging device.
  • the solid-state imaging device may be formed as a single chip, or may be a modular form having an imaging function in which an imaging unit and a signal processing unit or an optical system are packaged together.
  • FIG. 15 is a block diagram illustrating a configuration example of an imaging device as an electronic device to which the present technology is applied.
  • the imaging device 100 in FIG. 15 includes an optical unit 101 including a lens group, a solid-state imaging device (imaging device) 102 in which the configuration of the solid-state imaging device 1 in FIG. 1 is employed, and a DSP (Digital Signal) that is a camera signal processing circuit. Processor) circuit 103 is provided.
  • the imaging apparatus 100 also includes a frame memory 104, a display unit 105, a recording unit 106, an operation unit 107, and a power supply unit 108.
  • the DSP circuit 103, the frame memory 104, the display unit 105, the recording unit 106, the operation unit 107, and the power supply unit 108 are mutually connected via a bus line 109.
  • the optical unit 101 captures incident light (image light) from a subject and forms an image on the imaging surface of the solid-state imaging device 102.
  • the solid-state imaging device 102 converts the light quantity of incident light focused on the imaging surface by the optical unit 101 into an electrical signal in pixel units and outputs the electrical signal as a pixel signal.
  • the solid-state imaging device 102 the solid-state imaging device 1 of FIG. 1, that is, two FDs of high sensitivity FD 40H and low sensitivity FD 40L is provided, and high sensitivity FD 40H and low sensitivity FD 40L are connected according to the light reception amount By switching at, it is possible to use a solid-state imaging device that outputs an HDR image in which the dynamic range is expanded.
  • the display unit 105 includes, for example, a panel type display device such as a liquid crystal panel or an organic EL (Electro Luminescence) panel, and displays a moving image or a still image captured by the solid-state imaging device 102.
  • the recording unit 106 records a moving image or a still image captured by the solid-state imaging device 102 on a recording medium such as a hard disk or a semiconductor memory.
  • the operation unit 107 issues operation commands for various functions of the imaging apparatus 100 under the operation of the user.
  • the power supply unit 108 appropriately supplies various power supplies serving as operation power supplies of the DSP circuit 103, the frame memory 104, the display unit 105, the recording unit 106, and the operation unit 107 to these supply targets.
  • the solid-state imaging device 1 described above As described above, by using the solid-state imaging device 1 described above as the solid-state imaging device 102, it is possible to easily generate an HDR image in which the dynamic range is expanded. Therefore, in the imaging device 100 such as a video camera, a digital still camera, and further, a camera module for mobile devices such as a cellular phone, it is possible to achieve high image quality of a captured image.
  • FIG. 16 is a view showing a use example in the case of using the above-described solid-state imaging device 1 as an image sensor.
  • the image sensor can be used, for example, in various cases for sensing light such as visible light, infrared light, ultraviolet light, and X-rays as described below.
  • a device that captures images for viewing such as a digital camera or a portable device with a camera function-For safe driving such as automatic stop, recognition of driver's condition, etc.
  • a device provided for traffic such as an on-vehicle sensor for capturing images of the rear, surroundings, inside of a car, a monitoring camera for monitoring a traveling vehicle or a road, a distance measuring sensor for measuring distance between vehicles, etc.
  • Devices used for home appliances such as TVs, refrigerators, air conditioners, etc. to perform imaging and device operation according to the gesture ⁇ Endoscopes, devices for performing blood vessel imaging by receiving infrared light, etc.
  • Equipment provided for medical and healthcare use-Equipment provided for security such as surveillance cameras for crime prevention, cameras for personal identification, etc.
  • -Skin measuring equipment for photographing skin, photographing for scalp Beauty such as a microscope Equipment provided for use-Equipment provided for sports use, such as action cameras and wearable cameras for sports applications, etc.-Used for agriculture, such as cameras for monitoring the condition of fields and crops apparatus
  • in-vivo information acquisition system The technology according to the present disclosure (the present technology) can be applied to various products as described above.
  • the technology according to the present disclosure may be applied to an in-vivo information acquisition system for a patient using a capsule endoscope.
  • FIG. 17 is a block diagram showing an example of a schematic configuration of a patient's in-vivo information acquiring system using a capsule endoscope to which the technology according to the present disclosure can be applied.
  • the in-vivo information acquisition system 10001 includes a capsule endoscope 10100 and an external control device 10200.
  • the capsule endoscope 10100 is swallowed by the patient at the time of examination.
  • the capsule endoscope 10100 has an imaging function and a wireless communication function, until it is naturally excreted from the patient, while the internal organs such as the stomach or intestines moved by peristalsis and the like, the inside of the organ image (hereinafter, also referred to as in-vivo images) were sequentially captured at a predetermined interval, and sequentially wirelessly transmits the information about the in-vivo image to the external control apparatus 10200's body.
  • External controller 10200 generally controls the operation of the in-vivo information acquiring system 10001.
  • the external control unit 10200 receives information about the in-vivo image transmitted from the capsule endoscope 10100, based on the information about the in-vivo image received, the in-vivo image on a display device (not shown) Generate image data to display the
  • In-vivo information acquiring system 10001 in this way, until the capsule endoscope 10100 is discharged from swallowed, it is possible to obtain the in-vivo image of the captured state of the patient's body at any time.
  • the capsule endoscope 10100 has a housing 10101 of the capsule, within the housing 10101, a light source unit 10111, the imaging unit 10112, an image processing unit 10113, the radio communication unit 10114, the feeding unit 10115, the power supply unit 10116, and a control unit 10117 is housed.
  • the light source unit 10111 includes, for example, a light source such as an LED (Light Emitting Diode), and emits light to the imaging field of the imaging unit 10112.
  • a light source such as an LED (Light Emitting Diode)
  • LED Light Emitting Diode
  • Imaging unit 10112 is constituted from the image pickup element, and an optical system composed of a plurality of lenses provided in front of the imaging device. Reflected light is irradiated to the body tissue to be observed light (hereinafter, referred to as observation light) is condensed by the optical system and is incident on the imaging element. In the imaging unit 10112, in the imaging device, wherein the observation light incident is photoelectrically converted into an image signal corresponding to the observation light is generated. Image signal generated by the imaging unit 10112 is provided to the image processing unit 10113.
  • the image processing unit 10113 is configured by a processor such as a central processing unit (CPU) or a graphics processing unit (GPU), and performs various signal processing on the image signal generated by the imaging unit 10112.
  • the image processing unit 10113 supplies the image signal subjected to the signal processing to the wireless communication unit 10114 as RAW data.
  • the wireless communication unit 10114 performs predetermined processing such as modulation processing on the image signal subjected to the signal processing by the image processing unit 10113, and transmits the image signal to the external control device 10200 via the antenna 10114A. Also, the wireless communication unit 10114 receives a control signal related to drive control of the capsule endoscope 10100 from the external control device 10200 via the antenna 10114A. The wireless communication unit 10114 provides a control signal received from the external control unit 10200 to the control unit 10117.
  • Feeding unit 10115 includes an antenna coil for receiving the power reproducing circuit for reproducing power from current generated in the antenna coil, and a booster circuit or the like. The feeding unit 10115, the power by using the principle of so-called non-contact charging is generated.
  • the power supply unit 10116 is formed of a secondary battery, and stores the power generated by the power supply unit 10115. Although illustration of the arrow etc. which show the supply destination of the electric power from the power supply part 10116 is abbreviate
  • Control unit 10117 is constituted by a processor such as a CPU, a light source unit 10111, the imaging unit 10112, an image processing unit 10113, the radio communication unit 10114, and, the driving of the feeding unit 10115, a control signal transmitted from the external control unit 10200 Control as appropriate.
  • a processor such as a CPU, a light source unit 10111, the imaging unit 10112, an image processing unit 10113, the radio communication unit 10114, and, the driving of the feeding unit 10115, a control signal transmitted from the external control unit 10200 Control as appropriate.
  • the external control device 10200 is configured of a processor such as a CPU or a GPU, or a microcomputer or control board or the like in which memory elements such as a processor and a memory are mixed.
  • the external control device 10200 controls the operation of the capsule endoscope 10100 by transmitting a control signal to the control unit 10117 of the capsule endoscope 10100 via the antenna 10200A.
  • a control signal from the external control unit 10200 irradiation conditions of light with respect to observation target in the light source unit 10111 may be changed.
  • image pickup conditions e.g., the frame rate of the imaging unit 10112, the exposure value and the like
  • the contents of processing in the image processing unit 10113 and conditions for example, transmission interval, number of transmission images, etc. under which the wireless communication unit 10114 transmits an image signal may be changed by a control signal from the external control device 10200. .
  • the external control unit 10200 subjects the image signal transmitted from the capsule endoscope 10100, performs various image processing to generate image data to be displayed on the display device the in-vivo images captured.
  • image processing for example, development processing (demosaicing processing), high image quality processing (band emphasis processing, super-resolution processing, NR (noise reduction) processing and / or camera shake correction processing, etc.), and / or enlargement processing ( Various signal processing such as electronic zoom processing can be performed.
  • External controller 10200 controls the driving of the display device to display the in-vivo images captured based on the generated image data.
  • the external control device 10200 may cause the generated image data to be recorded on a recording device (not shown) or cause the printing device (not shown) to print out.
  • the technology according to the present disclosure may be applied to the imaging unit 10112 among the configurations described above.
  • the solid-state imaging device 1 described above can be applied as the imaging unit 10112.
  • the capsule endoscope 10100 can be further miniaturized, and therefore the burden on the patient can be further reduced.
  • the capsule endoscope 10100 it is possible to obtain a clear image of an operating portion with an expanded dynamic range, so that the accuracy of the examination is improved.
  • FIG. 18 is a diagram showing an example of a schematic configuration of an endoscopic surgery system to which the technology according to the present disclosure can be applied.
  • FIG. 18 illustrates a surgeon (doctor) 11131 performing surgery on a patient 11132 on a patient bed 11133 using the endoscopic surgery system 11000.
  • the endoscopic operation system 11000 includes an endoscope 11100, such as pneumoperitoneum tube 11111 and the energy treatment instrument 11112, and other surgical instrument 11110, a support arm device 11120 which supports the endoscope 11100 , the cart 11200 which various devices for endoscopic surgery is mounted, and a.
  • the endoscope 11100 includes a lens barrel 11101 whose region of a predetermined length from the tip is inserted into a body cavity of a patient 11132, and a camera head 11102 connected to a proximal end of the lens barrel 11101.
  • the endoscope 11100 configured as a so-called rigid endoscope having a barrel 11101 of the rigid endoscope 11100, be configured as a so-called flexible scope with a barrel of flexible Good.
  • the endoscope 11100 may be a straight endoscope, or may be a oblique endoscope or a side endoscope.
  • An optical system and an imaging device are provided inside the camera head 11102, and the reflected light (observation light) from the observation target is condensed on the imaging device by the optical system.
  • the observation light is photoelectrically converted by the imaging element to generate an electric signal corresponding to the observation light, that is, an image signal corresponding to the observation image.
  • the image signal as the RAW data camera control unit: sent to (CCU Camera Control Unit) 11201.
  • CCU11201 is constituted by a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit) or the like, and performs overall control of the operation of the endoscope 11100 and a display device 11202. Furthermore, the CCU 11201 receives an image signal from the camera head 11102 and performs various image processing for displaying an image based on the image signal, such as development processing (demosaicing processing), on the image signal.
  • image processing for displaying an image based on the image signal, such as development processing (demosaicing processing), on the image signal.
  • Display device 11202 under the control of the CCU11201, displays an image based on the image signal subjected to image processing by the CCU11201.
  • the light source device 11203 includes, for example, a light source such as a light emitting diode (LED), and supplies the endoscope 11100 with irradiation light at the time of imaging a surgical site or the like.
  • a light source such as a light emitting diode (LED)
  • LED light emitting diode
  • the input device 11204 is an input interface to the endoscopic surgery system 11000.
  • the user can input various information and input instructions to the endoscopic surgery system 11000 via the input device 11204.
  • the user type of illumination light, magnification and focal length
  • endoscopes 11100 by the imaging condition inputting the setting of the instruction or the like to change.
  • Surgical instrument control unit 11205 is, tissue ablation, to control the driving of the energy treatment instrument 11112 for such sealing of the incision or blood vessel.
  • the insufflation apparatus 11206 is a gas within the body cavity via the insufflation tube 11111 in order to expand the body cavity of the patient 11132 for the purpose of securing a visual field by the endoscope 11100 and securing a working space of the operator.
  • Send The recorder 11207 is a device capable of recording various types of information regarding surgery.
  • the printer 11208 is an apparatus capable of printing various types of information regarding surgery in various types such as text, images, and graphs.
  • the light source device 11203 that supplies the irradiation light when imaging the surgical site to the endoscope 11100 can be configured of, for example, an LED, a laser light source, or a white light source configured by a combination of these. If a white light source by a combination of RGB laser light source is constructed, since it is possible to control the output intensity and output timing of each color (each wavelength) with high accuracy, the adjustment of the white balance of the captured image in the light source apparatus 11203 It can be carried out.
  • a color image can be obtained without providing a color filter in the imaging device.
  • the drive of the light source device 11203 may be controlled so as to change the intensity of the light to be output every predetermined time. Acquiring an image at the time of controlling the driving of the image pickup device of the camera head 11102 divided in synchronization with the timing of the change of the intensity of the light, by synthesizing the image, a high dynamic no so-called underexposure and overexposure An image of the range can be generated.
  • the light source device 11203 may be configured to be able to supply light of a predetermined wavelength band corresponding to special light observation.
  • the special light observation for example, by utilizing the wavelength dependency of the absorption of light in body tissue, the irradiation light in normal observation (i.e., white light) by irradiation with light of a narrow band as compared to the mucosal surface
  • the so-called narrow band imaging is performed to image a predetermined tissue such as a blood vessel with high contrast.
  • fluorescence observation may be performed in which an image is obtained by fluorescence generated by irradiation with excitation light.
  • body tissue is irradiated with excitation light and fluorescence from the body tissue is observed (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally injected into body tissue and the body tissue is Excitation light corresponding to the fluorescence wavelength of the reagent can be irradiated to obtain a fluorescence image or the like.
  • Light source device 11203 such may be configured to provide a narrow-band light and / or the excitation light corresponding to the special light observation.
  • FIG. 19 is a block diagram showing an example of functional configurations of the camera head 11102 and the CCU 11201 shown in FIG.
  • the camera head 11102 includes a lens unit 11401, an imaging unit 11402, a drive unit 11403, a communication unit 11404, and a camera head control unit 11405.
  • the CCU 11201 includes a communication unit 11411, an image processing unit 11412, and a control unit 11413. Camera head 11102 and CCU11201 are communicatively connected to each other by a transmission cable 11400.
  • Lens unit 11401 is an optical system provided in the connecting portion of the barrel 11101. Observation light taken from the tip of the barrel 11101 is guided to the camera head 11102, incident on the lens unit 11401.
  • the lens unit 11401 is configured by combining a plurality of lenses including a zoom lens and a focus lens.
  • the imaging unit 11402 includes an imaging element.
  • the imaging device constituting the imaging unit 11402 may be one (a so-called single-plate type) or a plurality (a so-called multi-plate type).
  • an image signal corresponding to each of RGB may be generated by each imaging element, and a color image may be obtained by combining them.
  • the imaging unit 11402 is, 3D (Dimensional) may be configured to have a pair of image pickup elements for obtaining respective image signals for the right eye and the left eye corresponding to the display. By 3D display is performed, the operator 11131 is enabled to grasp the depth of the living tissue in the operative site more accurately.
  • the imaging unit 11402 is to be composed by multi-plate, corresponding to the imaging elements, the lens unit 11401 may be provided a plurality of systems.
  • the imaging unit 11402 may not necessarily provided in the camera head 11102.
  • the imaging unit 11402 may be provided inside the lens barrel 11101 immediately after the objective lens.
  • the driving unit 11403 is configured by an actuator, and moves the zoom lens and the focusing lens of the lens unit 11401 by a predetermined distance along the optical axis under the control of the camera head control unit 11405. Thereby, the magnification and the focus of the captured image by the imaging unit 11402 can be appropriately adjusted.
  • the communication unit 11404 is configured of a communication device for transmitting and receiving various types of information to and from the CCU 11201.
  • the communication unit 11404 transmits the image signal obtained from the imaging unit 11402 to CCU11201 via a transmission cable 11400 as RAW data.
  • the communication unit 11404 also receives a control signal for controlling the drive of the camera head 11102 from the CCU 11201 and supplies the control signal to the camera head control unit 11405.
  • the the control signal for example, information that specifies the frame rate of the captured image, information that specifies the exposure value at the time of imaging, and / or magnification and information, etc. indicating that specifies the focal point of the captured image, captured Contains information about the condition.
  • the imaging conditions such as the frame rate, exposure value, magnification, and focus described above may be appropriately designated by the user, or may be automatically set by the control unit 11413 of the CCU 11201 based on the acquired image signal. Good. In the latter case, the so-called AE (Auto Exposure) function, AF (Auto Focus) function, and AWB (Auto White Balance) function are incorporated in the endoscope 11100.
  • AE Auto Exposure
  • AF Auto Focus
  • AWB Automatic White Balance
  • the camera head control unit 11405 controls the drive of the camera head 11102 based on the control signal from the CCU 11201 received via the communication unit 11404.
  • the communication unit 11411 is configured by a communication device for transmitting and receiving various types of information to and from the camera head 11102.
  • the communication unit 11411 is, from the camera head 11102 receives image signals transmitted via a transmission cable 11400.
  • the communication unit 11411 transmits a control signal for controlling driving of the camera head 11102 to the camera head 11102.
  • the image signal and the control signal can be transmitted by telecommunication or optical communication.
  • An image processing unit 11412 performs various types of image processing on an image signal that is RAW data transmitted from the camera head 11102.
  • Control unit 11413 the imaging of the operated portion due endoscope 11100, and various types of control related to the display of the captured image obtained by the imaging of the surgical section are performed.
  • the control unit 11413 generates a control signal for controlling the driving of the camera head 11102.
  • control unit 11413 causes the display device 11202 to display a captured image in which a surgical site or the like is captured, based on the image signal subjected to the image processing by the image processing unit 11412.
  • the control unit 11413 may recognize various objects in the captured image using various image recognition techniques. For example, the control unit 11413, by detecting the edge of the shape and color of an object or the like included in the captured image, the surgical instrument such as forceps, a specific body part, bleeding, during use of the energy treatment instrument 11112 mist etc. It can be recognized.
  • the control unit 11413 may superimpose various surgical support information on the image of the surgery section using the recognition result. The operation support information is superimposed and presented to the operator 11131, whereby the burden on the operator 11131 can be reduced and the operator 11131 can reliably proceed with the operation.
  • a transmission cable 11400 connecting the camera head 11102 and the CCU 11201 is an electric signal cable corresponding to communication of an electric signal, an optical fiber corresponding to optical communication, or a composite cable of these.
  • the technology according to the present disclosure may be applied to the imaging unit 11402 of the camera head 11102 among the configurations described above.
  • the solid-state imaging device 1 described above can be applied as the imaging unit 11402.
  • the technology according to the present disclosure is, for example, an apparatus mounted on any type of mobile object such as a car, an electric car, a hybrid electric car, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, a robot It may be realized.
  • FIG. 20 is a block diagram showing a schematic configuration example of a vehicle control system which is an example of a moving object control system to which the technology according to the present disclosure can be applied.
  • Vehicle control system 12000 includes a plurality of electronic control units connected via communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an external information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are illustrated as a functional configuration of the integrated control unit 12050.
  • the driveline control unit 12010 controls the operation of devices related to the driveline of the vehicle according to various programs.
  • the drive system control unit 12010 includes a drive force generation device for generating a drive force of a vehicle such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to the wheels, and a steering angle of the vehicle. adjusting steering mechanism, and functions as a control device of the braking device or the like to generate a braking force of the vehicle.
  • Body system control unit 12020 controls the operation of the camera settings device to the vehicle body in accordance with various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device of various lamps such as a headlamp, a back lamp, a brake lamp, a blinker or a fog lamp.
  • the body system control unit 12020 the signal of the radio wave or various switches is transmitted from wireless controller to replace the key can be entered.
  • Body system control unit 12020 receives an input of these radio or signal, the door lock device for a vehicle, the power window device, controls the lamp.
  • Outside vehicle information detection unit 12030 detects information outside the vehicle equipped with vehicle control system 12000.
  • an imaging unit 12031 is connected to the external information detection unit 12030.
  • the out-of-vehicle information detection unit 12030 causes the imaging unit 12031 to capture an image outside the vehicle, and receives the captured image.
  • the external information detection unit 12030 may perform object detection processing or distance detection processing of a person, a vehicle, an obstacle, a sign, characters on a road surface, or the like based on the received image.
  • Imaging unit 12031 receives light, an optical sensor for outputting an electric signal corresponding to the received light amount of the light.
  • the imaging unit 12031 can output an electric signal as an image or can output it as distance measurement information.
  • the light image pickup unit 12031 is received may be a visible light, it may be invisible light such as infrared rays.
  • Vehicle information detection unit 12040 detects the vehicle information.
  • a driver state detection unit 12041 that detects a state of a driver is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera for imaging the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether the driver does not go to sleep.
  • the microcomputer 12051 calculates a control target value of the driving force generation device, the steering mechanism or the braking device based on the information inside and outside the vehicle acquired by the outside information detecting unit 12030 or the in-vehicle information detecting unit 12040, and a drive system control unit A control command can be output to 12010.
  • the microcomputer 12051 is collision avoidance or cushioning of the vehicle, follow-up running based on inter-vehicle distance, vehicle speed maintained running, functions realized in the vehicle collision warning, or ADAS including lane departure warning of the vehicle (Advanced Driver Assistance System) It is possible to perform coordinated control aiming at
  • the microcomputer 12051 the driving force generating device on the basis of the information around the vehicle acquired by the outside information detection unit 12030 or vehicle information detection unit 12040, by controlling the steering mechanism or braking device, the driver automatic operation such that autonomously traveling without depending on the operation can be carried out cooperative control for the purpose of.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the external information detection unit 12030.
  • the microcomputer 12051 controls the headlamps in response to the preceding vehicle or the position where the oncoming vehicle is detected outside the vehicle information detection unit 12030, the cooperative control for the purpose of achieving the anti-glare such as switching the high beam to the low beam It can be carried out.
  • Audio and image output unit 12052 transmits, to the passenger or outside of the vehicle, at least one of the output signal of the voice and image to be output device to inform a visually or aurally information.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as the output device.
  • Display unit 12062 may include at least one of the on-board display and head-up display.
  • FIG. 21 is a diagram illustrating an example of the installation position of the imaging unit 12031.
  • the vehicle 12100 includes imaging units 12101, 12102, 12103, 12104, and 12105 as the imaging unit 12031.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as the front nose of the vehicle 12100, a side mirror, a rear bumper, a back door, and an upper portion of a windshield of a vehicle interior.
  • the imaging unit 12101 provided in the front nose and the imaging unit 12105 provided in the upper part of the windshield in the vehicle cabin mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 included in the side mirror mainly acquire an image of the side of the vehicle 12100.
  • the imaging unit 12104 provided in the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100. Images in the front acquired by the imaging units 12101 and 12105 are mainly used to detect a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 21 illustrates an example of the imaging range of the imaging units 12101 to 12104.
  • Imaging range 12111 indicates an imaging range of the imaging unit 12101 provided in the front nose
  • imaging range 12112,12113 are each an imaging range of the imaging unit 12102,12103 provided on the side mirror
  • an imaging range 12114 is The imaging range of the imaging part 12104 provided in the rear bumper or the back door is shown. For example, by overlaying the image data captured by the imaging units 12101 to 12104, a bird's eye view of the vehicle 12100 viewed from above can be obtained.
  • At least one of the imaging unit 12101 through 12104 may have a function of obtaining distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of imaging devices, or an imaging device having pixels for phase difference detection.
  • the microcomputer 12051 based on the distance information obtained from to no imaging unit 12101 12104, and the distance to the three-dimensional object in to no imaging range 12111 in 12114, the temporal change of the distance (relative speed with respect to the vehicle 12100) In particular, it is possible to extract a three-dimensional object traveling at a predetermined speed (for example, 0 km / h or more) in substantially the same direction as the vehicle 12100 as a leading vehicle, in particular by finding the it can. Further, the microcomputer 12051 can set an inter-vehicle distance to be secured in advance before the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. Automatic operation or the like for autonomously traveling without depending on the way of the driver operation can perform cooperative control for the purpose.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • the microcomputer 12051 converts three-dimensional object data relating to three-dimensional objects into two-dimensional vehicles such as two-wheeled vehicles, ordinary vehicles, large vehicles, classification and extracted, can be used for automatic avoidance of obstacles.
  • the microcomputer 12051 identifies obstacles around the vehicle 12100 into obstacles visible to the driver of the vehicle 12100 and obstacles difficult to see.
  • the microcomputer 12051 determines a collision risk which indicates the risk of collision with the obstacle, when a situation that might collide with the collision risk set value or more, through an audio speaker 12061, a display portion 12062 By outputting a warning to the driver or performing forcible deceleration or avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be performed.
  • At least one of the imaging unit 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether a pedestrian is present in the images captured by the imaging units 12101 to 12104.
  • Such pedestrian recognition is, for example, a procedure for extracting feature points in images captured by the imaging units 12101 to 12104 as an infrared camera, and pattern matching processing on a series of feature points indicating the outline of an object to determine whether it is a pedestrian or not
  • the procedure is to determine Microcomputer 12051 is, determines that the pedestrian in the captured image of the imaging unit 12101 to 12104 is present, recognizing the pedestrian, the sound image output unit 12052 is rectangular outline for enhancement to the recognized pedestrian to superimpose, controls the display unit 12062.
  • the audio image output unit 12052 is, an icon or the like indicating a pedestrian may control the display unit 12062 to display the desired position.
  • the example of the vehicle control system to which the technology according to the present disclosure can be applied has been described above.
  • the technology according to the present disclosure may be applied to the imaging unit 12031 among the configurations described above.
  • the solid-state imaging device 1 described above can be applied as the imaging unit 12031.
  • the present technology can also have the following configurations.
  • First and second charge holding units for holding the charge generated by the photoelectric conversion unit of the pixel;
  • a connection transistor which turns on and off the connection between the first charge holding portion and the second charge holding portion;
  • control for connecting the first charge holding unit and the second charge holding unit is performed.
  • a control circuit for performing the solid-state imaging device.
  • the charge capacity of the first charge holding portion is smaller than the charge capacity of the second charge holding portion, The solid-state imaging device according to (1), wherein the charge is held by the first charge holding unit until a match between the voltage of the pixel signal and the voltage of the ramp signal is detected.
  • a comparator for comparing the voltage of the pixel signal and the voltage of the ramp signal The control circuit detects a part of a charge transfer period during which the charge generated by the photoelectric conversion unit is transferred to the first charge holding unit, and detects a match between the voltage of the pixel signal and the voltage of the ramp signal.
  • the control circuit outputs a detection result indicating that the voltage of the pixel signal matches the voltage of the ramp signal to a counter that counts time until the voltage of the pixel signal matches the voltage of the ramp signal.
  • the solid-state imaging device according to (7) or (8). (10) When a detection result indicating that the voltage of the pixel signal matches the voltage of the ramp signal is supplied, pixel data corrected according to the gain ratio of the first charge holding unit and the second charge holding unit.
  • the control circuit sets a part of the D phase period as a second detection period for detecting the coincidence of the voltages, and when the coincidence of the voltages is detected, the first charge retention
  • the solid-state imaging device according to (3) wherein control is performed to connect the unit and the second charge holding unit.
  • pixel data using only the first charge holding portion, the first charge holding portion, and the first charge holding portion
  • the solid-state imaging device according to (12) further including: an operation unit that combines the pixel data corrected according to the gain ratio of the charge holding unit 2 and the pixel data after combination.
  • a counter that calculates pixel data based on the time until the voltage of the pixel signal output from the pixel matches the voltage of the ramp signal; The pixel data using only the first charge holding unit is output as it is, and the pixel data using both the first charge holding unit and the second charge holding unit is the first And an output unit for outputting corrected pixel data obtained by correcting the pixel data according to the gain ratio of the second charge holding unit, any one of (1) to (11).
  • the solid-state image sensor of description (16) A first reset transistor that resets the charge of the first charge storage unit; And a second reset transistor that resets the charge of the second charge holding unit.
  • the charge capacity of the first charge holding portion is smaller than the charge capacity of the second charge holding portion,
  • the charge capacity of the first charge holding portion is smaller than the charge capacity of the second charge holding portion,
  • First and second charge holding units for holding the charge generated by the photoelectric conversion unit of the pixel;
  • a connection transistor which turns on and off the connection between the first charge holding portion and the second charge holding portion;
  • control for connecting the first charge holding unit and the second charge holding unit is performed.
  • An electronic apparatus comprising: a solid-state imaging device comprising:
  • Reference Signs List 1 solid-state imaging device 11 pixel array unit, 13 DAC, 14 comparison unit, 15 counter unit, 17 signal processing unit, 18 output unit, 21 pixel, PD photodiode, 23 first vertical signal line, 24 second vertical signal line , 31 comparator, 32 saturation detection circuit, 33 (33A, 33B) counter, 41 transfer transistor, 42A 1st reset transistor, 42B 2nd reset transistor, FD H high sensitivity, FD L low sensitivity, 43 FD connection transistor, 44 amplification Transistor, 45 selection transistors, 51 AND circuits, 52, 53 NOR circuits, 71 switch circuits, 100 imaging devices, 102 solid-state imaging devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Nonlinear Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本技術は、より簡単に、HDR画像を生成することができるようにする固体撮像素子およびその制御方法、並びに電子機器に関する。 固体撮像素子は、画素のフォトダイオードPDで生成された電荷を保持する高感度FD４０H及び低感度FD４０Lと、高感度FD４０Hと低感度FD４０Lとの接続をオンオフするFD接続トランジスタと、画素から出力された画素信号の電圧が、時間経過に応じてレベルが変化するランプ信号の電圧と一致したとき、高感度FD４０Hと低感度FD４０Lを接続させる制御を行う飽和検知回路とを備える。本技術は、例えば、ダイナミックレンジを拡大したHDR画像を生成する固体撮像素子等に適用できる。

Description

固体撮像素子およびその制御方法、並びに電子機器
　本技術は、固体撮像素子およびその制御方法、並びに電子機器に関し、特に、より簡単に、HDR画像を生成することができるようにした固体撮像素子およびその制御方法、並びに電子機器に関する。
　ダイナミックレンジを拡大したHDR（High Dynamic Range）画像を実現する各種の技術が知られている。
　HDR画像を実現する第１の技術としては、例えば、露光時間の違う複数枚の画像を時間方向にHDR合成する技術がある（例えば、特許文献１参照）。しかし、この方法は、画像を複数回読み出すために時間がかかるため、フレームレートが低くなる。また、複数回読み出すことにより消費電力も大きくなる。さらに、撮像タイミングの異なる複数枚の画像の合成なので、動きのある被写体の撮像には弱い。
　HDR画像を実現する第２の技術としては、画素アレイ部内に配列された複数の画素に対して、露光時間、フォトダイオードの面積、電荷を蓄積するFD(フローティングディフュージョン)の面積などを異ならせることで画素の感度を変え、空間方向にHDR合成する技術がある（例えば、特許文献２参照）。しかし、この方法では、解像度が落ちてしまう。
　HDR画像を実現する第３の技術として、フォトダイオードの電荷の転送ゲート電圧を制御することにより、何回かに分けて一部読み出しを行い、後段の信号処理にてHDR合成する技術がある（例えば、特許文献３参照）。しかし、この方法では、やはり複数回読み出しを行うために時間がかかり、フレームレートが低く、消費電力も大きくなる。また、撮像タイミングの異なる画像の合成なので、動きのある被写体の撮像にも弱い。さらに、電圧制御による画面内の特性ばらつきが発生することも懸念される。
　また、撮像タイミングの異なる複数枚の画像の合成には、動きのある被写体のために動体検知回路を設けたり、空間方向のHDR合成に対しては空間フィルタを設ける必要があるなど、後段の複雑な処理回路も必要となる。
特開２０００－５０１５１号公報 特開２０１３－２１６６００号公報 特開２０１１－２５９４９２号公報
　本技術は、このような状況に鑑みてなされたものであり、より簡単に、HDR画像を生成することができるようにするものである。
　本技術の第１の側面の固体撮像素子は、画素の光電変換部で生成された電荷を保持する第１及び第２の電荷保持部と、前記第１の電荷保持部と前記第２の電荷保持部との接続をオンオフする接続トランジスタと、前記画素から出力された画素信号の電圧が、時間経過に応じてレベルが変化するランプ信号の電圧と一致したとき、前記第１の電荷保持部と前記第２の電荷保持部を接続させる制御を行う制御回路とを備える。
　本技術の第２の側面の固体撮像素子の制御方法は、画素の光電変換部で生成された電荷を保持する第１及び第２の電荷保持部と、前記第１の電荷保持部と前記第２の電荷保持部との接続をオンオフする接続トランジスタと、前記接続トランジスタを制御する制御回路とを備える固体撮像素子の、前記制御回路が、前記画素から出力された画素信号の電圧が、時間経過に応じてレベルが変化するランプ信号の電圧と一致したとき、前記第１の電荷保持部と前記第２の電荷保持部を接続させる制御を行う。
　本技術の第３の側面の電子機器は、画素の光電変換部で生成された電荷を保持する第１及び第２の電荷保持部と、前記第１の電荷保持部と前記第２の電荷保持部との接続をオンオフする接続トランジスタと、前記画素から出力された画素信号の電圧が、時間経過に応じてレベルが変化するランプ信号の電圧と一致したとき、前記第１の電荷保持部と前記第２の電荷保持部を接続させる制御を行う制御回路とを備える固体撮像素子を備える。
　本技術の第１乃至第３の側面においては、画素の光電変換部で生成された電荷を保持する第１及び第２の電荷保持部と、前記第１の電荷保持部と前記第２の電荷保持部との接続をオンオフする接続トランジスタと、前記接続トランジスタを制御する制御回路が、固体撮像素子に設けられ、前記画素から出力された画素信号の電圧が、時間経過に応じてレベルが変化するランプ信号の電圧と一致したとき、前記第１の電荷保持部と前記第２の電荷保持部が接続されるように制御される。
　固体撮像素子及び電子機器は、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。
　本技術の第１乃至第３の側面によれば、より簡単に、HDR画像を生成することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した固体撮像素子の概略構成を示すブロック図である。 画素と飽和検知回路の詳細回路を示す図である。 高照度の場合と低照度の場合の画素の動作を説明する図である。 高照度の場合の画素の第１の駆動制御を説明するタイミングチャートである。 飽和検知回路の各状態を説明するテーブルである。 低照度の場合の画素の第１の駆動制御を説明するタイミングチャートである。 HDR処理を説明する図である。 高照度の場合の画素の第２の駆動制御を説明するタイミングチャートである。 低照度の場合の画素の第２の駆動制御を説明するタイミングチャートである。 高照度の場合の画素の第３の駆動制御を説明するタイミングチャートである。 第３の駆動制御を実行する場合のカウンタ部の構成例を示す図である。 第３の駆動制御におけるHDR処理を説明する図である。 画素のその他の回路構成を示す図である。 画素のさらにその他の回路構成を示す図である。 本技術を適用した電子機器としての撮像装置の構成例を示すブロック図である。 イメージセンサの使用例を説明する図である。 体内情報取得システムの概略的な構成の一例を示すブロック図である 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．固体撮像素子の全体構成
２．画素と飽和検知回路の詳細構成
３．第１の駆動制御
４．第２の駆動制御
５．第３の駆動制御
６．その他の画素回路構成
７．まとめ
８．電子機器への適用例
９．体内情報取得システムへの応用例
１０．内視鏡手術システムへの応用例
１１．移動体への応用例
＜１．固体撮像素子の全体構成＞
　図１は、本技術を適用した固体撮像素子の概略構成を示すブロック図である。
　図１に示される固体撮像素子１は、画素アレイ部１１、垂直走査回路１２、DAC（Digital to Analog Converter）１３、比較部１４、カウンタ部１５、水平走査回路１６、信号処理部１７、出力部１８、および、タイミング制御部１９を少なくとも備える。
　画素アレイ部１１には、複数の画素２１が行方向及び列方向の行列状に２次元配置されている。行列状に配置された各画素２１には、垂直走査回路１２から、リセット信号RST、転送信号TRG、および選択信号SELが、各駆動配線２２を介して供給される。各画素２１は、フォトダイオードなどの光電変換部の光電変換により生成した画素信号VSLを、第１垂直信号線２３を介して列方向に伝送し、比較部１４に出力する。
　比較部１４には、画素アレイ部１１の各画素列に対応して、コンパレータ（比較器）３１と飽和検知回路３２が設けられている。また、カウンタ部１５には、画素アレイ部１１の各画素列に対応して、カウンタ（CNT）３３が設けられている。したがって、コンパレータ３１、飽和検知回路３２、および、カウンタ３３は、画素列と同じ数だけ設けられている。
　画素２１の回路構成については、図２を参照して後述するが、画素２１は、FD(フローティングディフュージョン)として、高感度用の高感度FD４０Hと低感度用の低感度FD４０L（図２）を有しており、受光により生成した電荷に応じて、低照度用の高感度と、高照度用の低感度とを切り替える。低照度用の高感度の場合は高感度用の高感度FD４０Hのみが用いられ、高照度用の低感度の場合は高感度FD４０Hと低感度FD４０Lの両方が用いられる。高感度と低感度を切り替えるためのFD制御信号GAが、同列の飽和検知回路３２から第２垂直信号線２４を介して、各画素２１に供給される。
　リセット信号RST、転送信号TRG、または選択信号SELを伝送する各駆動配線２２は、画素アレイ部１１の行列状の画素配列に対して、画素行ごとに水平方向に沿って配線されている。第１垂直信号線２３および第２垂直信号線２４は、画素列ごとに垂直方向に沿って配線されている。
　垂直走査回路１２は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部１１の各画素２１を全画素同時あるいは行単位等で駆動する。
　DAC１３は、時間経過に応じてレベル（電圧）が階段状に変化するランプ信号Rampを生成し、比較部１４内の各コンパレータ３１に供給する。
　比較部１４の各コンパレータ３１は、同列の画素２１から第１垂直信号線２３を介して供給される画素信号VSLの電圧を、DAC１３から供給されるランプ信号Rampの電圧と比較し、その比較結果Compを、飽和検知回路３２およびカウンタ３３に出力する。
　比較部１４の各飽和検知回路３２には、コンパレータ３１から比較結果Compが供給される他、タイミング制御部１９から、検知リセット信号DET_RSTおよび検知イネーブル信号DET_ENBが供給される。
　各飽和検知回路３２は、コンパレータ３１からの比較結果Compに基づいて、検知イネーブル信号DET_ENBが示す検知期間中の高感度FD４０Hの飽和を検知する。飽和検知回路３２は、高感度FD４０Hが飽和したか否かを示す飽和検知結果を、高感度と低感度を切り替えるためのFD制御信号GAとして、画素２１に出力する。画素２１では、高感度FD４０Hが飽和したことを示すFD制御信号GAが供給された場合、高感度から低感度へと感度が切り替えられる。
　カウンタ部１５の各カウンタ３３は、コンパレータ３１の比較時間をカウントする。より具体的には、各カウンタ３３は、画素信号VSLとランプ信号Rampとを比較した比較結果Compが、HiレベルからLoレベルへ、または、LoレベルからHiレベルへ変化するまでの時間をカウントする。
　カウンタ３３は、例えば、P相（Preset Phase）期間で、Hiレベルの比較結果Compが供給されている間だけダウンカウントするとともに、D相（Data Phase）期間で、Hiレベルの比較結果Compが供給されている間だけアップカウントする。そして、カウンタ３３は、P相期間のダウンカウント値と、D相期間のアップカウント値との加算結果を、CDS(Correlated Double Sampling；相関２重サンプリング)処理およびAD変換処理後の画素データとする。
　さらに、カウンタ３３は、飽和検知回路３２による飽和検知結果に基づいて、AD変換処理後の画素データを、HDR（High Dynamic Range）の画素データに変換するHDR処理を実行し、HDR処理後の画素データを水平走査回路１６に出力する。
　なお、P相期間でアップカウントし、D相期間でダウンカウントしてもよい。
　コンパレータ３１、飽和検知回路３２、及び、カウンタ３３は、画素信号のCDS処理とAD変換処理を行うAD変換部を構成する。
　水平走査回路１６は、シフトレジスタやアドレスデコーダなどによって構成され、カウンタ部１５内の複数のカウンタ３３を所定の順番で順に選択する。この水平走査回路１６による選択走査により、カウンタ３３で一時的に保持されている画素データ（AD変換後の画素信号）が順番に信号処理部１７に出力される。
　信号処理部１７は、水平走査回路１６から順次供給される信号に対し、所定の信号処理を行って出力部１８に出力する。信号処理部１７は、例えば、バファリングだけする場合もあるし、黒レベル調整、列ばらつき補正など各種のデジタル信号処理を行う場合もある。なお、各カウンタ３３が実行すると説明したHDR処理を、信号処理部１７が行ってもよい。
　出力部１８は、固体撮像素子１のHDR処理後の画素信号（HDR画像信号を）外部へ出力する。
　タイミング制御部１９は、各種のタイミング信号を生成するタイミングジェネレータなどによって構成され、タイミングジェネレータで生成された各種のタイミングを基に、垂直走査回路１２、DAC１３、カウンタ部１５、及び、水平走査回路１６などの駆動制御を行う。また、タイミング制御部１９は、検知リセット信号DET_RSTおよび検知イネーブル信号DET_ENBを生成し、比較部１４の飽和検知回路３２に供給する。
　以上のように構成される固体撮像素子１は、CDS処理とAD変換処理を行うAD変換部が画素列ごとに配置されたカラムAD方式と呼ばれるCMOSイメージセンサである。
　固体撮像素子１は、画素アレイ部１１の画素単位に自動で感度調整を行い、その結果に基づいて、HDR画像の画素データを出力することができる撮像素子である。
　なお勿論、固体撮像素子１は、動作モードを変更することにより、ダイナミックレンジを拡大しない通常モードの撮像を行うこともできる。
＜２．画素と飽和検知回路の詳細構成＞
　図２を参照して、画素２１と飽和検知回路３２の詳細回路について説明する。
　図２には、１つの画素２１と、それと同じ画素列に配置されたコンパレータ３１、飽和検知回路３２、および、カウンタ３３が示されている。
　画素２１は、フォトダイオードPD、高感度FD４０Hおよび低感度FD４０Lの２つのFD、転送トランジスタ４１、第１リセットトランジスタ４２A、第２リセットトランジスタ４２B、FD接続トランジスタ４３、増幅トランジスタ４４、並びに、選択トランジスタ４５を有する。
　フォトダイオードPDは、受光した光量に応じた電荷（信号電荷）を生成し、かつ、蓄積する。フォトダイオードPDは、アノード端子が接地されているとともに、カソード端子が転送トランジスタ４１を介して高感度FD４０Hに接続されている。
　転送トランジスタ４１は、転送信号TRGによりオンされたとき、フォトダイオードPDで生成された電荷を読み出し、高感度FD４０Hに転送する。
　高感度FD４０Hおよび低感度FD４０Lは、フォトダイオードPDから読み出された電荷を保持する。例えば、高感度FD４０Hは、保持可能な電荷容量が低感度FD４０Lのそれよりも小さく形成されることにより、低感度FD４０Lよりも高感度に設定される。なお、高感度FD４０Hの電荷容量は、必ずしも低感度FD４０Lの電荷容量より小さい場合に限られず、例えば、同一の電荷容量でもよい。高感度FD４０Hおよび低感度FD４０Lは、FD接続トランジスタ４３がオンされたとき、１つの電荷蓄積部を構成する。
　第１リセットトランジスタ４２Aおよび第２リセットトランジスタ４２Bは、リセット信号RSTによりオンされたとき、高感度FD４０Hおよび低感度FD４０Lを、所定のリセット電圧Vrstが印加された第２リセットトランジスタ４２Bのドレインと接続することで、高感度FD４０Hおよび低感度FD４０Lに蓄積された電荷を排出する。リセット電圧Vrstは、例えば、定電圧源VDDとされる。
　FD接続トランジスタ４３は、飽和検知回路３２から第２垂直信号線２４を介して供給されるFD制御信号GAに基づいて、高感度FD４０Hと低感度FD４０Lとの接続を制御（オンオフ）する。
　増幅トランジスタ４４は、高感度FD４０Hおよび低感度FD４０Lの電位に応じた画素信号を出力する。すなわち、増幅トランジスタ４４は、第１垂直信号線２３を介して接続されている定電流源としての負荷MOS（不図示）とソースフォロワ回路を構成し、高感度FD４０Hおよび低感度FD４０Lに蓄積されている電荷に応じたレベルを示す画素信号VSLが、増幅トランジスタ４４から選択トランジスタ４５を介して比較部１４のコンパレータ３１に出力される。
　選択トランジスタ４５は、選択信号SELにより画素２１が選択されたときオンされ、画素２１の画素信号VSLを、第１垂直信号線２３を介してコンパレータ３１に出力する。転送信号TRG、選択信号SEL、及びリセット信号RSTが伝送される各信号線は、図１の各駆動配線２２に対応する。
　飽和検知回路３２は、１つのAND回路５１と、フリップフロップ回路を構成する２つのNOR回路５２および５３とで構成される。
　AND回路５１には、コンパレータ３１の出力である比較結果Compと、タイミング制御部１９からの検知イネーブル信号DET_ENBが、入力される。AND回路５１は、比較結果Compと検知イネーブル信号DET_ENBのAND（論理積）演算を行い、その演算結果を、NOR回路５２に供給する。AND回路５１の出力信号をSIG_Aとする。
　NOR回路５２には、AND回路５１の出力である、比較結果Compと検知イネーブル信号DET_ENBのAND信号と、NOR回路５３の出力が、入力される。NOR回路５２は、比較結果Compと検知イネーブル信号DET_ENBのAND信号と、NOR回路５３の出力のNOR（否定論理和）演算を行い、その演算結果を、NOR回路５３に供給する。NOR回路５２の出力信号をSIG_Bとする。
　NOR回路５３には、NOR回路５２の出力と、タイミング制御部１９からの検知リセット信号DET_RSTが、入力される。NOR回路５３は、NOR回路５２の出力と検知リセット信号DET_RSTのNOR（否定論理和）演算を行い、その演算結果を、NOR回路５２に供給するとともに、FD制御信号GAとして、画素２１のFD接続トランジスタ４３に供給する。NOR回路５３の出力は、NOR回路５２の入力としてフィードバックされるとともに、飽和検知信号として、カウンタ部１５内の同一列のカウンタ３３にも供給される。
　カウンタ３３は、飽和検知信号に基づいてAD変換処理後の画素データをゲイン比に応じた補正を行うことで、HDR処理後の画素データを生成して、水平走査回路１６に出力する。
　即ち、カウンタ３３は、コンパレータ３１からの比較結果Compに基づいて、所定のビット数（例えば、１０ビット）でカウントし、アナログの画素信号をデジタルの画素データにAD変換する。ここで、飽和検知信号が飽和したことを示している場合、カウンタ３３は、AD変換された画素データを、低照度と高照度のゲイン比で補正し、補正後の画素データを出力する。より具体的には、カウンタ３３は、AD変換処理後の画素データを、（高感度FD４０Hおよび低感度FD４０Lの合計容量値）／（高感度FD４０Hの容量値）の比で乗算した後の結果を、画素データとして出力する。一方、飽和検知信号が飽和していないことを示している場合には、カウンタ３３は、AD変換処理後の画素データをそのまま水平走査回路１６に出力する。
　次に、図３のポテンシャル図を参照しながら、高照度の場合と低照度の場合の、画素２１の動作について説明する。
　図３のAは、高照度の場合の画素２１の動作を示している。
　所定の露光期間が終了し、フォトダイオードPDに蓄積された電荷をFDに転送する前に、高感度FD４０Hおよび低感度FD４０Lをリセットするリセット動作が実行される。
　すなわち、図３のAに示されるように、第１リセットトランジスタ４２Aおよび第２リセットトランジスタ４２BのゲートにHiレベルのリセット信号RSTが供給され、高感度FD４０Hおよび低感度FD４０Lがリセット電圧Vrstにリセットされる。
　第１リセットトランジスタ４２Aおよび第２リセットトランジスタ４２Bがオフに戻され、リセット動作が終了すると、フォトダイオードPDに蓄積された電荷をFDに転送する電荷転送動作が開始される。
　電荷転送動作では、フォトダイオードPDに蓄積された電荷が、初めに、高感度FD４０Hに転送される。そして、転送される電荷の量が所定のオーバーフローレベル（飽和レベル）を超えた場合、飽和検知回路３２が、それを検知し、HiレベルのFD制御信号GAをFD接続トランジスタ４３に供給することにより、FD接続トランジスタ４３をオンさせる。これにより、図３のAの右側に示されるように、高感度FD４０Hと低感度FD４０Lが接続され、画素２１の感度が、低照度用の高感度から、高照度用の低感度へ切替えられる。
　これに対して、低照度の場合、図３のBに示されるように、フォトダイオードPDから転送された電荷の量がオーバーフローレベルを超えないので、FD接続トランジスタ４３はオンされず、転送された電荷は高感度FD４０Hのみに蓄積され、高感度が維持される。
　上述した画素２１の動作において、高感度と低感度を切り替えるオーバーフローレベルは、ランプ信号Rampの電圧によって決定される。したがって、ランプ信号Rampの電圧を調整（変更）することにより、オーバーフローレベルは任意のレベルに設定することができる。
＜３．第１の駆動制御＞
＜高照度の場合の画素動作＞
　次に、図３を参照して説明した画素動作を行う第１の駆動制御について説明する。
　初めに、図４および図５を参照して、高照度の場合の画素２１の動作を説明する。
　図４は、高照度の場合の画素２１の動作を示すタイミングチャートを示している。図５は、コンパレータ３１および飽和検知回路３２の入出力信号を示すテーブルである。
　図４には、画素信号VSLおよびランプ信号Rampと、検知リセット信号DET_RST、検知イネーブル信号DET_ENB、比較結果Comp、FD制御信号GA、リセット信号RST、転送信号TRG、及び、選択信号SELが示されている。
　図４において、画素信号VSLおよびランプ信号Rampは、図中、下方向にレベルが下がるほど高電圧である。図５において、検知イネーブル信号DET_ENB、比較結果Comp、FD制御信号GA、リセット信号RST、転送信号TRG、及び、選択信号SELのHiレベルは“１”で、Loレベルは“０”で表されている。
　最初の時刻ｔ１から画素２１の選択期間（1H）が終了するまで、画素２１の選択トランジスタ４５には、Hiレベルの選択信号SELが供給され、選択トランジスタ４５がオンされる。
　時刻ｔ１から時刻ｔ２までの期間は、飽和検知回路３２をリセットする検知リセット期間である。検知リセット期間では、検知リセット信号DET_RSTがHiレベルに設定され、それ以前の飽和検知結果（飽和履歴）を示すFD制御信号GAがリセットされる。
　図５のテーブルにおける状態ST_Aが、検知リセット信号DET_RSTがHiレベルに設定された直後の状態を示している。
　検知リセット信号DET_RSTがHiレベル（“１”）に設定された場合、NOR回路５３の出力であるFD制御信号GAはLoレベル（“０”）となるので、飽和検知結果（飽和履歴）がリセットされる。
　また、検知リセット期間中の所定のタイミングで、画素２１へ供給されるリセット信号RSTがHiレベルに設定され、図３を参照して説明したように、第１リセットトランジスタ４２Aおよび第２リセットトランジスタ４２Bがオンされて、高感度FD４０Hおよび低感度FD４０Lがリセット電圧Vrstにリセットされる。
　時刻ｔ２から時刻ｔ３までの期間は、CDS処理のリセットレベルを検出するP相期間である。P相期間では、画素信号VSLとランプ信号Rampの電圧が比較され、画素信号VSLとランプ信号Rampの電圧が一致したタイミングが検出されて、リセットレベルが検出される。
　次に、時刻ｔ３から時刻ｔ９までの期間は、フォトダイオードPDに蓄積された電荷をFDに転送する電荷転送期間である。
　この電荷転送期間のうち、時刻ｔ３から所定時間経過した時刻ｔ４から時刻ｔ８までの前半部分の期間において、検知イネーブル信号DET_ENBがHiレベル（“１”）に設定され、転送電荷のオーバーフローレベルの超過、換言すれば、低照度用の高感度から高照度用の低感度へ画素２１の感度の切替えを検知する検知期間が設定される。なお、時刻ｔ３から時刻ｔ４になるまでの間に、時刻ｔ１にHiレベルに設定された検知リセット信号DET_RSTはLoレベルに戻される。
　電荷転送期間において、DAC１３からコンパレータ３１に供給されるランプ信号Rampの電圧は、図３で説明したオーバーフローレベル（飽和レベル）に対応する電圧VOFLに設定される。
　検知期間が開始された時刻ｔ４より後の時刻ｔ５において、Hiレベルの転送信号TRGが転送トランジスタ４１に供給されることにより転送トランジスタ４１がオンされ、画素信号VSLが、初期値V0から徐々に上昇していく。
　そして、時刻ｔ６において、電荷の転送に応じて変化する画素信号VSLの電圧が、オーバーフローレベルに対応する電圧VOFLよりも高くなり、比較結果CompがHiレベル（“１”）に変更される。
　図５のテーブルにおける状態ST_Dが、比較結果CompがHiレベルに変更された直後の状態を示している。
　比較結果CompがHiレベル（“１”）に設定された場合、検知イネーブル信号DET_ENBもHiレベルであるので、AND回路５１の出力信号SIG_AはHiレベル（“１”）となり、時刻ｔ７において、NOR回路５３の出力であるFD制御信号GAがHiレベル（“１”）となる。FD制御信号GAがHiレベル（“１”）となることにより、図３を参照して説明したように、画素２１のFD接続トランジスタ４３がオンし、高感度FD４０Hと低感度FD４０Lが接続される。すなわち、画素２１の感度が、低照度用の高感度から、高照度用の低感度へ切替えられる。
　画素２１の感度が高感度から低感度へ切替えられると、画素信号VSLの電圧は、ランプ信号Rampの電圧VOFLよりも再び低くなり、電荷の量に応じた所定の電圧V1で安定する。画素２１の感度が高感度から低感度へ切替えられてから、画素信号VSLの電圧が、電荷の量に応じた所定の電圧V1で安定するまで、ある程度の時間が必要である。この感度変更後の電圧が安定するための時間を電荷転送期間内で確保するために、検知期間は、電荷転送期間のうちの前半部分の所定期間に設定される。
　図５のテーブルにおける状態ST_Cが、画素信号VSLの電圧がランプ信号Rampの電圧VOFLよりも再び低くなり、比較結果CompがLoレベルに変更された直後の状態を示している。この場合、NOR回路５３の出力であるFD制御信号GAは、その前の状態が保持されるから、Hiレベル（“１”）が維持される。すなわち、飽和検知回路３２は、検知期間において、画素信号VSLの電圧がランプ信号Rampの電圧VOFLと一致したことをラッチ記憶する。
　時刻ｔ８において、検知イネーブル信号DET_ENBがLoレベル（“０”）に設定され、検知期間が終了する。
　図５のテーブルにおける状態ST_Bが、検知イネーブル信号DET_ENBがLoレベルに変更された直後の状態を示している。この場合、NOR回路５３の出力であるFD制御信号GAは、その前の状態が保持されるので、Hiレベル（“１”）が維持される。
　CDS処理の信号レベルを検出するD相期間が開始する時刻ｔ９に合わせて、ランプ信号Rampが、再び、初期値V0に制御される。D相期間では、画素信号VSLの電圧がランプ信号Rampの電圧と一致し、比較結果CompがLoレベル（“０”）に変化する時刻ｔ１０までの時間が、カウンタ３３でカウントされる。
＜低照度の場合の画素動作＞
　次に、図６を参照して、低照度の場合の画素２１の動作を説明する。
　図６は、低照度の場合の画素２１の動作を示すタイミングチャートを示している。
　低照度の場合、検知期間において、電荷の転送に応じて変化する画素信号VSLの電圧が、オーバーフローレベルに対応する電圧VOFLよりも高くならないため、FD制御信号GAは、画素２１の選択期間中、Hiレベル（“１”）にはならない。したがって、図３を参照して説明したように、FD接続トランジスタ４３はオンされず、高感度が維持され、転送された電荷は高感度FD４０Hのみに蓄積される。
　そして、D相期間において、高感度FD４０Hに蓄積された電荷に対応する画素信号VSLの電圧とランプ信号Rampの電圧が比較され、比較結果CompがLoレベル（“０”）に変化する時刻ｔ１８までの時間が、カウンタ３３でカウントされる。
＜HDR処理＞
　図７は、カウンタ３３で実行されるHDR処理を説明する図である。
　カウンタ３３は、高感度FD４０Hのみを用いた低照度用の高感度（高ゲイン）の場合も、高感度FD４０Hと低感度FD４０Lの両方を用いた高照度用の低感度（低ゲイン）の場合も、同じADレンジでAD変換される。
　図７上段は、画素が受光する照度と、固定ADレンジ内のAD変換後の画素データとの対応を示すグラフである。
　グラフの横軸で示される画素照度が、ゼロからBR1までの範囲では、高感度FD４０Hのみが用いられ、BR1からBR2までの範囲では、高感度FD４０Hと低感度FD４０Lの両方が用いられる。換言すれば、BR1に相当する画素照度が、高感度（高ゲイン）から低感度（低ゲイン）へ切り替わるオーバーフローレベルに相当する照度（受光量）となる。
　カウンタ３３が実行するHDR処理では、図７下段に示されるように、高感度FD４０Hのみを用いた場合には、AD変換処理後の画素データ（AD変換値）をそのまま出力するが、高感度FD４０Hと低感度FD４０Lの両方を用いた場合には、AD変換処理後の画素データを、（高感度FD４０Hおよび低感度FD４０Lの合計容量値）／（高感度FD４０Hの容量値）のゲイン比で補正し、補正後の画素データを出力する。
　以上の第１の駆動制御によれば、画素２１が高感度FD４０Hと低感度FD４０Lを備え、電荷転送期間の前半に設定した検知期間において、高感度FD４０Hが飽和したか（オーバーフローレベルを超過したか）が判定される。そして、高感度FD４０Hが飽和したと判定された場合、高感度FD４０Hと低感度FD４０Lが接続され、画素２１の感度が、低照度用の高感度から、高照度用の低感度へ切替えられる。一方、高感度FD４０Hが飽和しない場合、高感度が維持される。
　そして、カウンタ部１５のカウンタ３３が、飽和検知結果（飽和検知信号）に基づいて、HDR処理を実行し、ダイナミックレンジを拡大したHDR画像の画素データに変換して、出力する。
　したがって、固体撮像素子１の第１の駆動制御によれば、画素アレイ部１１の画素単位に自動で感度調整を行い、その結果に基づいて、HDR画像の画素データを出力することができる。すなわち、より簡単に、HDR画像を生成することができる。
＜４．第２の駆動制御＞
　次に、固体撮像素子１の第２の駆動制御について説明する。
　なお、以下の第２の駆動制御の説明では、上述した第１の駆動制御と異なる部分に着目して説明する。
　図８は、第２の駆動制御における高照度の場合の画素２１の動作を示すタイミングチャートを示している。
　図８は、第１の駆動制御における図４のタイミングチャートと対応し、図４の時刻ｔ１乃至ｔ１０が、図８の時刻ｔ２１乃至ｔ３０に対応する。
　図９は、第２の駆動制御における低照度の場合の画素２１の動作を示すタイミングチャートを示している。
　図９は、第１の駆動制御における図６のタイミングチャートと対応し、図６の時刻ｔ１１乃至ｔ１８が、図９の時刻ｔ４１乃至ｔ４８に対応する。
　図４および図６を参照して説明した第１の駆動制御では、P相期間およびD相期間のいずれにおいても、ランプ信号Rampが、時間経過に応じて、初期値V0から電圧VOFLに近づくように下り傾斜の電圧信号となっていた。そのため、DAC１３は、D相期間が開始する時刻ｔ９および時刻ｔ１７に合わせて、ランプ信号Rampを、再び初期値V0に大きく変更する制御を行う必要があった。
　これに対して、図８および図９の第２の駆動制御では、D相期間のランプ信号Rampが、時間経過に応じて、電圧VOFLに近い電圧VBLから初期値V0に近づくように上り傾斜の電圧信号となっている点が異なる。D相期間が開始する時刻ｔ２９およびｔ４７の直前に、電圧VOFLよりも所定電圧高い電圧VBLに設定しているのは、D相期間において、画素信号VSLとランプ信号Rampの電圧の一致を確実に検出するためである。
　第１の駆動制御では、カウンタ３３は、比較結果CompがHiレベルからLoレベルへ変化するまでの比較時間をカウントしたが、第２の駆動制御では、比較結果CompがLoレベルからHiレベルへ変化するまでの比較時間をカウントする。
　第２の駆動制御のその他の駆動は、上述した第１の駆動制御と同様である。
　このように第２の駆動制御では、D相期間のカウントを行う際のランプ信号Rampを、電圧VOFLに近い電圧VBLから初期値V0に近づくように上り傾斜の電圧信号とすることにより、D相期間の直前に、ランプ信号Rampの電圧を、電圧VOFLから初期値V0に大きく変更する必要がないので、制御を簡単にすることができ、駆動時間を短縮することができる。
　なお、第２の駆動制御において、P相期間中のランプ信号Rampについても、D相期間のランプ信号Rampと同様に上り傾斜の電圧信号としてもよい。
＜５．第３の駆動制御＞
　次に、固体撮像素子１の第３の駆動制御について説明する。
　なお、以下の第３の駆動制御の説明では、上述した第２の駆動制御と異なる部分に着目して説明する。
　図１０は、第３の駆動制御における高照度の場合の画素２１の動作を示すタイミングチャートを示している。図１０は、第２の駆動制御における図８のタイミングチャートと対応する。
　高照度の場合の第３の駆動制御は、図９で示した第２の駆動制御と同じであるので、説明は省略する。
　低照度の場合の第３の駆動制御では、低照度用の高感度から高照度用の低感度へ画素２１の感度の切替えを検知する検知期間が、電荷転送期間の前半と、D相期間の前半の２つの期間に設定されている。すなわち、電荷転送期間の前半に設定される検知期間を第１検知期間とし、D相期間の前半に設定される検知期間を第２検知期間とすると、第１検知期間は、第２の駆動制御と同じであり、第３の駆動制御では、第２検知期間が新たに設けられている。
　固体撮像素子１は、第１検知期間において、高照度の場合におけるオーバーフローを検知するのに対して、第２検知期間において、高照度と低照度の中間の中照度の場合におけるオーバーフローを検知する。
　図１０のタイミングチャートの時刻ｔ６１乃至ｔ６６における動作は、図９のタイミングチャートの時刻ｔ４１乃至ｔ４６における動作と同様であるので、説明は省略する。
　時刻ｔ６７の直前に、ランプ信号Rampの電圧が、電圧VOFLよりも所定電圧高い電圧VBLに設定された後、タイミング制御部１９は、検知イネーブル信号DET_ENBを再びHiレベル（“１”）に変更（設定）し、第２検知期間を開始する。
　そして、第２検知期間中の時刻ｔ６８において、画素信号VSLの電圧がランプ信号Rampの電圧と一致すると、比較結果CompがHiレベル（“１”）に変更される。
　すると、時刻ｔ６９において、NOR回路５３の出力であるFD制御信号GAがHiレベル（“１”）となる。FD制御信号GAがHiレベル（“１”）となることにより、画素２１のFD接続トランジスタ４３がオンし、高感度FD４０Hと低感度FD４０Lが接続される。すなわち、画素２１の感度が、低照度用の高感度から、高照度用の低感度へ切替えられる。これにより、比較結果Compが再びLoレベルに変更される。
　時刻ｔ７０において、タイミング制御部１９は、検知イネーブル信号DET_ENBをLoレベル（“０”）に変更（設定）する。これにより、第２検知期間が終了する。
　そして、第２検知期間以降の時刻ｔ７１において、画素信号VSLの電圧がランプ信号Rampの電圧と再び一致し、比較結果CompがHiレベル（“１”）に変更される。
　この第３の駆動制御では、画素２１の照度が中照度である場合、上述したように、画素信号VSLとランプ信号Rampとの電圧の一致が、２回検出される。そのため、カウンタ部１５には、例えば、図１１に示されるように、同一画素列の１個のコンパレータ３１に対して、２つのカウンタ３３Aおよび３３Bが必要となる。
　図１１は、第３の駆動制御を実行する場合のカウンタ部１５の構成例を示す図である。
　なお、図１１において、同一画素列のコンパレータ３１及び飽和検知回路３２の構成は、図２で示した構成と同じである。
　図１１のカウンタ部１５では、同一画素列の１個のコンパレータ３１に対して２つのカウンタ３３Aおよび３３Bが設けられており、カウンタ３３Aとコンパレータ３１との間には、スイッチ回路７１が設けられている。
　カウンタ３３Aおよび３３Bそれぞれは同一であり、P相期間では、Hiレベルの比較結果Compが供給されている間だけダウンカウントし、D相期間では、Loレベルの比較結果Compが供給されている間だけアップカウントする。
　カウンタ３３Aは、アップカウントを開始してから、第２検知期間中に画素信号VSLとランプ信号Rampの電圧が一致するまで、アップカウントを実行する。スイッチ回路７１は、飽和検知信号に基づいて、画素信号VSLとランプ信号Rampの電圧が一致したことが検出されると、接続をオフする。
　カウンタ３３Bは、アップカウントを開始してから、第２検知期間終了後に、画素信号VSLとランプ信号Rampの電圧が一致するまで、アップカウントを実行する。
　換言すれば、カウンタ３３Aは、低照度用の高感度FD４０Hのみを用いた場合のカウント値を演算し、カウンタ３３Bは、高照度用の高感度FD４０Hと低感度FD４０Lを用いた場合のカウント値を演算する。
　以上のように、第３の駆動制御では、画素２１の照度（受光量）を、低照度、中照度、高照度の３段階に分け、固体撮像素子１は、画素照度が中照度である場合には、D相期間の第２検知期間と、その後の期間の合計２回、画素信号VSLとランプ信号Rampとの電圧の一致を検出する。画素照度が高照度である場合には、画素信号VSLとランプ信号Rampとの電圧の一致が、電荷転送期間の第１検知期間のみで検出され、画素照度が低照度である場合には、第２検知期間より後の残りのD相期間のみで検出される。
　なお、第３の駆動制御を実行する場合の固体撮像素子１の構成はこれに限定されない。例えば、カウンタ３３が同一画素列に対して１つのみで、１つのカウンタ３３で低照度と高照度の両方のカウントを行う構成を採用してもよい。あるいはまた、２つのカウンタ３３Aおよび３３Bそれぞれに対して、コンパレータ３１と飽和検知回路３２を並列に備える構成を採用してもよい。
＜HDR処理＞
　図１２は、第３の駆動制御におけるHDR処理を説明する図である。
　図１２の上段のグラフに示されるように、ゼロからBRcまでの画素２１が受光可能な照度のうち、ゼロからBraまでの低照度では、高感度FD４０Hのみを用いて照度が検出され、BRaからBRbまでの中照度では、高感度FD４０Hのみを用いた状態と、高感度FD４０Hおよび低感度FD４０Lの両方を用いた状態のそれぞれで、照度が検出される。BRbからBRcまでの高照度では、高感度FD４０Hおよび低感度FD４０Lを用いた状態のみで、照度が検出される。
　BRaからBRbまでの中照度では、２回の検出結果が得られるので、それらの結果が、３：７や５：５などの所定の合成比で合成され、HDR画像の画素データとして出力される。
　即ち、カウンタ３３は、ゼロからBRcまでの低照度では、AD変換処理後の画素データをそのまま出力し、BRaからBRbまでの中照度では、AD変換処理後の画素データと、ゲイン比で補正した補正後の画素データを合成した合成後の画素データを出力し、BRbからBRcまでの高照度では、AD変換処理後の画素データをゲイン比で補正した補正後の画素データを出力する。
　図７を参照して説明した、低照度と高照度の２段階に分けてHDR画像の画素データを生成する方法では、低照度と高照度の境界で検出方法が突然切り替わるため、両者の境界付近の画素データに段差が発生することが懸念される。
　第３の駆動制御のように、低照度と高照度の中間的な中照度については、低照度用の高感度FD４０Hのみを用いた場合と、高照度用の高感度FD４０Hおよび低感度FD４０Lを用いた場合の両方で検出することで、段差を考慮した画素データを生成することが可能となる。
＜６．その他の画素回路構成＞
　画素２１の回路構成は、図２を参照して説明した構成に限定されず、その他の構成も採用することができる。
　図１３は、画素２１のその他の回路構成を示している。
　図１２において、図２と対応する部分については同一の符号を付してあり、その部分についての説明は省略する。
　図２の画素回路と図１３の画素回路は、高感度FD４０Hと低感度FD４０Lの間にFD接続トランジスタ４３が配置され、高感度FD４０Hが転送トランジスタ４１と増幅トランジスタ４４の間に配置される点で共通する。
　一方、図２の画素回路では、高感度FD４０Hが、第１リセットトランジスタ４２Aおよび第２リセットトランジスタ４２Bを介して、所定のリセット電圧Vrstに接続されているのに対して、図１３の画素回路では、高感度FD４０Hは、第２リセットトランジスタ４２Bのみを介して、所定のリセット電圧Vrstに接続されている。第１リセットトランジスタ４２Aは、高感度FD４０Hと低感度FD４０Lとの間に接続され、低感度FD４０Lがグランドに接続されている。
　図１４は、画素２１のさらにその他の回路構成であり、高感度FD４０Hおよび低感度FD４０Lの２つのFD、第１リセットトランジスタ４２A、第２リセットトランジスタ４２B、FD接続トランジスタ４３、増幅トランジスタ４４、並びに、選択トランジスタ４５を複数画素で共有する共有画素構造を採用した回路構成を示している。
　共有画素構造を採用した場合、図１４に示されるように、フォトダイオードPDと転送トランジスタ４１のみが画素２１ごとに配置され、その他の高感度FD４０Hおよび低感度FD４０Lの２つのFD、第１リセットトランジスタ４２A、第２リセットトランジスタ４２B、FD接続トランジスタ４３、増幅トランジスタ４４、並びに、選択トランジスタ４５が、共有単位であるｎ個の画素２１に対してそれぞれ１つずつ設けられる。複数画素で共通に利用される２つのFD、第１リセットトランジスタ４２A、第２リセットトランジスタ４２B、FD接続トランジスタ４３、増幅トランジスタ４４、並びに、選択トランジスタ４５は、例えば、共有単位の複数画素のいずれかの領域や中間の領域に配置される。
　なお、図１４は、図２の回路構成を共有画素構造に変更した構成であるが、図１３の回路構成についても同様に共有画素構造に変更可能である。
　共有画素構造を採用した固体撮像素子１では、FD共有して使用される２以上の画素２１のフォトダイオードPDに蓄積された電荷を同時にFDに転送すると、FDを用いて複数画素の画素信号を加算するFD加算を行うことができるが、オーバーフローレベルへ到達する確率は高くなる。
　したがって、固体撮像素子１では、複数画素の画素信号をFDを用いて加算するFD加算モードや１画素単位で画素信号を出力する単独画素モードなどの各種の動作モードや、シャッタスピード等の撮像時の設定値等に応じて、オーバーフローレベル（電圧VOFL）は、適切に変更される。
＜７．まとめ＞
　以上説明した固体撮像素子１は、フォトダイオードPDで生成された電荷を保持する高感度FD４０H（第１の電荷保持部）および低感度FD４０L（第２の電荷保持部）の２つのFDと、高感度FD４０Hと低感度FD４０Lとの接続を制御（オンオフ）するFD接続トランジスタ４３と、画素２１から出力された画素信号VSLの電圧が、時間経過に応じてレベルが変化するランプ信号Rampの電圧と一致したとき、高感度FD４０Hと低感度FD４０Lを接続させる制御を行う制御回路としての飽和検知回路３２とを備える。
　電荷転送期間では、フォトダイオードPDに蓄積された電荷が、初めに高感度FD４０Hへ転送される。そして、画素信号VSLの電圧が高感度FD４０Hのオーバーフローレベルに対応する電圧VOFLに設定されたランプ信号Rampの電圧と一致し、高感度FD４０Hの飽和が検知されたとき、高感度FD４０Hと低感度FD４０Lとの接続がオンされ、フォトダイオードPDで生成された電荷が高感度FD４０Hと低感度FD４０Lの両方に蓄積される。
　すなわち、画素信号VSLの電圧とランプ信号Rampの電圧の一致が検出されるまでは、高感度FD４０Hで電荷が保持され、一致が検出された後は、高感度FD４０Hと低感度FD４０Lの両方で電荷が保持される。
　従って、固体撮像素子１によれば、受光量に応じて画素ごとに自動で感度調整を行って、HDR画像の画素データを出力することができる。すなわち、より簡単に、HDR画像を生成することができる。
　HDR画像を生成する手法として一般的な、撮像タイミングの異なる複数枚の画像を合成する手法や、画素の感度を画素アレイ部内で異ならせて受光する手法などと比較して、１回の撮像でHDR画像を生成することができるため、フレームレートが低くなることはなく、消費電力も抑えられる。また、１回の撮像でHDR画像を生成することができるので、動きのある被写体に対しても影響が少なく、動体検知や空間フィルタなどの後処理も不要である。
＜８．電子機器への適用例＞
　本技術は、固体撮像素子への適用に限られるものではない。即ち、本技術は、デジタルスチルカメラやビデオカメラ等の撮像装置や、撮像機能を有する携帯端末装置や、画像読取部に固体撮像素子を用いる複写機など、画像取込部（光電変換部）に固体撮像素子を用いる電子機器全般に対して適用可能である。固体撮像素子は、ワンチップとして形成された形態であってもよいし、撮像部と信号処理部または光学系とがまとめてパッケージングされた撮像機能を有するモジュール状の形態であってもよい。
　図１５は、本技術を適用した電子機器としての、撮像装置の構成例を示すブロック図である。
　図１５の撮像装置１００は、レンズ群などからなる光学部１０１、図１の固体撮像素子１の構成が採用される固体撮像素子（撮像デバイス）１０２、およびカメラ信号処理回路であるDSP(Digital Signal Processor)回路１０３を備える。また、撮像装置１００は、フレームメモリ１０４、表示部１０５、記録部１０６、操作部１０７、および電源部１０８も備える。DSP回路１０３、フレームメモリ１０４、表示部１０５、記録部１０６、操作部１０７および電源部１０８は、バスライン１０９を介して相互に接続されている。
　光学部１０１は、被写体からの入射光（像光）を取り込んで固体撮像素子１０２の撮像面上に結像する。固体撮像素子１０２は、光学部１０１によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。この固体撮像素子１０２として、図１の固体撮像素子１、即ち、高感度FD４０Hおよび低感度FD４０Lの２つのFDを備え、受光量に応じて高感度FD４０Hと低感度FD４０Lを接続して感度を自動で切替えることで、ダイナミックレンジを拡大したHDR画像を出力する固体撮像素子を用いることができる。
　表示部１０５は、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等のパネル型表示装置からなり、固体撮像素子１０２で撮像された動画または静止画を表示する。記録部１０６は、固体撮像素子１０２で撮像された動画または静止画を、ハードディスクや半導体メモリ等の記録媒体に記録する。
　操作部１０７は、ユーザによる操作の下に、撮像装置１００が持つ様々な機能について操作指令を発する。電源部１０８は、DSP回路１０３、フレームメモリ１０４、表示部１０５、記録部１０６および操作部１０７の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。
　以上のように、固体撮像素子１０２として、上述した固体撮像素子１を用いることで、ダイナミックレンジを拡大したHDR画像を簡単に生成することができる。従って、ビデオカメラやデジタルスチルカメラ、さらには携帯電話機等のモバイル機器向けカメラモジュールなどの撮像装置１００においても、撮像画像の高画質化を図ることができる。
＜イメージセンサの使用例＞
　図１６は、上述の固体撮像素子１をイメージセンサとして使用する場合の使用例を示す図である。
　イメージセンサは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
　・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
　・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
　・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
　・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
　・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
　・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
　・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
　・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
＜９．体内情報取得システムへの応用例＞
　本開示に係る技術（本技術）は、上述したように様々な製品へ応用することができる。例えば、本開示に係る技術は、カプセル型内視鏡を用いた患者の体内情報取得システムに適用されてもよい。
　図１７は、本開示に係る技術が適用され得る、カプセル型内視鏡を用いた患者の体内情報取得システムの概略的な構成の一例を示すブロック図である。
　体内情報取得システム１０００１は、カプセル型内視鏡１０１００と、外部制御装置１０２００とから構成される。
　カプセル型内視鏡１０１００は、検査時に、患者によって飲み込まれる。カプセル型内視鏡１０１００は、撮像機能及び無線通信機能を有し、患者から自然排出されるまでの間、胃や腸等の臓器の内部を蠕動運動等によって移動しつつ、当該臓器の内部の画像（以下、体内画像ともいう）を所定の間隔で順次撮像し、その体内画像についての情報を体外の外部制御装置１０２００に順次無線送信する。
　外部制御装置１０２００は、体内情報取得システム１０００１の動作を統括的に制御する。また、外部制御装置１０２００は、カプセル型内視鏡１０１００から送信されてくる体内画像についての情報を受信し、受信した体内画像についての情報に基づいて、表示装置（図示せず）に当該体内画像を表示するための画像データを生成する。
　体内情報取得システム１０００１では、このようにして、カプセル型内視鏡１０１００が飲み込まれてから排出されるまでの間、患者の体内の様子を撮像した体内画像を随時得ることができる。
　カプセル型内視鏡１０１００と外部制御装置１０２００の構成及び機能についてより詳細に説明する。
　カプセル型内視鏡１０１００は、カプセル型の筐体１０１０１を有し、その筐体１０１０１内には、光源部１０１１１、撮像部１０１１２、画像処理部１０１１３、無線通信部１０１１４、給電部１０１１５、電源部１０１１６、及び制御部１０１１７が収納されている。
　光源部１０１１１は、例えばＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等の光源から構成され、撮像部１０１１２の撮像視野に対して光を照射する。
　撮像部１０１１２は、撮像素子、及び当該撮像素子の前段に設けられる複数のレンズからなる光学系から構成される。観察対象である体組織に照射された光の反射光（以下、観察光という）は、当該光学系によって集光され、当該撮像素子に入射する。撮像部１０１１２では、撮像素子において、そこに入射した観察光が光電変換され、その観察光に対応する画像信号が生成される。撮像部１０１１２によって生成された画像信号は、画像処理部１０１１３に提供される。
　画像処理部１０１１３は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のプロセッサによって構成され、撮像部１０１１２によって生成された画像信号に対して各種の信号処理を行う。画像処理部１０１１３は、信号処理を施した画像信号を、ＲＡＷデータとして無線通信部１０１１４に提供する。
　無線通信部１０１１４は、画像処理部１０１１３によって信号処理が施された画像信号に対して変調処理等の所定の処理を行い、その画像信号を、アンテナ１０１１４Ａを介して外部制御装置１０２００に送信する。また、無線通信部１０１１４は、外部制御装置１０２００から、カプセル型内視鏡１０１００の駆動制御に関する制御信号を、アンテナ１０１１４Ａを介して受信する。無線通信部１０１１４は、外部制御装置１０２００から受信した制御信号を制御部１０１１７に提供する。
　給電部１０１１５は、受電用のアンテナコイル、当該アンテナコイルに発生した電流から電力を再生する電力再生回路、及び昇圧回路等から構成される。給電部１０１１５では、いわゆる非接触充電の原理を用いて電力が生成される。
　電源部１０１１６は、二次電池によって構成され、給電部１０１１５によって生成された電力を蓄電する。図１７では、図面が煩雑になることを避けるために、電源部１０１１６からの電力の供給先を示す矢印等の図示を省略しているが、電源部１０１１６に蓄電された電力は、光源部１０１１１、撮像部１０１１２、画像処理部１０１１３、無線通信部１０１１４、及び制御部１０１１７に供給され、これらの駆動に用いられ得る。
　制御部１０１１７は、ＣＰＵ等のプロセッサによって構成され、光源部１０１１１、撮像部１０１１２、画像処理部１０１１３、無線通信部１０１１４、及び、給電部１０１１５の駆動を、外部制御装置１０２００から送信される制御信号に従って適宜制御する。
　外部制御装置１０２００は、ＣＰＵ，ＧＰＵ等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイクロコンピュータ若しくは制御基板等で構成される。外部制御装置１０２００は、カプセル型内視鏡１０１００の制御部１０１１７に対して制御信号を、アンテナ１０２００Ａを介して送信することにより、カプセル型内視鏡１０１００の動作を制御する。カプセル型内視鏡１０１００では、例えば、外部制御装置１０２００からの制御信号により、光源部１０１１１における観察対象に対する光の照射条件が変更され得る。また、外部制御装置１０２００からの制御信号により、撮像条件（例えば、撮像部１０１１２におけるフレームレート、露出値等）が変更され得る。また、外部制御装置１０２００からの制御信号により、画像処理部１０１１３における処理の内容や、無線通信部１０１１４が画像信号を送信する条件（例えば、送信間隔、送信画像数等）が変更されてもよい。
　また、外部制御装置１０２００は、カプセル型内視鏡１０１００から送信される画像信号に対して、各種の画像処理を施し、撮像された体内画像を表示装置に表示するための画像データを生成する。当該画像処理としては、例えば現像処理（デモザイク処理）、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Ｎｏｉｓｅ　ｒｅｄｕｃｔｉｏｎ）処理及び／若しくは手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の信号処理を行うことができる。外部制御装置１０２００は、表示装置の駆動を制御して、生成した画像データに基づいて撮像された体内画像を表示させる。あるいは、外部制御装置１０２００は、生成した画像データを記録装置（図示せず）に記録させたり、印刷装置（図示せず）に印刷出力させてもよい。
　以上、本開示に係る技術が適用され得る体内情報取得システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１０１１２に適用され得る。具体的には、撮像部１０１１２として、上述した固体撮像素子１を適用することができる。撮像部１０１１２に本開示に係る技術を適用することにより、カプセル型内視鏡１０１００をより小型化できるため、患者の負担を更に軽減することができる。また、カプセル型内視鏡１０１００を小型化しつつも、ダイナミックレンジを拡大した鮮明な術部画像を得ることができるため、検査の精度が向上する。
＜１０．内視鏡手術システムへの応用例＞
　本開示に係る技術は、例えば、内視鏡手術システムに適用されてもよい。
　図１８は、本開示に係る技術が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
　図１８では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
　内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
　鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
　カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：　Ｃａｍｅｒａ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）１１２０１に送信される。
　ＣＣＵ１１２０１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
　表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
　光源装置１１２０３は、例えばＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。
　入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
　処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
　なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
　また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
　また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Ｎａｒｒｏｗ　Ｂａｎｄ　Ｉｍａｇｉｎｇ）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
　図１９は、図１８に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。
　カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
　レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
　撮像部１１４０２は、撮像素子で構成される。撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（Ｄｉｍｅｎｓｉｏｎａｌ）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。
　また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
　駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。
　通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
　また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Ａｕｔｏ　Ｅｘｐｏｓｕｒｅ）機能、ＡＦ（Ａｕｔｏ　Ｆｏｃｕｓ）機能及びＡＷＢ（Ａｕｔｏ　Ｗｈｉｔｅ　Ｂａｌａｎｃｅ）機能が内視鏡１１１００に搭載されていることになる。
　カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
　通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
　また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
　画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
　制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
　また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
　カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
　ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
　以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、カメラヘッド１１１０２の撮像部１１４０２に適用され得る。具体的には、撮像部１１４０２として、上述した固体撮像素子１を適用することができる。撮像部１１４０２に本開示に係る技術を適用することにより、カメラヘッド１１１０２を小型化しつつも、ダイナミックレンジを拡大した鮮明な術部画像を得ることができる。
　なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
＜１１．移動体への応用例＞
　さらに、本開示に係る技術は、例えば、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２０に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２０の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図２１は、撮像部１２０３１の設置位置の例を示す図である。
　図２１では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２１には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。具体的には、撮像部１２０３１として、上述した固体撮像素子１を適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、小型化しつつも、ダイナミックレンジを拡大した、より見やすい撮影画像を得ることができる。また、得られた撮影画像を用いて、ドライバの疲労を軽減したり、ドライバや車両の安全度を高めることが可能になる。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、上述した実施の形態の全てまたは一部を適宜組み合わせた形態を採用することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　画素の光電変換部で生成された電荷を保持する第１及び第２の電荷保持部と、
　前記第１の電荷保持部と前記第２の電荷保持部との接続をオンオフする接続トランジスタと、
　前記画素から出力された画素信号の電圧が、時間経過に応じてレベルが変化するランプ信号の電圧と一致したとき、前記第１の電荷保持部と前記第２の電荷保持部を接続させる制御を行う制御回路と
　を備える固体撮像素子。
（２）
　前記第１の電荷保持部の電荷容量は、前記第２の電荷保持部の電荷容量より小さく形成され、
　前記画素信号の電圧と前記ランプ信号の電圧の一致が検出されるまでは、前記第１の電荷保持部で前記電荷が保持される構成とされた
　前記（１）に記載の固体撮像素子。
（３）
　前記画素信号の電圧と前記ランプ信号の電圧を比較するコンパレータをさらに備え、
　前記制御回路は、前記光電変換部で生成された電荷を前記第１の電荷保持部に転送する電荷転送期間の一部を、前記画素信号の電圧と前記ランプ信号の電圧の一致を検出する第１検知期間とし、前記コンパレータの比較結果に基づいて、前記電圧の一致を検出する
　前記（１）または（２）に記載の固体撮像素子。
（４）
　前記ランプ信号の電圧を、前記第１の電荷保持部の飽和レベルに対応する電圧に設定するDACをさらに備える
　前記（１）乃至（３）のいずれかに記載の固体撮像素子。
（５）
　前記DACは、前記電荷転送期間の前半部分において、前記ランプ信号の電圧を、前記第１の電荷保持部の飽和レベルに対応する電圧に設定する
　前記（４）に記載の固体撮像素子。
（６）
　前記DACは、前記第１の電荷保持部の飽和レベルに対応する電圧を、動作モードに応じて変更する
　前記（４）または（５）に記載の固体撮像素子。
（７）
　前記制御回路は、前記第１検知期間において前記電圧の一致が検出されたとき、一致したことを示す検知結果をラッチ記憶する
　前記（３）乃至（６）のいずれかに記載の固体撮像素子。
（８）
　前記制御回路は、前記光電変換部で生成された電荷を前記第１の電荷保持部に転送する前に、前記検知結果をリセットする
　前記（７）に記載の固体撮像素子。
（９）
　前記制御回路は、前記画素信号の電圧が前記ランプ信号の電圧と一致したことを示す検知結果を、前記画素信号の電圧と前記ランプ信号の電圧が一致するまでの時間をカウントするカウンタに出力する
　前記（７）または（８）に記載の固体撮像素子。
（１０）
　前記画素信号の電圧が前記ランプ信号の電圧と一致したことを示す検知結果が供給された場合、前記第１の電荷保持部と前記第２の電荷保持部のゲイン比に応じて補正した画素データを演算する演算部をさらに備える
　前記（９）に記載の固体撮像素子。
（１１）
　前記演算部は、前記カウンタまたは信号処理部である
　前記（１０）に記載の固体撮像素子。
（１２）
　前記制御回路は、前記第１検知期間に加えてD相期間の一部を、前記電圧の一致を検出する第２検知期間とし、前記電圧の一致が検出されたとき、前記第１の電荷保持部と前記第２の電荷保持部を接続させる制御を行う
　前記（３）に記載の固体撮像素子。
（１３）
　前記第２検知期間で前記画素信号の電圧と前記ランプ信号の電圧の一致が検出された場合、前記第１の電荷保持部のみを用いた画素データと、前記第１の電荷保持部と前記第２の電荷保持部のゲイン比に応じて補正した画素データとを合成し、合成後の画素データを演算する演算部をさらに備える
　前記（１２）に記載の固体撮像素子。
（１４）
　前記第１検知期間で前記電圧の一致が検出された場合、前記第１の電荷保持部と前記第２の電荷保持部のゲイン比に応じて補正した画素データを出力し、前記第２検知期間で前記電圧の一致が検出された場合、前記合成後の画素データを出力し、前記第１検知期間および前記第２検知期間のいずれでも電圧の一致が検出されなかった場合、前記第１の電荷保持部のみを用いた前記画素データを出力する出力部と
　をさらに備える
　前記（１３）に記載の固体撮像素子。
（１５）
　前記画素から出力された画素信号の電圧が前記ランプ信号の電圧と一致するまでの時間に基づいて画素データを算出するカウンタと、
　前記第１の電荷保持部のみを用いた前記画素データについては、そのまま出力し、前記第１の電荷保持部と前記第２の電荷保持部の両方を用いた前記画素データについては、前記第１の電荷保持部と前記第２の電荷保持部のゲイン比に応じて前記画素データを補正した補正後の画素データを出力する出力部と
　をさらに備える
　前記（１）乃至（１１）のいずれかに記載の固体撮像素子。
（１６）
　前記第１の電荷保持部の電荷をリセットする第１のリセットトランジスタと、
　前記第２の電荷保持部の電荷をリセットする第２のリセットトランジスタと
　をさらに備え、
　前記第１の電荷保持部の電荷容量は、前記第２の電荷保持部の電荷容量より小さく形成され、
　前記第１の電荷保持部は、前記第１及び第２のリセットトランジスタを介して、所定のリセット電圧に接続されている
　前記（１）乃至（１５）のいずれかに記載の固体撮像素子。
（１７）
　前記第１の電荷保持部の電荷をリセットする第１のリセットトランジスタと、
　前記第２の電荷保持部の電荷をリセットする第２のリセットトランジスタと
　をさらに備え、
　前記第１の電荷保持部の電荷容量は、前記第２の電荷保持部の電荷容量より小さく形成され、
　前記第１の電荷保持部は、前記第１のリセットトランジスタを介して、所定のリセット電圧に接続されている
　前記（１）乃至（１５）のいずれかに記載の固体撮像素子。
（１８）
　前記第１の電荷保持部、前記第２の電荷保持部、および、前記接続トランジスタは、複数の画素で共有された構成とされた
　前記（１）乃至（１７）のいずれかに記載の固体撮像素子。
（１９）
　画素の光電変換部で生成された電荷を保持する第１及び第２の電荷保持部と、前記第１の電荷保持部と前記第２の電荷保持部との接続をオンオフする接続トランジスタと、前記接続トランジスタを制御する制御回路とを備える固体撮像素子の、
　前記制御回路が、前記画素から出力された画素信号の電圧が、時間経過に応じてレベルが変化するランプ信号の電圧と一致したとき、前記第１の電荷保持部と前記第２の電荷保持部を接続させる制御を行う
　固体撮像素子の制御方法。
（２０）
　画素の光電変換部で生成された電荷を保持する第１及び第２の電荷保持部と、
　前記第１の電荷保持部と前記第２の電荷保持部との接続をオンオフする接続トランジスタと、
　前記画素から出力された画素信号の電圧が、時間経過に応じてレベルが変化するランプ信号の電圧と一致したとき、前記第１の電荷保持部と前記第２の電荷保持部を接続させる制御を行う制御回路と
　を備える固体撮像素子
　を備える電子機器。
　１　固体撮像素子，　１１　画素アレイ部，　１３　DAC，　１４　比較部，　１５　カウンタ部，　１７　信号処理部，　１８　出力部，　２１　画素，　PD　フォトダイオード，　２３　第１垂直信号線，　２４　第２垂直信号線，　３１　コンパレータ，　３２　飽和検知回路，　３３（３３A,３３B）　カウンタ，　４１　転送トランジスタ，　４２A　第１リセットトランジスタ，　４２B　第２リセットトランジスタ，　FDH　高感度，　FDL　低感度，　４３　FD接続トランジスタ，　４４　増幅トランジスタ，　４５　選択トランジスタ，　５１　AND回路，　５２，５３　NOR回路，　７１　スイッチ回路，　１００　撮像装置，　１０２　固体撮像素子

Claims (20)

  1. 　画素の光電変換部で生成された電荷を保持する第１及び第２の電荷保持部と、
    　前記第１の電荷保持部と前記第２の電荷保持部との接続をオンオフする接続トランジスタと、
    　前記画素から出力された画素信号の電圧が、時間経過に応じてレベルが変化するランプ信号の電圧と一致したとき、前記第１の電荷保持部と前記第２の電荷保持部を接続させる制御を行う制御回路と
    　を備える固体撮像素子。
  2. 　前記第１の電荷保持部の電荷容量は、前記第２の電荷保持部の電荷容量より小さく形成され、
    　前記画素信号の電圧と前記ランプ信号の電圧の一致が検出されるまでは、前記第１の電荷保持部で前記電荷が保持される構成とされた
    　請求項１に記載の固体撮像素子。
  3. 　前記画素信号の電圧と前記ランプ信号の電圧を比較するコンパレータをさらに備え、
    　前記制御回路は、前記光電変換部で生成された電荷を前記第１の電荷保持部に転送する電荷転送期間の一部を、前記画素信号の電圧と前記ランプ信号の電圧の一致を検出する第１検知期間とし、前記コンパレータの比較結果に基づいて、前記電圧の一致を検出する
    　請求項１に記載の固体撮像素子。
  4. 　前記ランプ信号の電圧を、前記第１の電荷保持部の飽和レベルに対応する電圧に設定するDACをさらに備える
    　請求項１に記載の固体撮像素子。
  5. 　前記DACは、前記電荷転送期間の前半部分において、前記ランプ信号の電圧を、前記第１の電荷保持部の飽和レベルに対応する電圧に設定する
    　請求項４に記載の固体撮像素子。
  6. 　前記DACは、前記第１の電荷保持部の飽和レベルに対応する電圧を、動作モードに応じて変更する
    　請求項４に記載の固体撮像素子。
  7. 　前記制御回路は、前記第１検知期間において前記電圧の一致が検出されたとき、一致したことを示す検知結果をラッチ記憶する
    　請求項３に記載の固体撮像素子。
  8. 　前記制御回路は、前記光電変換部で生成された電荷を前記第１の電荷保持部に転送する前に、前記検知結果をリセットする
    　請求項７に記載の固体撮像素子。
  9. 　前記制御回路は、前記画素信号の電圧が前記ランプ信号の電圧と一致したことを示す検知結果を、前記画素信号の電圧と前記ランプ信号の電圧が一致するまでの時間をカウントするカウンタに出力する
    　請求項７に記載の固体撮像素子。
  10. 　前記画素信号の電圧が前記ランプ信号の電圧と一致したことを示す検知結果が供給された場合、前記第１の電荷保持部と前記第２の電荷保持部のゲイン比に応じて補正した画素データを演算する演算部をさらに備える
    　請求項９に記載の固体撮像素子。
  11. 　前記演算部は、前記カウンタまたは信号処理部である
    　請求項１０に記載の固体撮像素子。
  12. 　前記制御回路は、前記第１検知期間に加えてD相期間の一部を、前記電圧の一致を検出する第２検知期間とし、前記電圧の一致が検出されたとき、前記第１の電荷保持部と前記第２の電荷保持部を接続させる制御を行う
    　請求項３に記載の固体撮像素子。
  13. 　前記第２検知期間で前記電圧の一致が検出された場合、前記第１の電荷保持部のみを用いた画素データと、前記第１の電荷保持部と前記第２の電荷保持部のゲイン比に応じて補正した画素データとを合成し、合成後の画素データを演算する演算部をさらに備える
    　請求項１２に記載の固体撮像素子。
  14. 　前記第１検知期間で前記電圧の一致が検出された場合、前記第１の電荷保持部と前記第２の電荷保持部のゲイン比に応じて補正した画素データを出力し、前記第２検知期間で前記電圧の一致が検出された場合、前記合成後の画素データを出力し、前記第１検知期間および前記第２検知期間のいずれでも電圧の一致が検出されなかった場合、前記第１の電荷保持部のみを用いた前記画素データを出力する出力部と
    　をさらに備える
    　請求項１３に記載の固体撮像素子。
  15. 　前記画素から出力された画素信号の電圧が前記ランプ信号の電圧と一致するまでの時間に基づいて画素データを算出するカウンタと、
    　前記第１の電荷保持部のみを用いた前記画素データについては、そのまま出力し、前記第１の電荷保持部と前記第２の電荷保持部の両方を用いた前記画素データについては、前記第１の電荷保持部と前記第２の電荷保持部のゲイン比に応じて前記画素データを補正した補正後の画素データを出力する出力部と
    　をさらに備える
    　請求項１に記載の固体撮像素子。
  16. 　前記第１の電荷保持部の電荷をリセットする第１のリセットトランジスタと、
    　前記第２の電荷保持部の電荷をリセットする第２のリセットトランジスタと
    　をさらに備え、
    　前記第１の電荷保持部の電荷容量は、前記第２の電荷保持部の電荷容量より小さく形成され、
    　前記第１の電荷保持部は、前記第１及び第２のリセットトランジスタを介して、所定のリセット電圧に接続されている
    　請求項１に記載の固体撮像素子。
  17. 　前記第１の電荷保持部の電荷をリセットする第１のリセットトランジスタと、
    　前記第２の電荷保持部の電荷をリセットする第２のリセットトランジスタと
    　をさらに備え、
    　前記第１の電荷保持部の電荷容量は、前記第２の電荷保持部の電荷容量より小さく形成され、
    　前記第１の電荷保持部は、前記第１のリセットトランジスタを介して、所定のリセット電圧に接続されている
    　請求項１に記載の固体撮像素子。
  18. 　前記第１の電荷保持部、前記第２の電荷保持部、および、前記接続トランジスタは、複数の画素で共有された構成とされた
    　請求項１に記載の固体撮像素子。
  19. 　画素の光電変換部で生成された電荷を保持する第１及び第２の電荷保持部と、前記第１の電荷保持部と前記第２の電荷保持部との接続をオンオフする接続トランジスタと、前記接続トランジスタを制御する制御回路とを備える固体撮像素子の、
    　前記制御回路が、前記画素から出力された画素信号の電圧が、時間経過に応じてレベルが変化するランプ信号の電圧と一致したとき、前記第１の電荷保持部と前記第２の電荷保持部を接続させる制御を行う
    　固体撮像素子の制御方法。
  20. 　画素の光電変換部で生成された電荷を保持する第１及び第２の電荷保持部と、
    　前記第１の電荷保持部と前記第２の電荷保持部との接続をオンオフする接続トランジスタと、
    　前記画素から出力された画素信号の電圧が、時間経過に応じてレベルが変化するランプ信号の電圧と一致したとき、前記第１の電荷保持部と前記第２の電荷保持部を接続させる制御を行う制御回路と
    　を備える固体撮像素子
    　を備える電子機器。
PCT/JP2018/025656 2017-07-21 2018-07-06 固体撮像素子およびその制御方法、並びに電子機器 WO2019017217A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/632,430 US11218658B2 (en) 2017-07-21 2018-07-06 Solid-state imaging device, method of controlling the solid-state imaging device, and electronic apparatus to generate high dynamic range image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-141536 2017-07-21
JP2017141536A JP2019022173A (ja) 2017-07-21 2017-07-21 固体撮像素子およびその制御方法、並びに電子機器

Publications (1)

Publication Number Publication Date
WO2019017217A1 true WO2019017217A1 (ja) 2019-01-24

Family

ID=65015972

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/025656 WO2019017217A1 (ja) 2017-07-21 2018-07-06 固体撮像素子およびその制御方法、並びに電子機器

Country Status (3)

Country Link
US (1) US11218658B2 (ja)
JP (1) JP2019022173A (ja)
WO (1) WO2019017217A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022099651A (ja) * 2020-12-23 2022-07-05 ソニーセミコンダクタソリューションズ株式会社 画像生成装置、画像生成方法、およびプログラム
JP2023032311A (ja) * 2021-08-26 2023-03-09 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び電子機器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007006478A (ja) * 2005-06-21 2007-01-11 Samsung Electro Mech Co Ltd 画素単位の飽和防止機能を有するイメージセンサ
WO2013111629A1 (ja) * 2012-01-27 2013-08-01 ソニー株式会社 固体撮像素子および駆動方法、並びに電子機器
JP2017055403A (ja) * 2015-09-10 2017-03-16 株式会社半導体エネルギー研究所 撮像装置、モジュール、電子機器および撮像装置の動作方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000050151A (ja) 1998-07-28 2000-02-18 Olympus Optical Co Ltd 撮像装置
JP5963509B2 (ja) 2012-04-06 2016-08-03 株式会社ニチエイ 皮膚外用剤

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007006478A (ja) * 2005-06-21 2007-01-11 Samsung Electro Mech Co Ltd 画素単位の飽和防止機能を有するイメージセンサ
WO2013111629A1 (ja) * 2012-01-27 2013-08-01 ソニー株式会社 固体撮像素子および駆動方法、並びに電子機器
JP2017055403A (ja) * 2015-09-10 2017-03-16 株式会社半導体エネルギー研究所 撮像装置、モジュール、電子機器および撮像装置の動作方法

Also Published As

Publication number Publication date
US20200213549A1 (en) 2020-07-02
US11218658B2 (en) 2022-01-04
JP2019022173A (ja) 2019-02-07

Similar Documents

Publication Publication Date Title
JP7155012B2 (ja) 固体撮像素子および電子機器
US10841520B2 (en) Solid-state imaging device and electronic device
WO2018021053A1 (ja) 撮像素子
US11936979B2 (en) Imaging device
US11457169B2 (en) Solid-state imaging element and electronic equipment
US20240064438A1 (en) Imaging device
WO2019017217A1 (ja) 固体撮像素子およびその制御方法、並びに電子機器
CN108702473B (zh) 成像元件和电子设备
WO2018051819A1 (ja) 撮像素子および駆動方法、並びに電子機器
US20240155261A1 (en) Imaging device and electronic apparatus
JP2019022020A (ja) 固体撮像素子、固体撮像素子の駆動方法および電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18834797

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18834797

Country of ref document: EP

Kind code of ref document: A1