WO2019198685A1 - 固体撮像素子、撮像装置及び撮像方法 - Google Patents

固体撮像素子、撮像装置及び撮像方法 Download PDF

Info

Publication number
WO2019198685A1
WO2019198685A1 PCT/JP2019/015381 JP2019015381W WO2019198685A1 WO 2019198685 A1 WO2019198685 A1 WO 2019198685A1 JP 2019015381 W JP2019015381 W JP 2019015381W WO 2019198685 A1 WO2019198685 A1 WO 2019198685A1
Authority
WO
WIPO (PCT)
Prior art keywords
image signal
signal
solid
image
bit
Prior art date
Application number
PCT/JP2019/015381
Other languages
English (en)
French (fr)
Inventor
和馬 坂東
洋平 堀川
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2019198685A1 publication Critical patent/WO2019198685A1/ja
Priority to US17/067,471 priority Critical patent/US11503237B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G01J2001/4413—Type
    • G01J2001/442—Single-photon detection or photon counting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G01J2001/4446—Type of detector
    • G01J2001/448—Array [CCD]

Definitions

  • the present invention relates to a solid-state imaging device, an imaging apparatus, and an imaging method.
  • Patent Document 2 discloses an image memory that stores an image generated by an image generation / synthesis operation unit and a synthesized image.
  • Patent Document 3 an image sensor as shown in Patent Document 3 has been proposed as a new type of image sensor.
  • the image sensor disclosed in Patent Document 3 includes the following signal processing circuit in each pixel.
  • a storage capacitor that stores the charge generated by the photoelectric conversion element, a comparator that compares the voltage of the storage capacitor with a reference voltage, and outputs a pulse when they match, and an output of the comparator
  • Each pixel is provided with reset means for returning the voltage of the storage capacitor to the reset voltage.
  • An object of the present invention is to provide a solid-state imaging device, an imaging apparatus, and an imaging method that can acquire a desired image without using a frame memory.
  • a sensor unit that emits pulses at a frequency according to the frequency of receiving photons, a counting unit that generates an image signal by counting the number of signals emitted from the sensor unit, and a first unit
  • a processing unit that performs a predetermined process on the count value obtained in the acquisition of the first image signal, and the counting unit performs a predetermined process on the count value obtained in the acquisition of the first image signal.
  • a solid-state imaging device that generates a third image signal by combining a value obtained by performing processing and a second image signal.
  • the sensor unit emits pulses at a frequency according to the frequency of receiving photons, and the counting unit counts the number of signals emitted from the sensor unit, the first image signal
  • a counting unit that sets a count weight when acquiring the second image signal after the acquisition to be different from a count weight when acquiring the first image signal.
  • a solid-state imaging device is provided.
  • the present invention it is possible to provide a solid-state imaging device, an imaging apparatus, and an imaging method that can acquire a desired image without using a frame memory.
  • FIG. 7 is a diagram illustrating an imaging apparatus 700 provided with the solid-state imaging device 600 according to the present embodiment.
  • the imaging apparatus 700 includes a solid-state imaging device 600, a system control unit 702, an optical system driving unit 703, a signal processing unit 704, and a recording unit 705.
  • the imaging apparatus 700 includes an imaging optical system (lens unit) 701.
  • the imaging optical system 701 may be detachable from the main body of the imaging device 700 or may not be detachable.
  • the imaging apparatus 700 includes a display unit and an operation unit (not shown).
  • the display unit is used for displaying images and menus, and the operation unit is used for instructions such as icons and operations for setting various parameters.
  • the imaging optical system 701 has an optical lens group including a focusing lens for adjusting the focus.
  • the imaging optical system 701 further includes a shutter, a diaphragm, a lens control unit, and the like.
  • the imaging optical system 701 forms an optical image of the subject on the imaging surface of the solid-state imaging device 600.
  • the system control unit 702 controls the entire imaging apparatus 700.
  • the system control unit 702 supplies drive information to an optical system drive unit 703 for driving the imaging optical system 701.
  • the system control unit 702 supplies information indicating an exposure period, a reading interval, and the like to the solid-state imaging device 600.
  • the system control unit 702 includes a CPU and a memory, and the CPU executes various programs stored in the memory.
  • the optical system driving unit 703 drives the imaging optical system 701 based on a signal supplied from the system control unit 702. In this embodiment, as described later, it is necessary to generate a black image.
  • the image capturing apparatus 700 includes a light shielding unit (not shown).
  • An example of the light shielding means is a shutter. Imaging is performed in a state where the solid-state imaging device 600 is shielded from light by the light shielding unit, thereby generating a black image.
  • the solid-state imaging device 600 generates an image signal by performing photoelectric conversion on the optical image formed by the imaging optical system 701. An image signal generated by the solid-state imaging device 600 is output to the signal processing unit 704.
  • the signal processing unit 704 performs predetermined signal processing (image processing) on the image signal supplied from the solid-state imaging device 600. Examples of the predetermined signal processing include color conversion and white balance.
  • the image signal subjected to various signal processing is encoded by an encoding unit (not shown).
  • the image signal (image data) encoded by the encoding unit is supplied to the recording unit 705.
  • the recording unit 705 includes a recording medium.
  • the recording medium may be removable from the recording unit 705 or may not be removable. Examples of the recording medium include a memory card such as an SD card.
  • FIG. 6 is a diagram illustrating the solid-state imaging device 600 according to the present embodiment.
  • the imaging surface of the solid-state imaging device 600 is provided with a pixel array 608 in which a plurality of unit pixels 100 are two-dimensionally arranged.
  • the solid-state imaging device 600 further includes a TG (timing generator) 601, a vertical scanning circuit 602, a switch 603, a horizontal scanning circuit 604, a switch 605, and a control unit 606. Pixel values (count values) respectively output from the unit pixels 100 are output to the outside of the solid-state imaging device 600 via the switch 603, the output signal line 607, the switch 605, and the output signal line 609.
  • a switch 603 is provided for each unit pixel 100.
  • the switch 603 is sequentially controlled for each row by the vertical scanning circuit 602.
  • a switch 605 is provided for each output signal line 607.
  • the switch 605 is controlled by the horizontal scanning circuit 604.
  • the vertical scanning circuit 602 supplies a read signal READ_EN (see FIG. 3) to the switch 603.
  • the read signal READ_EN is sequentially supplied to each row.
  • the count value CNT output from the unit pixel 100 is output to the output signal line 607 via the switch 603.
  • the horizontal scanning circuit 604 sequentially outputs the count value CNT output from the unit pixel 100 to the outside of the solid-state imaging device 600 via the output signal line 609 by sequentially controlling the switch 605.
  • the control unit 606 generates a gain setting signal GAIN_PARAM (see FIG. 2), an inverted signal INV (see FIG. 2), a reset signal CLR (see FIG. 2), and the like based on the timing signal supplied from the TG 601.
  • the signal from the control unit 606 is uniformly supplied to each unit pixel 100.
  • the present invention is not limited to this, and the signal may be individually supplied for each row or column. In this case, a signal may be supplied from the vertical scanning circuit 602.
  • the TG 601 generates a timing signal for controlling an imaging period, a transfer period, and the like.
  • Various timing signals generated by the TG 601 are supplied to the vertical scanning circuit 602, the horizontal scanning circuit 604, the control unit 606, and the like.
  • the solid-state imaging device 600 generates a black image by subtracting the value of the black image corresponding to the dark current from the value of the main image.
  • the dark current is proportional to the exposure period. If the exposure period of the main image and the exposure period of the black image are set equal, and the black image thus obtained is subtracted from the main image thus obtained, a black image is obtained. However, when the exposure period of the main image and the exposure period of the black image are set equal, a long time is required. Therefore, in the present embodiment, the black image exposure period is shortened by applying a gain to the black image signal.
  • the exposure period of the main image and the exposure period of the black image is 2: 1 is described as an example, but the present invention is not limited to this.
  • the exposure period of the main image and the exposure period of the black image are set to 2: 1, the black image is multiplied by two times.
  • the reduction ratio of the exposure period is a power of 2.
  • FIG. 1 is a diagram illustrating a unit pixel 100 provided in the solid-state imaging device 600 according to the present embodiment.
  • the unit pixel 100 includes an APD (avalanche photodiode) 101, a quench resistor 102, a waveform shaping unit 103, and a counter (counting unit) 104.
  • APD active photodiode
  • the anode of APD 101 is connected to the ground potential.
  • the cathode of the APD 101 is connected to one end of the quench resistor 102 and the input terminal of the waveform shaping unit 103.
  • the other end of the quench resistor 102 is connected to a predetermined potential VAPD that is a reverse bias potential.
  • VAPD a voltage capable of operating the APD 101 in the Geiger mode, for example, about 30 V is used.
  • a sensor unit 105 that emits pulses at a frequency corresponding to the frequency of receiving photons includes an APD 101, a quench resistor 102, and a waveform shaping unit 103.
  • the potential of the signal input to the waveform shaping unit 103 changes according to the generation and discharge of charges according to the incidence of photons on the APD 101.
  • the waveform shaping unit 103 generates a pulse signal by performing edge detection and amplification on the input signal.
  • the sensor unit 105 functions as a 1-bit AD conversion unit that converts whether or not a photon is incident on the APD 101 into a pulse signal.
  • the counter 104 counts the number of pulse signals PULSE supplied from the waveform shaping unit 103 and outputs a digital signal indicating the count result to the outside of the unit pixel 100.
  • the number of pulse signals PULSE counted by the counter 104 is output from the unit pixel 100 as a pixel value.
  • FIG. 2 is a diagram illustrating the counter 104 provided in the unit pixel 100.
  • the counter 104 includes a flip-flop 200, an adding unit 201, a gain setting unit 202, a sign inverting unit 203, and an initial value selection unit 204.
  • the counter 104 outputs a count value CNT.
  • the bit width shown in FIG. 2 is an example, and the present invention is not limited to this.
  • the counter 104 is provided with a plurality of flip-flops 200.
  • the flip-flop 200 is reset to the initial value 0 asynchronously with the clock signal CLK (see FIG. 3) by the asynchronous reset signal ASYN_RES supplied from the control unit 606.
  • a common clock signal CLK is supplied to the counter 104 provided in each of the plurality of unit pixels 100 provided in the solid-state imaging device 600.
  • the common asynchronous reset signal ASYN_RES is collectively supplied to the counter 104 provided in each of the plurality of unit pixels 100 provided in the solid-state imaging device 600.
  • the low-order bit flip-flop 200 is a dead bit.
  • a case where one flip-flop 200 of the least significant bit is a dead bit will be described as an example, but the present invention is not limited to this.
  • the dead bit is indicated by surrounding it with a one-dot chain line.
  • the dead signal flip-flop 200 is not supplied with the pulse signal PULSE. Therefore, the output of the dead bit flip-flop 200 does not change during the counting operation of the counter 104. Since the number of dead bits is 1 bit, in this embodiment, the count value CNT changes to 0, 2, 4,.
  • the number of dead bits is 1 bit
  • the number of dead bits may be 2 bits or more.
  • the addition unit 201 adds the signal supplied from the initial value selection unit 204 and the pulse signal PULSE supplied from the waveform shaping unit 103.
  • the gain setting unit (gain unit, amplification unit) 202 applies a gain corresponding to the gain setting signal GAIN_PARAM supplied from the control unit 606 to the signal output from the flip-flop 200.
  • a signal gained by the gain setting unit 202 is output from the gain setting unit 202.
  • the gain setting unit 202 applies a gain by performing a bit shift in order to prevent an increase in circuit scale. For example, when a gain of 4 is applied, the gain setting signal GAIN_PARAM is set to 2. When the gain setting signal GAIN_PARAM is set to 2, the signal output from the flip-flop 200 is shifted 2 bits to the left. For example, when a gain of 1/8 is applied, the gain setting signal GAIN_PARAM is set to -3.
  • the gain setting signal GAIN_PARAM When the gain setting signal GAIN_PARAM is set to -3, the signal output from the flip-flop 200 is shifted to the right by 3 bits.
  • a gain may be applied using a multiplier. Based on the ratio between the exposure value (first shooting condition) when shooting the main image as the first image and the exposure value (second shooting condition) when shooting the black image as the second image. , The gain is set.
  • the exposure value is a value indicating the degree of exposure, and is determined by the aperture value and the exposure period of the imaging optical system.
  • the ratio of exposure values is preferably a power of 2, but is not limited to this.
  • the exposure value ratio does not have to be a power of 2.
  • the sign inverting unit 203 performs a process of inverting the signal supplied from the gain setting unit 202. If the sign inversion is simply performed, it becomes 1's complement representation and not 2's complement representation. In the case of 1's complement expression, signal processing may not be performed with an adder having a simple configuration. In order to obtain a two's complement expression, an adder for adding 1 is required. However, if an adder for adding 1 is provided in the counter 104, the circuit scale of the counter 104 becomes large. For this reason, in this embodiment, an adder for adding 1 is not provided in the counter 104. When the circuit scale of the counter 104 may be increased, an adder for adding 1 may be provided in the counter 104 to realize 2's complement expression.
  • the initial value selection unit 204 is for selecting an initial value to be set in the counter 104.
  • the initial value selection unit 204 selects a signal to be supplied to the addition unit 201 based on the reset signal (clear signal) CLR and the inverted signal INV supplied from the control unit 606.
  • the initial value selection unit 204 supplies the signal output from the flip-flop 200 to the addition unit 201 as it is. In this case, pixel signals are accumulated by the flip-flop 200.
  • the initial value selection unit 204 supplies 0 to the addition unit 201. In this case, the flip-flop 200 is reset to zero.
  • the initial value selecting unit 204 supplies the signal inverted by the sign inverting unit 203 to the adding unit 201.
  • a value obtained by applying gain and inversion to the signal value of the previous frame is set in the flip-flop 200 as an initial value. By counting using such a value as an initial value, for example, a difference between the signal value of the previous frame and the signal value of the current frame can be obtained.
  • a gain corresponding to the ratio between the exposure value at the time of shooting the main image and the exposure value at the time of shooting the black image is applied to the signal value of the main image. Then, a value obtained by performing sign inversion on a value obtained by applying a gain to the signal value of the main image is set in the flip-flop 200 as an initial value when a black image is captured. Then, a black image is taken, and further sign inversion is performed. In the present embodiment, since such processing is performed, a black image obtained by subtracting the black image from the main image can be generated without using a frame memory.
  • FIG. 3 is a timing chart showing the operation of the counter 104.
  • FIG. 3 shows a clock signal CLK, a pulse signal PULSE, an input value of the flip-flop 200, a count value CNT, a gain setting signal GAIN_PARAM, an inverted signal INV, a reset signal CLR, and a read signal READ_EN.
  • the read signal READ_EN is a signal for outputting the count value CNT of the counter 104 to the output signal line 607.
  • the input value and the count value CNT of the flip-flop 200 are shown in 1's complement expression.
  • the reset signal CLR is set to H level.
  • the counter 104 is reset. Such a reset is performed, for example, before photographing the main image.
  • the setting of the gain setting signal GAIN_PARAM is 0, that is, the gain is 1.
  • the period from timing t301 to timing t302 is the exposure period of the main image.
  • the pulse signal PULSE is output at the rising timing of the clock signal CLK. Every time the pulse signal PULSE is output, the count value CNT is incremented. Since the least significant bit is a dead bit, the count value increases by two. Since the count value CNT is output in synchronization with the rising edge of the clock signal CLK, the count value CNT is delayed by one cycle with respect to the input value of the flip-flop 200.
  • the exposure of the main image is completed.
  • an initial value is set in the flip-flop 200 as follows in order to shift to the exposure of the black image. That is, the gain setting signal GAIN_PARAM is set based on the ratio between the exposure period of the already captured main image and the exposure period of the black image to be captured. As described above, since the ratio between the exposure period of the main image and the exposure period of the black image is, for example, 2: 1, a gain that is, for example, 1 ⁇ 2 times that is the reciprocal of these ratios is applied. That is, the signal value of the main image is shifted by 1 bit to the right. Therefore, the gain setting signal GAIN_PARAM is set to -1. Further, by setting the inverted signal INV to the H level, a value obtained by performing sign inversion on the signal output from the gain setting unit 202 is input to the flip-flop 200 as an initial value when a black image is captured. To be set.
  • the inversion signal INV is set to H level and the setting of the gain setting signal GAIN_PARAM is set to ⁇ 1, the following processing is performed. That is, for example, a value of 9 is obtained by multiplying the signal value of the main image, for example, 18 by 1/2, and a value of ⁇ 9 is obtained by inverting the value of 9. For example, a value of ⁇ 9 thus obtained is input to the flip-flop 200 as an initial value when a black image is taken. Thus, for example, a value of ⁇ 9 is set in the flip-flop 200 as an initial value when capturing a black image.
  • the counter 104 uses the value obtained by performing a predetermined process on the count value obtained in the acquisition of the first image signal as the second value that is obtained after the acquisition of the first image signal. This is set as the count value at the start of image signal acquisition.
  • the count value CNT is 9, which is a value obtained by multiplying the signal value 18 of the main image by 1/2.
  • -9 that is a value obtained by inverting 9 becomes the count value CNT.
  • the period from timing t303 to timing t304 is a black image exposure period.
  • the pulse signal PULSE is output from the waveform shaping unit 103, the count value CNT is counted up. Since the least significant bit is a dead bit, the count value increases by two.
  • the setting of the gain setting signal GAIN_PARAM is 0, that is, the gain is 1.
  • the black image exposure is completed.
  • the inversion signal INV is set to the H level. Therefore, 5 which is a value obtained by inverting the sign of the black image is input to the flip-flop 200.
  • the value of the count value CNT becomes 5 at the timing t305 delayed by one cycle with respect to the timing t304. In this way, the count value CNT indicating the signal value of the black image is obtained.
  • the number of pulse signals PULSE in the exposure period of the main image is nine.
  • the number of pulse signals PULSE in the black image exposure period is two.
  • the read signal READ_EN is set to the H level, and the black image is read out.
  • the reset signal CLR is set to H level.
  • 0 is input to the flip-flop 200, and the count value CNT is reset to 0 at timing t307, which is one cycle after timing t306.
  • the black image is not used without using a frame memory. Can be obtained.
  • the gain is applied based on the ratio between the exposure period of the main image and the exposure period of the black image, so that the time required to acquire the black image can be shortened.
  • the counter 104 is a synchronous counter
  • the present invention is not limited to this.
  • a counter 104A as shown in FIG. 4, that is, an asynchronous counter may be used.
  • FIG. 4 is a diagram showing an example in which the counter is configured by an asynchronous counter.
  • a counter 104A shown in FIG. 4 is used instead of the counter 104 shown in FIG.
  • the counter 104A includes a plurality of flip-flops 400 (0) to 400 (3), a sign inversion control unit 401 (0) to 401 (3), an AND element 402 (0) to 402 (3), and a gain setting unit. 403.
  • reference numeral 400 is used, and when individual flip-flops are described, reference numerals 400 (0) to 400 (3) are used.
  • reference numeral 401 is used, and in the description of the individual code inversion control units, reference numerals 401 (0) to 401 (3) are used.
  • reference numeral 402 is used, and when describing individual AND elements, reference numerals 402 (0) to 402 (3) are used.
  • the bit width of the counter 104A is 4
  • the bit width of the counter 104A is not limited to 4.
  • the code CNT is used, and when describing the count value of each bit, the codes CNT (0) to CNT (3) are used. From the flip-flop 400 (0), the count value CNT (0) of the 0th bit is output. From the flip-flop 400 (1), the count value CNT (1) of the first bit is output. The flip-flop 400 (2) outputs the count value CNT (2) of the second bit. From the flip-flop 400 (3), the count value CNT (3) of the third bit is output.
  • the ratio between the exposure period of the main image and the exposure period of the black image is, for example, 2: 1 as described above.
  • the flip-flop 400 sets the output terminal Q to H level and the inverted output terminal / Q to L level.
  • the flip-flop 400 operates as follows in synchronization with the rising edge of the signal input to the clock input terminal. That is, in such a case, the flip-flop 400 outputs the positive logic value of the signal input to the input terminal D to the output terminal Q, and the negative logic value of the signal input to the input terminal D to the inverted output terminal / Q. Output to.
  • the inverting output terminal / Q of the flip-flop 400 is connected to the input terminal D of the flip-flop 400.
  • the count values CNT (0) to CNT (3) of each bit are output from the output terminals Q of the flip-flops 400 (0) to 400 (3).
  • the flip-flop 400 sets the output terminal Q to L level and the inverted output terminal / Q to H level.
  • the flip-flop 400 operates as follows in synchronization with the rising edge of the signal input to the clock input terminal. That is, in such a case, the flip-flop 400 outputs the positive logic value of the signal input to the input terminal D to the output terminal Q, and the negative logic value of the signal input to the input terminal D to the inverted output terminal / Q. Output to.
  • the 0th bit flip-flop 400 (0) which is the least significant bit is a dead bit.
  • the dead bit is indicated by surrounding with a one-dot chain line.
  • 0 is input to the clock input terminal of the flip-flop 400 (0) of the 0th bit which is the least significant bit.
  • the pulse signal PULSE is supplied to the clock input terminal of the flip-flop 400 (1) of the first bit.
  • a signal output from the inverting output terminal / Q of the first bit flip-flop 400 (1) is supplied to the clock input terminal of the second bit flip-flop 400 (2).
  • a signal output from the inverted output terminal / Q of the second bit flip-flop 400 (2) is supplied to the clock input terminal of the third bit flip-flop 400 (3). Since the 0th bit is a dead bit, the count value CNT of the counter 104 increases by two.
  • the sign inversion control unit 401 outputs a control signal for sign inversion.
  • the sign inversion control unit 401 supplies the signals RST_BIT0 to RST_BIT3 supplied from the gain setting unit 403 to the preset terminals PRST of the flip-flops 400 (0) to 400 (3) based on the inversion signal INV.
  • the sign inversion control unit 401 supplies signals RST_BIT0 to RST_BIT3 supplied from the gain setting unit 403 to the AND elements 402 (0) to 402 (3) based on the inversion signal INV.
  • the AND element 402 supplies an L level signal to the reset terminal RST of the flip-flop 400 when the reset signal CLR is at the H level.
  • the AND element 402 supplies the signal supplied from the sign inversion control unit 401 to the reset terminal RST of the flip-flop 400 when the reset signal CLR is at the L level.
  • the gain setting unit 403 is for setting the gain of the counter 104A.
  • the count values CNT (0) to CNT (3) output from the output terminals Q of the flip-flops 400 (0) to 400 (3) are output from the counter 104A and supplied to the gain setting unit 403. .
  • the gain setting unit 403 performs bit shift on the count values CNT (0) to CNT (3) based on the gain setting signal GAIN_PARAM.
  • Count values CNT (0) to CNT (3) that have been bit-shifted by the gain setting unit 403 are supplied to the sign inversion control units 401 (0) to 401 (3), respectively.
  • FIG. 5 is a diagram illustrating the bit shift performed in the gain setting unit 403.
  • the gain setting signal GAIN_PARAM is 0, the gain is 1 and the gain setting unit 403 does not perform bit shift. Therefore, the count value CNT (0) output from the output terminal Q of the flip-flop 400 (0) of the 0th bit is sent to the sign inversion control unit 401 (0) of the 0th bit as the signal RST_BIT0. Supplied.
  • the count value CNT (1) output from the output terminal Q of the flip-flop 400 (1) of the first bit is supplied as the signal RST_BIT1 to the sign inversion control unit 401 (1) of the first bit. Is done.
  • the count value CNT (2) output from the output terminal Q of the flip-flop 400 (2) of the second bit is supplied as the signal RST_BIT2 to the sign inversion control unit 401 (2) of the second bit. Is done.
  • the count value CNT (3) output from the output terminal Q of the flip-flop 400 (3) of the third bit is supplied as the signal RST_BIT3 to the sign inversion control unit 401 (3) of the third bit. Is done.
  • the value 0 is supplied as the signal RST_BIT0 to the sign inversion control unit 401 (0) of the 0th bit.
  • the count value CNT (0) output from the output terminal Q of the flip-flop 400 (0) of the 0th bit is supplied as the signal RST_BIT1 to the sign inversion control unit 401 (1) of the 1st bit. .
  • the count value CNT (1) output from the output terminal Q of the flip-flop 400 (1) of the first bit is supplied as the signal RST_BIT2 to the sign inversion control unit 401 (2) of the second bit. Is done.
  • the count value CNT (2) output from the output terminal Q of the flip-flop 400 (2) of the second bit is supplied as the signal RST_BIT3 to the sign inversion control unit 401 (3) of the third bit. Is done.
  • the value 0 is supplied as the signal RST_BIT0 to the sign inversion control unit 401 (0) of the 0th bit.
  • the value 0 is supplied as the signal RST_BIT1 to the sign inversion control unit 401 (1) of the first bit.
  • the count value CNT (0) output from the output terminal Q of the flip-flop 400 (0) of the 0th bit is supplied as the signal RST_BIT2 to the sign inversion control unit 401 (2) of the 2nd bit. .
  • the count value CNT (1) output from the output terminal Q of the flip-flop 400 (1) of the first bit is supplied as the signal RST_BIT3 to the sign inversion control unit 401 (3) of the third bit. Is done.
  • the value 0 is supplied as the signal RST_BIT0 to the sign inversion control unit 401 (0) of the 0th bit.
  • the value 0 is supplied as the signal RST_BIT1 to the sign inversion control unit 401 (1) of the first bit.
  • the value 0 is supplied as the signal RST_BIT2 to the sign inversion control unit 401 (2) of the second bit.
  • the count value CNT (0) output from the output terminal Q of the flip-flop 400 (0) of the 0th bit is supplied as the signal RST_BIT3 to the sign inversion control unit 401 (3) of the 3rd bit. .
  • the count value CNT (1) output from the output terminal Q of the flip-flop 400 (1) of the first bit is supplied as the signal RST_BIT0 to the sign inversion control unit 401 (0) of the zeroth bit.
  • the count value CNT (2) output from the output terminal Q of the flip-flop 400 (2) of the second bit is supplied as the signal RST_BIT1 to the sign inversion control unit 401 (1) of the first bit.
  • the count value CNT (3) output from the output terminal Q of the flip-flop 400 (3) of the third bit is supplied as the signal RST_BIT2 to the sign inversion control unit 401 (2) of the second bit.
  • the value 0 is supplied as the signal RST_BIT3 to the sign inversion control unit 401 (3) of the third bit.
  • the count value CNT (2) output from the output terminal Q of the flip-flop 400 (2) of the second bit is supplied to the sign inversion control unit 401 (0) of the zeroth bit as the signal RST_BIT0. .
  • the count value CNT (3) output from the output terminal Q of the flip-flop 400 (3) of the third bit is supplied as the signal RST_BIT1 to the sign inversion control unit 401 (1) of the first bit. .
  • the value 0 is supplied as the signal RST_BIT2 to the sign inversion control unit 401 (2) of the second bit.
  • the value 0 is supplied as the signal RST_BIT3 to the sign inversion control unit 401 (3) of the third bit.
  • the count value CNT (3) output from the output terminal Q of the flip-flop 400 (3) of the third bit is supplied as the signal RST_BIT0 to the sign inversion control unit 401 (0) of the zeroth bit. .
  • the value 0 is supplied as the signal RST_BIT1 to the sign inversion control unit 401 (1) of the first bit.
  • the value 0 is supplied as the signal RST_BIT2 to the sign inversion control unit 401 (2) of the second bit.
  • the value 0 is supplied as the signal RST_BIT3 to the sign inversion control unit 401 (3) of the third bit.
  • the value 0 is supplied as the signal RST_BIT0 to the sign inversion control unit 401 (0) of the 0th bit.
  • the value 0 is supplied as the signal RST_BIT1 to the sign inversion control unit 401 (1) of the first bit.
  • the value 0 is supplied as the signal RST_BIT2 to the sign inversion control unit 401 (2) of the second bit.
  • the value 0 is supplied as the signal RST_BIT3 to the sign inversion control unit 401 (3) of the third bit.
  • the counter 104A shown in FIG. 4 operates as follows. First, exposure of the main image is performed as follows. Since the initial state of the input terminal D of the flip-flop 400 is L level, the initial state of the output terminal Q of each flip-flop 400 is L level, and the initial state of the inverted output terminal / Q of each flip-flop 400 is H level. As described above, the least significant bit is a dead bit.
  • the flip-flop 400 (1) of the first bit of the counter 104A is as follows in synchronization with the rising edge of the pulse signal PULSE. That is, the positive logic value of the signal input to the input terminal D of the flip-flop 400 (1) is output to the output terminal Q of the flip-flop 400 (1).
  • the negative logic value of the signal input to the input terminal D of the flip-flop 400 (1) is output to the inverting output terminal / Q of the flip-flop 400 (1).
  • the flip-flop 400 of the second and subsequent bits of the counter 104A is synchronized with the rising edge of the signal output from the inverting output terminal / Q of the flip-flop 400 located in the preceding stage of the flip-flop 400 as follows. Become. That is, the positive logic value of the signal input to the input terminal D of the flip-flop 400 is output to the output terminal Q of the flip-flop 400. Further, the negative logic value of the signal input to the input terminal D of the flip-flop 400 is output to the inverting output terminal / Q of the flip-flop 400.
  • the counter 104A shown in FIG. 4 can operate as an asynchronous counter.
  • the black image is exposed as follows.
  • initial settings are made as follows.
  • the control unit 606 sets the gain setting signal GAIN_PARAM and sets the inverted signal INV to the H level.
  • the gain setting unit 403 performs bit shift on the count values CNT (0) to CNT (3) of each bit based on the gain setting signal GAIN_PARAM.
  • a signal obtained by performing bit shift on the signal output from the output terminal Q of each flip-flop 400 is transmitted via the sign inversion control unit 401 to the preset terminal PRST and reset of each flip-flop 400. It is supplied to the terminal RST.
  • the reset signal CLR supplied from the control unit 606 is set to H level, and the counter 104A is reset.
  • the reset signal CLR becomes H level, the output terminal Q of each flip-flop 400 becomes L level.
  • an asynchronous counter may be used as the counter 104A.
  • the asynchronous counter can perform counting without using an addition computing unit such as a half adder or a full adder. For this reason, if an asynchronous counter is used for the counter 104A, the cost can be further reduced.
  • the frame memory is not used.
  • a black image can be obtained.
  • the gain is applied based on the ratio between the exposure period of the main image and the exposure period of the black image, so that the time required to acquire the black image can be shortened. Note that an asynchronous counter and a synchronous counter may be combined.
  • FIGS. 8 and 9A to 9C A solid-state imaging device, a control method thereof, and an imaging apparatus according to a second embodiment will be described with reference to FIGS. 8 and 9A to 9C.
  • the same components as those of the solid-state imaging device according to the first embodiment shown in FIGS. 1 to 7 are denoted by the same reference numerals, and description thereof is omitted or simplified.
  • the solid-state imaging device 600 can acquire an image subjected to motion blur.
  • Motion blur is image blurring that occurs when a moving subject is photographed.
  • motion blur an image is also called motion blur.
  • a case where motion blur is applied by applying an IIR filter in the time direction will be described as an example, but the present invention is not limited to this.
  • FIG. 8 is a diagram showing a counter provided in the unit pixel 100 of the solid-state imaging device 600 according to the present embodiment.
  • a counter 104B shown in FIG. 8 is used instead of the counter 104 shown in FIG.
  • the counter 104B is different from the counter 104 according to the first embodiment shown in FIG. 2 in that the sign inversion unit 203 is not provided.
  • the filter coefficient of the IIR filter is set by the gain setting signal GAIN_PARAM.
  • Odat is an output signal of the unit pixel 100.
  • CurrentDat is an output signal of the current frame.
  • PreDat is an output signal of the previous frame.
  • ⁇ / (1 ⁇ ) is a filter coefficient.
  • ⁇ / (1- ⁇ ) is set by the gain setting signal GAIN_PARAM.
  • Odat may be divided by (1- ⁇ ), or Odat may be divided by (1- ⁇ ) in the subsequent stage of the unit pixel 100.
  • FIGS. 9A to 9C are diagrams conceptually showing motion blur.
  • 9A to 9C show information indicating the contour of the subject, that is, contour information.
  • FIG. 9A conceptually shows an image of the previous frame.
  • 9B and 9C conceptually show an example in which the position of the subject is shifted to the right by one pixel with respect to the image shown in FIG. 9A.
  • FIG. 9B shows an example in which motion blur is not applied.
  • FIG. 9C corresponds to an example in which motion blur is applied, that is, an image acquired by the present embodiment.
  • Each of a plurality of images constituting a moving image is taken with a finite exposure time.
  • a moving image is recognized by a viewer due to the afterimage effect.
  • a plurality of images (still images) that change little by little are displayed approximately 20 or more per second, a smooth motion image is recognized by a viewer.
  • the number of displayed images is generally less than 20 per second, an awkward movement image may be recognized by a viewer. Even when the subject moves quickly, an awkward movement image may be recognized by the viewer.
  • the initial value of the counter is set by appropriately setting the filter coefficient, and motion blur is performed without using a frame memory.
  • the portion hatched in FIG. 9C is an outline corresponding only to the previous frame.
  • the portion hatched in FIG. 9C is a contour corresponding only to the current frame. In FIG. 9C, the hatched portions are contours corresponding to both the previous frame and the current frame.
  • the intermittent information between the previous frame and the current frame can be reduced. According to this embodiment, it is also possible to easily acquire an image such as a star trail without using an image composition tool or the like.
  • a value obtained by applying a predetermined gain to the value of the previous frame is set as the initial value of the counter 104B. For this reason, according to the present embodiment, an image subjected to motion blur can be obtained without using a frame memory.
  • a multiple exposure image can be obtained by photographing another image using a value obtained by applying a predetermined gain to the value of the photographed one image as an initial value of the counter 104B. It is also possible to obtain an HDR (High Dynamic Range) image.
  • the initial value of the counter 104B is a value obtained by multiplying the value of the already captured frame by a gain corresponding to the ratio between the aperture value in the already captured frame and the aperture value in the frame to be captured. Take a picture.
  • An HDR image can be obtained by shooting in this manner.
  • a composite image of a plurality of frames can be obtained without using a frame memory.
  • a solid-state imaging device, a control method thereof, and an imaging apparatus according to a third embodiment will be described with reference to FIGS.
  • the same components as those of the solid-state imaging device according to the first or second embodiment shown in FIGS. 1 to 9C are denoted by the same reference numerals, and description thereof is omitted or simplified.
  • the solid-state imaging device according to the present embodiment can acquire a blacked image.
  • FIG. 10 is a diagram illustrating a counter provided in the unit pixel 100 of the solid-state imaging device 600 according to the present embodiment.
  • the counter 104C includes an up / down counter 1000 and a gain setting unit 1001.
  • a count value CNT is output from the counter 104C.
  • the up / down counter 1000 counts the pulse signal PULSE output from the waveform shaping unit 103.
  • the up / down counter 1000 performs up-counting or down-counting based on the up / down selection signal UP_DOWN_SEL supplied from the control unit 606.
  • the up / down counter 1000 is initialized to an initial value 0 asynchronously to the clock signal CLK (see FIG. 3) by the asynchronous reset signal ASYN_RES.
  • the up / down counter 1000 is initialized to an initial value 0 by the reset signal CLR in synchronization with the clock signal CLK.
  • the common clock signal CLK is supplied to the counter 104 ⁇ / b> C provided in each of the plurality of unit pixels 100 provided in the solid-state imaging device 600.
  • the common asynchronous reset signal ASYN_RES is collectively supplied to the counter 104C provided in each of the plurality of unit pixels 100 provided in the solid-state imaging device 600.
  • the gain setting unit 1001 applies a gain to the 1-bit pulse signal PULSE based on the gain setting signal CNT_WEIGHT supplied from the control unit 606.
  • the gain setting unit 1001 sets the gain applied to the pulse signal PULSE depending on which bit of the up / down counter 1000 is supplied with the signal PULSE_BIT corresponding to the pulse signal PULSE. For example, when gain is not applied to the pulse signal PULSE, the gain setting unit 1001 supplies the pulse signal PULSE to the 0th bit of the up / down counter 1000. For example, when multiplying the pulse signal PULSE by a factor of two, the gain setting unit 1001 supplies the pulse signal PULSE to the first bit of the up / down counter 1000.
  • the gain setting unit 1001 supplies the pulse signal PULSE to the 0th bit of the up / down counter 1000 and the 1st bit of the up / down counter 1000. .
  • up-counting is performed during the imaging period of the main image.
  • down-counting is performed using a signal PULSE_BIT obtained by multiplying the pulse signal PULSE by a gain corresponding to the ratio between the exposure value of the main image and the exposure value of the black image. In this way, a black image is generated.
  • the gain corresponding to the ratio between the exposure value of the main image and the exposure value of the black image is doubled will be described as an example, but the present invention is not limited to this.
  • FIG. 11 is a diagram illustrating the counter 104C provided in the unit pixel 100 of the solid-state imaging device 600 according to the present embodiment.
  • a counter 104C shown in FIG. 11 is used instead of the counter 104 shown in FIG.
  • the counter 104C includes a gain setting unit 1001, a plurality of flip-flops 1100 (0) to 1100 (3), a plurality of up / down selector units 1101 (1) to 1101 (3), and a plurality of synchronous reset units 1102 (0 ) To 1102 (3).
  • the counter 104C includes a plurality of HOLD selectors 1103 (0) to 1103 (3), a plurality of half adders 1104 (0) to 1104 (3), and a plurality of OR elements 1105 (2) and 1105 (3). Also have.
  • a count value CNT is output from the counter 104C.
  • the case where the counter 104C is a 4-bit asynchronous counter will be described as an example, but the present invention is not limited to this.
  • reference numeral 1100 In the description of flip-flops in general, reference numeral 1100 is used, and in the description of individual flip-flops, reference numerals 1100 (0) to 1100 (3) are used. Further, reference numeral 1101 is used to describe the up / down selector section in general, and reference numerals 1101 (1) to 1101 (3) are used to describe individual up / down selector sections. Further, reference numeral 1102 is used when describing the general synchronization reset unit, and reference numerals 1102 (0) to 1102 (3) are used when describing the individual synchronization reset units. Further, the reference numeral 1103 is used to describe the HOLD selector in general, and the reference numerals 1103 (0) to 1103 (3) are used to describe the individual HOLD selectors.
  • 1104 is used to describe the general half adder, and reference numerals 1104 (0) to 1104 (3) are used to describe the individual half adders.
  • the reference numeral 1105 is used to describe the OR element in general, and the reference numerals 1105 (2) and 1105 (3) are used to describe the individual OR elements.
  • the count value CNT (0) of the 0th bit is output from the flip-flop 1100 (0). From the flip-flop 1100 (1), the count value CNT (1) of the first bit is output.
  • the count value CNT (2) of the second bit is output from the flip-flop 1100 (2). From the flip-flop 1100 (3), the count value CNT (3) of the third bit is output.
  • the ratio between the exposure period of the main image and the exposure period of the black image is, for example, 2: 1 as described above.
  • Signals output from the synchronous reset units 1102 (0) to 1102 (3) are respectively supplied to the input terminals D of the flip-flops 1100 (0) to 1100 (3).
  • the flip-flop 1100 sets the output terminal Q to L level and the inverted output terminal / Q to H level when the asynchronous reset signal ASYN_RES input to the reset terminal RST is L level.
  • the flip-flop 1100 operates as follows when the asynchronous reset signal ASYN_RES input to the reset terminal RST is at the H level. That is, in such a case, the flip-flop 1100 outputs the positive logic value of the signal input to the input terminal D to the output terminal Q in synchronization with the rising edge of the clock signal CLK input to the clock input terminal.
  • the up / down selector section 1101 (1) is supplied with a signal output from the synchronous reset section 1102 (0) and a signal output from the output terminal Q of the flip-flop 1100 (0).
  • the up / down selector section 1101 (2) is supplied with a signal output from the synchronous reset section 1102 (1) and a signal output from the output terminal Q of the flip-flop 1100 (1).
  • the up / down selector section 1101 (3) is supplied with a signal output from the synchronous reset section 1102 (2) and a signal output from the output terminal Q of the flip-flop 1100 (2).
  • the up / down selector unit 1101 selects the up count or the down count based on the up / down selection signal UP_DOWN_SEL supplied from the control unit 606.
  • the up / down selection signal UP_DOWN_SEL is 0 (L level)
  • the up / down selector unit 1101 executes up-counting.
  • the up / down selector unit 1101 notifies the carry to the upper bits in synchronization with the falling edge of the signal output from the output terminal Q of the flip-flop 1100.
  • the up / down selection signal UP_DOWN_SEL is 1 (H level)
  • the up / down selector unit 1101 performs down-counting.
  • the up / down selector unit 1101 notifies a lower bit to a higher bit in synchronization with the rising edge of the signal output from the output terminal Q of the flip-flop 1100.
  • the gain setting unit 1001 is supplied with a gain setting signal CNT_WEIGHT supplied from the control unit 606 and a pulse signal PULSE supplied from the waveform shaping unit 103.
  • the gain setting unit 1001 sets to which bit of the flip-flop 1100 the signals PULSE_BIT (0) to (3) corresponding to the pulse signal PULSE are input based on the gain setting signal CNT_WEIGHT.
  • the signals PULSE_BIT (0) to PULSE (3) output from the gain setting unit 1001 are supplied to the half adders 1104 (0) to 1104 (3).
  • the code PULSE_BIT is used, and when the individual signals output from the gain setting unit 1001 are described, the codes PULSE_BIT (0) to PULSE_BIT (3) are used. Is used. For example, when the gain setting signal CNT_WEIGHT is 3, the gain setting unit 1001 supplies the signal PULSE_BIT (0) to the 0th bit and the signal PULSE_BIT (1) to the 1st bit. When the gain is set in this way, the count value CNT changes as 0, 3, 6,.
  • the signals output from the output terminals Q of the flip-flops 1100 (0) to 1100 (3) are supplied to the HOLD selectors 1103 (0) to 1103 (3).
  • Control signals are supplied to the HOLD selectors 1103 (0) to 1103 (3) from the half adders 1104 (0) to 1104 (3), respectively.
  • the HOLD selector 1103 outputs a signal supplied from the output terminal Q of the flip-flop 1100 or its inverted signal based on the control signal supplied from the half adder 1104.
  • the half adders 1104 (1) to 1104 (3) are provided with XOR elements.
  • the HOLD selector 1103 (1) to 1103 (3) operate as follows. In other words, the HOLD selectors 1103 (1) to 1103 (3) output signals output from the output terminals Q of the flip-flops 1100 (1) to 1100 (3), respectively. In other words, the HOLD selectors 1103 (1) to 1103 (3), when the carry or carry is not notified from the lower bits and the signals PULSE_BIT (1) to (3) are not supplied, To work.
  • the HOLD selectors 1103 (1) to 1103 (3) output signals output from the output terminals Q of the flip-flops 1100 (1) to (3), respectively. Also, the HOLD selectors 1103 (1) to 1103 (3) are notified of the carry or carry from the lower bits and the signals PULSE_BIT (1) to (3) are supplied as follows. To work. In other words, the HOLD selectors 1103 (1) to 1103 (3) output signals output from the output terminals Q of the flip-flops 1100 (1) to 1100 (3), respectively.
  • the control signal supplied from the half adder 1104 to the HOLD selector 1103 is 1 (H level)
  • the HOLD selectors 1103 (1) to (3) operate as follows.
  • the HOLD selectors 1103 (1) to (3) output signals obtained by inverting the signals output from the output terminals Q of the flip-flops 1100 (1) to (3). That is, when only one of the notification from the lower bit indicating carry or carry and the supply of the signals PULSE_BIT (1) to (3) occurs, the HOLD selectors 1103 (1) to 1103 (3 ) Operates as follows. That is, in such a case, the HOLD selectors 1103 (1) to 1103 (3) output signals obtained by inverting the signals output from the output terminals Q of the flip-flops 1100 (1) to 1100 (3). To do. In FIG. 11, an example in which the HOLD selector 1103 is provided with a NOT element is shown, but the present invention is not limited to this.
  • a signal output from the inverting output terminal / Q of the flip-flop 1100 may be used.
  • the flip-flop 1100 (0) of the 0th bit which is the least significant bit the carry or carry is not notified from the lower bit.
  • the signal PULSE_BIT (0) is supplied from the half adder 1104 (0) to the HOLD selector 1103 (0) as a control signal.
  • HOLD selector 1103 (0) outputs a signal output from output terminal Q of flip-flop 1100 (0) when signal PULSE_BIT (0) is 0 (L level).
  • the HOLD selector 1103 (0) outputs a signal obtained by inverting the signal output from the output terminal Q of the flip-flop 1100 (0) when the signal PULSE_BIT (0) is 1 (H level).
  • the half adders 1104 (1) and 1104 (2) include an XOR element and an AND element.
  • the half adder 1104 (2) includes an XOR element.
  • the half adders 1104 (1) to 1104 (3) include signals output from the up / down selector units 1101 (1) to 1101 (3) and signals PULSE_BIT (1) to PULSE_BIT (3) corresponding to the pulse signal PULSE. ) And are supplied respectively.
  • the half adders 1104 (1) to 1104 (3) are HOLD based on the notification from the lower bits indicating carry or carry and the signals PULSE_BIT (1) to PULSE_BIT (3) corresponding to the pulse signal PULSE.
  • a control signal is supplied to the selector 1103.
  • the half adders 1104 (1) and 1104 (2) notify the carry or carry to the upper bits separately from the notifications output from the up / down selector units 1101 (2) and 1101 (3).
  • the HOLD selectors 1103 (1) to 1103 (3) are controlled by signals output from the XOR elements provided in the half adders 1104 (1) to 1104 (3).
  • PULSE_BIT (1) to (3) When only one of notification from the lower bit indicating carry or carry and supply of signals PULSE_BIT (1) to (3) occurs, the following occurs. That is, the values of signals output from the output terminals Q of the flip-flops 1100 (1) to 1100 (3) are inverted by the HOLD selectors 1103 (1) to 1103 (3).
  • a carry or a carry is notified from a lower bit by a signal output from an AND element provided in the half adders 1104 (1) and 1104 (2).
  • the notification from the lower bit indicating carry or carry and the supply of the signal PULSE_BIT corresponding to the pulse signal PULSE occur simultaneously, the following occurs. That is, the value of the output terminal Q of the flip-flop 1100 provided for the bit is not inverted, and a carry or a carry is notified to the upper bit. For this reason, a carry or a carry is notified to the upper bits by a signal output from the AND element provided in the half adder 1104. In the least significant bit, a carry from a bit lower than the bit or a carry down to a bit lower than the bit does not occur.
  • the half adder 1104 (0) supplies the signal PULSE_BIT (0) as it is to the HOLD selector 1103 (0) as a control signal.
  • the half adder 1104 (3) is not provided with an AND element.
  • the OR element 1105 (2) is supplied with a signal output from the AND element of the half adder 1104 (1) and a signal output from the up / down selector section 1101 (2). By these signals, notification is made from the lower bits indicating carry or carry.
  • the signal output from the OR element 1105 (2) is supplied to the half adder 1104 (2).
  • the OR element 1105 (3) is supplied with a signal output from the AND element of the half adder 1104 (2) and a signal output from the up / down selector unit 1101 (3). By these signals, notification is made from the lower bits indicating carry or carry.
  • the signal output from the OR element 1105 (3) is supplied to the half adder 1104 (3).
  • the synchronous reset unit 1102 initializes the value of the output terminal Q of the flip-flop 1100 to 0 (L level) in synchronization with the clock signal CLK based on the reset signal CLR supplied from the control unit 606.
  • the counter 104C shown in FIG. 11 can perform up / down counting while changing the weight of the pulse signal PULSE.
  • FIG. 12 is a timing chart showing the operation of the counter 104C provided in the unit pixel 100 of the solid-state imaging device 600 according to the present embodiment.
  • FIG. 12 shows a clock signal CLK, a pulse signal PULSE, a count value CNT, a gain setting signal CNT_WEIGHT, an up / down selection signal UP_DOWN_SEL, a reset signal CLR, and a read signal READ_EN.
  • the count value CNT is output in synchronization with the rising edge of the clock signal CLK, the count value CNT is delayed by one cycle.
  • the reset signal CLR is set to H level.
  • the counter 104C is reset. Such reset processing is performed before the main image is exposed.
  • the period from timing t1201 to timing t1202 is the exposure period of the main image.
  • the up / down selection signal UP_DOWN_SEL is set to the L level in order to perform up-counting.
  • the gain setting signal CNT_WEIGHT is set to 1 because no gain is applied to the pulse signal PULSE. Therefore, the pulse signal PULSE is input to the 0th bit that is the least significant bit of the up / down counter 1000. For this reason, every time one pulse signal PULSE is output, the count value CNT is incremented by one.
  • an example in which one pulse signal PULSE is output at the rising timing of the clock signal CLK is shown.
  • the exposure of the main image is completed.
  • the counter 104C is set to shift to black image exposure.
  • the gain setting signal CNT_WEIGHT is set based on the ratio between the exposure period of the main image as the previous frame and the exposure period of the black image as the next exposure frame. As described above, since the ratio between the exposure period of the main image and the exposure period of the black image is 2: 1, a gain that is twice the ratio is applied. That is, by setting the gain setting signal CNT_WEIGHT to 2, the pulse signal PULSE is input to the first bit of the up / down counter 1000. By doing in this way, in the exposure of the black image, the exposure is performed with an inclination twice that of the exposure of the main image.
  • the up / down selection signal UP_DOWN_SEL is set to the H level in order to perform a down count. In this way, in the exposure of the black image, the pulse signal PULSE is subtracted with a gradient twice that of the exposure of the main image.
  • the period from timing t1203 to timing t1204 is a black image exposure period.
  • the pulse signal PULSE is output from the waveform shaping unit 103, the count value CNT is counted down by two.
  • the black image exposure is completed.
  • the up / down selection signal UP_DOWN_SEL is set to the L level.
  • the count value CNT is determined.
  • the value of the count value CNT is, for example, 5. In this way, the count value CNT indicating the signal value of the black image is obtained.
  • the read signal READ_EN is set to the H level, and the black image signal is read.
  • the reset signal CLR is set to H level.
  • the count value CNT is reset to 0 at the timing t1207 next to the timing t1206.
  • the counter 104C is a synchronous counter
  • the present invention is not limited to this.
  • a counter 104D as shown in FIG. 13, that is, an asynchronous counter may be used.
  • FIG. 13 is a diagram illustrating an example in which a counter is configured by an asynchronous counter.
  • a counter 104D shown in FIG. 13 is used instead of the counter 104 shown in FIG.
  • the counter 104D includes a plurality of flip-flops 1300 (0) to 1300 (3), a plurality of count scheme controllers 1301 (1) to 1301 (3), and a plurality of input bit selectors 1302 (0) to 1302 (3). ).
  • the counter 104D further includes OR elements 1303 (0) to 1303 (3).
  • a count value CNT is output from the counter 104D.
  • the counter 104D is a 4-bit asynchronous counter will be described as an example, but the present invention is not limited to this.
  • reference numeral 1300 In the description of flip-flops in general, reference numeral 1300 is used, and in the description of individual flip-flops, reference numerals 1300 (0) to 1300 (3) are used.
  • Reference numeral 1301 is used to describe the general count method control unit, and reference numerals 1301 (1) to 1301 (3) are used to describe the individual count method control units.
  • reference numeral 1302 In the description of the input bit selection section in general, reference numeral 1302 is used, and in the description of the individual input bit selection sections, reference numerals 1302 (0) to 1302 (3) are used.
  • reference numeral 1303 When describing the OR element in general, reference numeral 1303 is used, and when describing each OR element, reference numerals 1303 (0) to 1303 (3) are used.
  • the code CNT When describing the count value, the code CNT is used, and when describing the value of each bit of the count value, the codes CNT (0) to CNT (3) are used.
  • the count value CNT (0) of the 0th bit is output from the flip-flop 1300 (0).
  • the flip-flop 1300 (1) outputs the count value CNT (1) of the first bit.
  • the count value CNT (2) of the second bit is output.
  • the flip-flop 1300 (3) outputs the count value CNT (3) of the third bit.
  • the ratio between the exposure period of the main image and the exposure period of the black image is, for example, 2: 1 as described above.
  • the flip-flop 1300 is reset when an L level signal is input to the reset terminal RST.
  • the flip-flop 1300 sets the output terminal Q to L level and the inverted output terminal / Q to H level.
  • the flip-flop 1300 operates as follows in synchronization with the rising edge of the signal input to the clock input terminal. That is, in such a case, the flip-flop 1300 outputs the positive logical value of the signal input to the input terminal D to the output terminal Q, and the negative logical value of the signal input to the input terminal D to the inverted output terminal / Q. Output to.
  • the inverting output terminal / Q of the flip-flop 1300 is connected to the input terminal D of the flip-flop 400 including the inverting output terminal / Q.
  • the count values CNT (0) to CNT (3) of each bit are output from the output terminals Q of the flip-flops 1300 (0) to 1300 (3).
  • a signal output from the input bit selection unit 1302 is supplied to the clock input terminal of the flip-flop 1300.
  • the input bit selection unit 1302 (0) outputs 0 (L level) or a PULSE signal based on the gain setting signal CNT_WEIGHT.
  • the input bit selection unit 1302 (0) outputs 0.
  • the input bit selection unit 1302 (0) outputs the pulse signal PULSE.
  • the input bit selection units 1302 (1) to 1302 (3) output signals supplied from the count method control units 1301 (1) to 1301 (3) or the PULSE signal.
  • the input bit selection unit 1302 (1) When the value of the first bit of the gain setting signal CNT_WEIGHT is 0, the input bit selection unit 1302 (1) outputs a signal supplied from the count method control unit 1301 (1). When the value of the first bit of the gain setting signal CNT_WEIGHT is 1, the input bit selection unit 1302 (1) outputs the pulse signal PULSE. When the value of the second bit of the gain setting signal CNT_WEIGHT is 0, the input bit selection unit 1302 (2) outputs a signal supplied from the count method control unit 1301 (2). When the value of the second bit of the gain setting signal CNT_WEIGHT is 1, the input bit selection unit 1302 (2) outputs the pulse signal PULSE.
  • the input bit selection unit 1302 (3) When the value of the third bit of the gain setting signal CNT_WEIGHT is 0, the input bit selection unit 1302 (3) outputs a signal supplied from the count method control unit 1301 (3). When the value of the third bit of the gain setting signal CNT_WEIGHT is 1, the input bit selection unit 1302 (3) outputs the pulse signal PULSE. For example, when the gain setting signal CNT_WEIGHT is set to 2, the pulse signal PULSE is input to the flip-flop 1300 (1) of the first bit, and the count value CNT changes by two.
  • the counting method control unit 1301 controls the counting method based on the up / down selection signal UP_DOWN_SEL.
  • the count method control unit 1301 (1) supplies the signal output from the inverting output terminal / Q of the flip-flop 1300 (0) to the input bit selection unit 1302 (1).
  • the count method control unit 1301 (2) sends the signal output from the inverting output terminal / Q of the flip-flop 1300 (1) to the input bit selection unit 1302 (2). Supply.
  • the count method control unit 1301 (3) When the up / down selection signal UP_DOWN_SEL is at the L level, the count method control unit 1301 (3) sends the signal output from the inverting output terminal / Q of the flip-flop 1300 (3) to the input bit selection unit 1302 (3). Supply. Thus, when the up / down selection signal UP_DOWN_SEL is at the L level, the up count operation is executed by the counter 104D. When the up / down selection signal UP_DOWN_SEL is at the H level, the count method control unit 1301 (1) supplies a signal output from the output terminal Q of the flip-flop 1300 (0) to the input bit selection unit 1302 (1).
  • the count method control unit 1301 (2) supplies the signal output from the output terminal Q of the flip-flop 1300 (1) to the input bit selection unit 1302 (2).
  • the count method control unit 1301 (3) supplies the signal output from the output terminal Q of the flip-flop 1300 (3) to the input bit selection unit 1302 (3).
  • the down count operation is executed by the counter 104D.
  • OR element 1303 generates a signal for resetting flip-flop 1300.
  • the flip-flop 1300 is reset when the asynchronous reset signal ASYN_RES is at L level or when the reset signal CLR is at H level.
  • the counter 104D as shown in FIG. 13 operates as follows. First, exposure of the main image is performed as follows.
  • the control unit 606 sets the up / down selection signal UP_DOWN_SEL to 0 (L level) in order to cause the counter 104D to execute up-counting. Further, the control unit 606 sets the gain setting signal CNT_WEIGHT to 1. Since the up / down selection signal UP_DOWN_SEL is set to L level, the following occurs.
  • a signal output from the inverting output terminal / Q of the flip-flop 1300 (0) is output from the count method control unit 1301 (1).
  • a signal output from the inverting output terminal / Q of the flip-flop 1300 (1) is output from the count method control unit 1301 (2).
  • a signal output from the inverting output terminal / Q of the flip-flop 1300 (2) is output from the count method control unit 1301 (3). Since the gain setting signal CNT_WEIGHT is set to 1, the pulse signal PULSE is supplied to the clock input terminal of the flip-flop 1300 (0) of the 0th bit that is the least significant bit.
  • the clock input terminal of the first bit flip-flop 1300 (1) is supplied with a signal output from the inverted output terminal / Q of the 0th bit flip-flop 1300 (0).
  • the clock input terminal of the flip-flop 1300 (2) of the second bit is supplied with a signal output from the inverting output terminal / Q of the flip-flop 1300 (1) of the first bit.
  • a signal output from the inverting output terminal / Q of the second bit flip-flop 1300 (2) is supplied to the clock input terminal of the third bit flip-flop 1300 (3).
  • the initial state of the input terminal D of the flip-flop 1300 is 0 (L level)
  • the initial state of the output terminal Q of each flip-flop 1300 is 0 (L level)
  • the inverted output terminal of each flip-flop 1300 The initial state of / Q is 1 (H level).
  • the 0th bit flip-flop 1300 (0) is as follows in synchronization with the rising edge of the pulse signal PULSE. That is, the positive logical value of the signal input to the input terminal D of the flip-flop 1300 (0) is output to the output terminal Q of the flip-flop 1300 (0). Further, the negative logic value of the signal input to the input terminal D of the flip-flop 1300 (0) is output to the inverting output terminal / Q of the flip-flop 1300 (0).
  • the first bit flip-flop 1300 (1) operates as follows in synchronization with the rising edge of the signal output from the inverted output terminal / Q of the 0th bit flip-flop 1300 (0). To do.
  • the positive logic value of the signal input to the input terminal D of the flip-flop 1300 (1) is output to the output terminal Q of the flip-flop 1300 (1).
  • the negative logic value of the signal input to the input terminal D of the flip-flop 1300 (1) is output to the inverting output terminal / Q of the flip-flop 1300 (1).
  • the second bit flip-flop 1300 (2) operates as follows in synchronization with the rising edge of the signal output from the inverted output terminal / Q of the first bit flip-flop 1300 (1). To do. That is, the positive logic value of the signal input to the input terminal D of the flip-flop 1300 (2) is output to the output terminal Q of the flip-flop 1300 (2).
  • the negative logic value of the signal input to the input terminal D of the flip-flop 1300 (2) is output to the inverting output terminal / Q of the flip-flop 1300 (2).
  • the third bit flip-flop 1300 (3) operates as follows in synchronization with the rising edge of the signal output from the inverting output terminal / Q of the second bit flip-flop 1300 (2). To do. That is, the positive logic value of the signal input to the input terminal D of the flip-flop 1300 (3) is output to the output terminal Q of the flip-flop 1300 (3).
  • the negative logic value of the signal input to the input terminal D of the flip-flop 1300 (3) is output to the inverting output terminal / Q of the flip-flop 1300 (3).
  • the counter 104D shown in FIG. 13 can operate as an asynchronous counter.
  • the control unit 606 sets the up / down selection signal UP_DOWN_SEL to 1 (H level) in order to cause the counter 104D to perform down-counting. In addition, the control unit 606 sets the gain setting signal CNT_WEIGHT to 2. Since the up / down selection signal UP_DOWN_SEL is set to the H level, the following occurs. A signal output from the output terminal Q of the flip-flop 1300 (0) is output from the count method control unit 1301 (1). Further, a signal output from the output terminal Q of the flip-flop 1300 (1) is output from the count method control unit 1301 (2). In addition, a signal output from the output terminal Q of the flip-flop 1300 (2) is output from the count method control unit 1301 (3).
  • a 0 (L level) signal is supplied to the clock input terminal of the flip-flop 1300 (0) of the 0th bit.
  • the pulse signal PULSE is supplied to the clock input terminal of the flip-flop 1300 (1) of the first bit.
  • a signal output from the output terminal Q of the first bit flip-flop 1300 (1) is supplied to the clock input terminal of the second bit flip-flop 1300 (2).
  • the signal output from the output terminal Q of the second bit flip-flop 1300 (2) is supplied to the clock input terminal of the third bit flip-flop 1300 (3). Therefore, the count value CNT decreases by two during the black image exposure period.
  • the counter 104D is reset based on the signal supplied from the control unit 606.
  • the reset signal CLR is set to H level.
  • the output terminal Q of each flip-flop 1300 is set to L level.
  • the counter 104D may be configured by an asynchronous counter.
  • the counter 104D configured by an asynchronous counter does not require an addition arithmetic unit such as a half adder or a full adder, and thus can contribute to further cost reduction.
  • a solid-state imaging device, a control method thereof, and an imaging apparatus according to a fourth embodiment will be described with reference to FIG.
  • the same components as those of the solid-state imaging device according to the first to third embodiments shown in FIGS. 1 to 13 are denoted by the same reference numerals, and description thereof will be omitted or simplified.
  • the solid-state imaging device acquires an HDR image.
  • an HDR image is acquired by addition average synthesis will be described as an example.
  • FIG. 14 is a diagram illustrating a counter provided in the unit pixel 100 of the solid-state imaging device 600 according to the present embodiment.
  • a counter 104E shown in FIG. 14 is different from the counter 104C according to the third embodiment shown in FIG. 10 in that an up counter 1400 is provided.
  • the counter 104E shown in FIG. 14 does not include the up / down counter 1000 (see FIG. 10). Further, the up / down selection signal UP_DOWN_SEL is not input to the counter 104E shown in FIG.
  • black images are likely to be crushed when imaged at low exposure, and whiteout is likely to occur when imaged at high exposure.
  • the original color information of the subject tends to be lost even when black crushing occurs or when whiteout occurs.
  • a plurality of images with different exposures are added and averaged, it is possible to prevent color information from being lost.
  • the pixel value becomes too large, leading to saturation of the pixel value.
  • the exposure of each of the plurality of images is set to be low. For example, when two images are combined, each image is shot with an exposure that is one step lower than the appropriate exposure.
  • the weight of the count is changed. Specifically, the count weight is changed by shifting the bit to which the pulse signal PULSE is input to the lower bits.
  • the count weight when acquiring a plurality of image signals used for composition is set according to the number of the plurality of image signals used for composition. For example, when two images are combined, the count weight is set to 1 ⁇ 2.
  • a plurality of image signals are sequentially obtained by counting the number of signals emitted from the sensor unit at a frequency corresponding to the frequency of receiving photons.
  • the weight of the count can be changed. For this reason, according to the present embodiment, an image obtained by averaging a plurality of images, that is, an HDR image can be acquired without requiring a frame memory.
  • the present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in the computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
  • ASIC application specific integrated circuit

Abstract

フレームメモリを用いることなく所望の画像を取得し得る固体撮像素子、撮像装置及び撮像方法を提供する。固体撮像素子は、光子の受光頻度に応じた頻度でパルスを発するセンサ部と、センサ部から発せられる信号の数をカウントすることにより画像信号を生成する計数部と、第１の画像信号の取得において得られたカウント値に対して所定の処理を行う処理部とを備え、計数部は、第１の画像信号の取得において得られたカウント値に対して所定の処理を行うことにより得られる値と第２の画像信号とを組み合わせることにより第３の画像信号を生成する。

Description

固体撮像素子、撮像装置及び撮像方法
　本発明は、固体撮像素子、撮像装置及び撮像方法に関する。
　複数の画素信号を用いて合成を行うことによって所望の画像を生成することが知られている。このような画像合成としては、例えば、黒引き画像やモーションブラー等が挙げられる。黒引き画像は、暗電流に応じた黒画像の値を本画像の値から減算することにより生成される。特許文献１には、取得した本画像をフレームメモリに格納し、フレームメモリに格納された本画像から黒画像を減算することによって黒引き画像を取得することが開示されている。モーションブラーとは、動いている被写体を撮影した際に生じる画像のブレのことである。被写体の動きを強調するために、画像に人為的にブレを加えることもモーションブラーと称される。
　特許文献２には、画像生成合成演算部で生成された画像及び合成された画像を記憶する画像メモリが開示されている。
　また、新しい方式のイメージセンサとして、特許文献３に示すようなイメージセンサが提案されている。特許文献３に開示されたイメージセンサには、以下のような信号処理回路が各画素に備えられている。特許文献３では、光電変換素子で生成された電荷を蓄積する蓄積容量と、蓄積容量の電圧を基準電圧と比較し、両者が一致したときにパルスを出力する比較器と、比較器の出力により蓄積容量の電圧をリセット電圧に戻すリセット手段とが各画素に備えられている。
特開２０１０－４１４３７号公報 特開平０８－１４７４９３号公報 特開２０１５－１７３４３２号公報
　しかしながら、フレームメモリを用いることなく所望の画像を取得することは必ずしも容易ではない。
　本発明の目的は、フレームメモリを用いることなく所望の画像を取得し得る固体撮像素子、撮像装置及び撮像方法を提供することを目的とする。
　実施形態の一観点によれば、光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記センサ部から発せられる信号の数をカウントすることにより画像信号を生成する計数部と、第１の画像信号の取得において得られたカウント値に対して所定の処理を行う処理部とを備え、前記計数部は、前記第１の画像信号の取得において得られた前記カウント値に対して所定の処理を行うことにより得られる値と第２の画像信号とを組み合わせることにより第３の画像信号を生成することを特徴とする固体撮像素子が提供される。
　実施形態の他の観点によれば、光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記センサ部から発せられる信号の数をカウントする計数部であって、第１の画像信号の取得の後に行われる第２の画像信号の取得の際におけるカウントの重みを、前記第１の画像信号の取得の際におけるカウントの重みとは異なるように設定する計数部とを有することを特徴とする固体撮像素子が提供される。
　本発明によれば、フレームメモリを用いることなく所望の画像を取得し得る固体撮像素子、撮像装置及び撮像方法を提供することができる。
第１実施形態による固体撮像素子に備えられた単位画素を示す図である。 第１実施形態による固体撮像素子の単位画素に備えられたカウンタを示す図である。 第１実施形態による固体撮像素子の単位画素に備えられたカウンタの動作を示すタイミングチャートである。 非同期式カウンタによってカウンタを構成した場合の例を示す図である。 ゲイン設定部において行われるビットシフトを示す図である。 第１実施形態による固体撮像素子を示す図である。 第１実施形態による固体撮像素子が備えられた撮像装置を示す図である。 第２実施形態による固体撮像素子の単位画素に備えられたカウンタを示す図である。 モーションブラーを概念的に示す図である。 モーションブラーを概念的に示す別の図である。 モーションブラーを概念的に示す更に別の図である。 第３実施形態による固体撮像素子の単位画素に備えられたカウンタを示す図である。 第３実施形態による固体撮像素子の単位画素に備えられたカウンタを示す図である。 第３実施形態による固体撮像素子の単位画素に備えられたカウンタの動作を示すタイミングチャートである。 非同期式カウンタによってカウンタを構成した場合の例を示す図である。 第４実施形態による固体撮像素子の単位画素に備えられたカウンタを示す図である。
　本発明の実施形態について図面を用いて以下に詳細に説明する。なお、以下に示す実施形態は例示であり、本発明は以下の実施形態に限定されるものではない。
　［第１実施形態］
　第１実施形態による固体撮像素子及びその制御方法並びに撮像装置を図１乃至図７を用いて説明する。
　図７は、本実施形態による固体撮像素子６００が備えられた撮像装置７００を示す図である。
　撮像装置７００は、固体撮像素子６００と、システム制御部７０２と、光学系駆動部７０３と、信号処理部７０４と、記録部７０５とを有する。撮像装置７００には、撮像光学系（レンズユニット）７０１が備えられる。撮像光学系７０１は、撮像装置７００の本体から着脱可能であってもよいし着脱不能であってもよい。また、撮像装置７００は不図示の表示部および操作部を備えている。表示部は画像の表示やメニュー等の表示に用いられ、操作部は当該表示などにおけるアイコン等の指示や各種パラメータの設定する動作等に用いられる。
　撮像光学系７０１は、フォーカスを調整するためのフォーカシングレンズを含む光学レンズ群を有する。撮像光学系７０１は、シャッタ、絞り、レンズ制御部等を更に有する。撮像光学系７０１は、固体撮像素子６００の撮像面に被写体の光学像を結像する。
　システム制御部７０２は、撮像装置７００の全体の制御を司る。システム制御部７０２は、撮像光学系７０１を駆動するための光学系駆動部７０３に駆動情報を供給する。システム制御部７０２は、露光期間、読み出し間隔等を示す情報を、固体撮像素子６００に供給する。また、システム制御部７０２はＣＰＵおよびメモリを含み、当該ＣＰＵはメモリに保存される各種プログラムを実行する。
　光学系駆動部７０３は、システム制御部７０２から供給される信号に基づいて、撮像光学系７０１を駆動する。本実施形態では、後述するように、黒画像の生成を要する。本実施形態のように黒画像の生成を要する場合には、不図示の遮光手段が撮像装置７００に備えられる。遮光手段としては、例えばシャッタが挙げられる。遮光手段によって固体撮像素子６００が遮光された状態で撮像が行われることにより、黒画像が生成される。
　固体撮像素子６００は、撮像光学系７０１によって結像された光学像に対して光電変換を行うことにより画像信号を生成する。固体撮像素子６００によって生成される画像信号は、信号処理部７０４に出力される。
　信号処理部７０４は、固体撮像素子６００から供給される画像信号に対して所定の信号処理（画像処理）を行う。所定の信号処理としては、例えば、色変換、ホワイトバランス等が挙げられる。各種の信号処理が施された画像信号は、不図示の符号化手段によって符号化される。符号化手段によって符号化された画像信号（画像データ）は、記録部７０５に供給される。
　記録部７０５には、記録媒体が備えられる。記録媒体は、記録部７０５から着脱可能であってもよいし着脱不能であってもよい。記録媒体としては、例えばＳＤカード等のメモリカードが挙げられる。
　図６は、本実施形態による固体撮像素子６００を示す図である。
　固体撮像素子６００の撮像面には、複数の単位画素１００が２次元的に配置された画素アレイ６０８が備えられている。固体撮像素子６００は、ＴＧ（タイミングジェネレータ）６０１、垂直走査回路６０２、スイッチ６０３、水平走査回路６０４、スイッチ６０５、及び、制御部６０６を更に有する。単位画素１００からそれぞれ出力される画素値（カウント値）は、スイッチ６０３、出力信号線６０７、スイッチ６０５及び出力信号線６０９を介して、固体撮像素子６００の外部に出力される。スイッチ６０３は、各々の単位画素１００に対して備えられている。スイッチ６０３は、垂直走査回路６０２によって行毎に順次制御される。スイッチ６０５は、各々の出力信号線６０７に備えられている。スイッチ６０５は、水平走査回路６０４によって制御される。
　撮像期間の終了のタイミングになると、垂直走査回路６０２は、スイッチ６０３に対して、読み出し信号ＲＥＡＤ＿ＥＮ（図３参照）を供給する。読み出し信号ＲＥＡＤ＿ＥＮは、各行に順次供給される。スイッチ６０３に読み出し信号ＲＥＡＤ＿ＥＮが供給されると、単位画素１００から出力されたカウント値ＣＮＴがスイッチ６０３を介して出力信号線６０７に出力される。水平走査回路６０４は、スイッチ６０５を順次制御することにより、単位画素１００から出力されたカウント値ＣＮＴを、出力信号線６０９を介して固体撮像素子６００の外部に順次出力する。
　制御部６０６は、ＴＧ６０１から供給されるタイミング信号に基づいて、ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭ（図２参照）、反転信号ＩＮＶ（図２参照）、リセット信号ＣＬＲ（図２参照）等を生成する。なお、本実施形態において制御部６０６からの信号は各単位画素１００に一律に供給される構成としているが、これに限られずに、行ごとまたは列ごとに個別に供給できるようにしてもよい。この場合には垂直走査回路６０２から信号を供給できるようにしてもよい。
　ＴＧ６０１は、撮像期間や転送期間等を制御するためのタイミング信号を生成する。ＴＧ６０１によって生成される各種のタイミング信号は、垂直走査回路６０２、水平走査回路６０４、制御部６０６等に供給される。
　本実施形態による固体撮像素子６００は、暗電流に応じた黒画像の値を本画像の値から減算することにより黒引き画像を生成するものである。暗電流は露光期間に比例する。本画像の露光期間と黒画像の露光期間とを等しく設定し、こうして得られる本画像からこうして得られる黒画像を差し引けば、黒引き画像が得られる。しかし、本画像の露光期間と黒画像の露光期間とを等しく設定した場合には、長時間を要してしまう。そこで、本実施形態では、黒画像の信号に対してゲインをかけることによって、黒画像の露光期間の短縮を図る。本実施形態では、本画像の露光期間と黒画像の露光期間とを２：１とする場合を例に説明するが、これに限定されるものではない。本画像の露光期間と黒画像の露光期間とを２：１とする場合、黒画像には２倍のゲインがかけられる。なお、詳細は後述するが露光期間の短縮比は２のべき乗であることが好ましい。
　図１は、本実施形態による固体撮像素子６００に備えられた単位画素１００を示す図である。
　単位画素１００は、ＡＰＤ（アバランシェフォトダイオード）１０１と、クエンチ抵抗１０２と、波形整形部１０３と、カウンタ（計数部）１０４とを有する。
　ＡＰＤ１０１のアノードは、接地電位に接続されている。ＡＰＤ１０１のカソードは、クエンチ抵抗１０２の一端及び波形整形部１０３の入力端子に接続されている。クエンチ抵抗１０２の他端は、逆バイアス電位である所定の電位ＶＡＰＤに接続されている。このように、ＡＰＤ１０１は、クエンチ抵抗１０２を介して所定の電位ＶＡＰＤに接続されている。所定の電位ＶＡＰＤはＡＰＤ１０１をガイガーモードで動作可能な電圧例えば３０Ｖ程度が用いられる。
　光子の受光頻度に応じた頻度でパルスを発するセンサ部１０５が、ＡＰＤ１０１とクエンチ抵抗１０２と波形整形部１０３とによって構成されている。
　ＡＰＤ１０１に光子が入射すると、アバランシェ増倍現象によって電荷が生ずる。アバランシェ像倍現象によって生じた電荷は、クエンチ抵抗１０２を介して排出される。
　ＡＰＤ１０１への光子の入射に応じた電荷の生成及び排出に応じて、波形整形部１０３に入力される信号の電位が変化する。波形整形部１０３は、入力される信号に対してエッジ検出を行うとともに増幅を行うことにより、パルス状の信号を生成する。
　センサ部１０５は、ＡＰＤ１０１への光子の入射の有無をパルス信号に変換する１ビット型のＡＤ変換部として機能する。
　カウンタ１０４は、波形整形部１０３から供給されるパルス信号ＰＵＬＳＥの数をカウントし、カウント結果を示すデジタルの信号を単位画素１００の外部に出力する。
　カウンタ１０４によってカウントされたパルス信号ＰＵＬＳＥの数が、画素値として単位画素１００から出力される。
　図２は、単位画素１００に備えられたカウンタ１０４を示す図である。
　カウンタ１０４は、フリップフロップ２００と、加算部２０１と、ゲイン設定部２０２と、符号反転部２０３と、初期値選択部２０４とを有する。カウンタ１０４からはカウント値ＣＮＴが出力される。なお、図２に示すビット幅は例示であり、これに限定されるものではない。
　カウンタ１０４には、複数のフリップフロップ２００が備えられている。ここでは、１５個のフリップフロップ２００が備えられている場合を例に説明する。フリップフロップ２００は、制御部６０６から供給される非同期リセット信号ＡＳＹＮ＿ＲＥＳによって、クロック信号ＣＬＫ（図３参照）に非同期で初期値０にリセットされる。なお、本実施形態では、固体撮像素子６００に備えられた複数の単位画素１００に各々に備えられたカウンタ１０４に共通のクロック信号ＣＬＫが供給される。また、本実施形態では、固体撮像素子６００に備えられた複数の単位画素１００の各々に備えられたカウンタ１０４に共通の非同期リセット信号ＡＳＹＮ＿ＲＥＳが一括して供給される。
　複数のフリップフロップ２００のうちの下位ビットのフリップフロップ２００は、不感ビットである。ここでは、最下位ビットの１つのフリップフロップ２００が不感ビットである場合を例に説明するが、これに限定されるものではない。図２において、不感ビットは、一点鎖線で囲むことにより示されている。不感ビットのフリップフロップ２００には、パルス信号ＰＵＬＳＥが供給されない。このため、不感ビットのフリップフロップ２００の出力は、カウンタ１０４のカウント動作の際に変化しない。不感ビットの数が１ビットであるため、本実施形態では、カウント値ＣＮＴは０，２，４・・・と変化する。
　なお、本実施形態では、不感ビットの数が１ビットである場合を例に説明するが、これに限定されるものではない。不感ビットの数が２ビット以上であってもよい。
　加算部２０１は、初期値選択部２０４から供給される信号と、波形整形部１０３から供給されるパルス信号ＰＵＬＳＥとを加算する。
　ゲイン設定部（利得部、増幅部）２０２は、フリップフロップ２００から出力された信号に対して、制御部６０６から供給されるゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭに応じたゲインをかける。ゲイン設定部２０２によってゲインがかけられた信号が、ゲイン設定部２０２から出力される。本実施形態では、回路規模の増大を防止すべく、ゲイン設定部２０２は、ビットシフトを行うことによりゲインをかける。例えば、４倍のゲインをかける場合には、ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭは２に設定される。ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭが２に設定されると、フリップフロップ２００から出力された信号に対して左に２ビットのシフトが行われる。例えば、１／８倍のゲインをかける場合には、ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭが－３に設定される。ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭが－３に設定されると、フリップフロップ２００から出力された信号に対して右に３ビットのシフトが行われる。なお、ここでは、ビットシフトを行うことによってゲインをかける場合を例に説明するが、これに限定されるものではない。例えば、乗算器を用いてゲインをかけるようにしてもよい。第１の画像である本画像の撮影時の露出値（第１の撮影条件）と、第２の画像である黒画像の撮影時の露出値（第２の撮影条件）との比に基づいて、ゲインが設定される。露出値は、露出の度合いを示す値であり、撮像光学系の絞り値と露光期間とによって定まる。ビットシフトのみによってゲインをかけることを可能とするため、露出値の比は２のべき乗とすることが好ましいが、これに限定されるものではない。例えば、乗算器を用いてゲインをかける場合には、露出値の比を２のべき乗としなくてもよい。
　符号反転部２０３は、ゲイン設定部２０２から供給される信号を反転する処理を行う。符号反転を単に行った場合には、１の補数表現となり、２の補数表現とはならない。１の補数表現の場合、単純な構成の加算器で信号処理を行い得ない場合がある。２の補数表現とするためには、１を加算するための加算器を要するが、１を加算するための加算器をカウンタ１０４内に設けると、カウンタ１０４の回路規模が大きくなってしまう。このため、本実施形態では、１を加算するための加算器をカウンタ１０４内に設けていない。カウンタ１０４の回路規模が大きくなってもよい場合には、１を加算するための加算器をカウンタ１０４内に設け、２の補数表現を実現するようにしてもよい。
　初期値選択部２０４は、カウンタ１０４に設定する初期値を選択するためのものである。初期値選択部２０４は、制御部６０６から供給されるリセット信号（クリア信号）ＣＬＲ及び反転信号ＩＮＶに基づいて、加算部２０１に供給する信号を選択する。
　リセット信号ＣＬＲと反転信号ＩＮＶのいずれもが０である際には、初期値選択部２０４は、フリップフロップ２００から出力された信号をそのまま加算部２０１に供給する。この場合には、フリップフロップ２００によって画素信号の蓄積が行われる。
　リセット信号ＣＬＲが１であり、反転信号ＩＮＶが０である際には、初期値選択部２０４は、０を加算部２０１に供給する。この場合には、フリップフロップ２００が０にリセットされる。
　リセット信号ＣＬＲが０であり、反転信号ＩＮＶが１である際には、初期値選択部２０４は、符号反転部２０３によって反転された信号を加算部２０１に供給する。例えば、前フレームの信号値にゲインをかけるとともに反転を行うことによって得られる値が、初期値としてフリップフロップ２００に設定される。このような値を初期値としてカウントを行うことにより、例えば、前フレームの信号値と現フレームの信号値との差分を得ることが可能となる。
　本実施形態では、本画像の信号値に対して、本画像の撮影時の露出値と黒画像の撮影時の露出値との比に応じたゲインがかけられる。そして、本画像の信号値にゲインをかけることにより得られた値に対して符号反転を行うことにより得られる値が、黒画像を撮影する際の初期値としてフリップフロップ２００に設定される。そして、黒画像の撮影が行われ、更に符号反転が行われる。本実施形態では、このような処理が行われるため、本画像から黒画像が差し引かれた黒引き画像を、フレームメモリを用いることなく生成することができる。
　図３は、カウンタ１０４の動作を示すタイミングチャートである。図３には、クロック信号ＣＬＫ、パルス信号ＰＵＬＳＥ、フリップフロップ２００の入力値、カウント値ＣＮＴ、ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭ、反転信号ＩＮＶ、リセット信号ＣＬＲ、読み出し信号ＲＥＡＤ＿ＥＮが示されている。読み出し信号ＲＥＡＤ＿ＥＮは、カウンタ１０４のカウント値ＣＮＴを出力信号線６０７に出力するための信号である。図３においては、フリップフロップ２００の入力値及びカウント値ＣＮＴは、１の補数表現で示されている。
　タイミングｔ３００において、リセット信号ＣＬＲがＨレベルに設定される。これにより、カウンタ１０４がリセットされる。このようなリセットは、例えば本画像の撮影の前に行われる。ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭの設定は０、即ち、ゲインは１倍とされる。
　タイミングｔ３０１からタイミングｔ３０２までの期間は、本画像の露光期間である。ここでは、説明を簡略化するために、クロック信号ＣＬＫの立ち上がりのタイミングでパルス信号ＰＵＬＳＥが１つ出力される例が示されている。パルス信号ＰＵＬＳＥが出力される毎に、カウント値ＣＮＴがカウントアップされる。最下位ビットが不感ビットであるため、カウント値は２つずつ増加する。なお、カウント値ＣＮＴは、クロック信号ＣＬＫの立ち上がりエッジに同期して出力されるため、カウント値ＣＮＴには、フリップフロップ２００の入力値に対して１サイクル分の遅延が生ずる。
　タイミングｔ３０２において、本画像の露光が完了する。本画像の露光が完了した際には、黒画像の露光に移行すべく、以下のようにして、フリップフロップ２００に初期値が設定される。即ち、既に撮影された本画像の露光期間と、これから撮影される黒画像の露光期間との比に基づいて、ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭが設定される。上述したように、本画像の露光期間と黒画像の露光期間との比は例えば２：１であるため、これらの比の逆数である例えば１／２倍のゲインがかかるようにする。即ち、本画像の信号値に対して右に１ビットのシフトが行われるようにする。このため、ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭは－１とされる。更に、反転信号ＩＮＶをＨレベルにすることにより、ゲイン設定部２０２から出力される信号に対して符号反転を行うことにより得られる値が、黒画像を撮影する際の初期値としてフリップフロップ２００に設定されるようにする。
　反転信号ＩＮＶがＨレベルとされ、ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭの設定が－１とされるため、以下のような処理が行われる。即ち、本画像の信号値である例えば１８を１／２倍することにより例えば９という値が得られ、９という値を反転することによって－９という値が得られる。こうして得られた例えば－９という値が、黒画像を撮影する際の初期値としてフリップフロップ２００に入力される。こうして、黒画像を撮像する際の初期値として、フリップフロップ２００に例えば－９という値がセットされる。
　このように、カウンタ１０４は、第１の画像信号の取得において得られたカウント値に対して所定の処理を行うことにより得られる値を、第１の画像信号の取得の後に行われる第２の画像信号の取得の開始の際のカウント値として設定する。
　なお、タイミングｔ３０２において、カウント値ＣＮＴは、本画像の信号値である１８を１／２倍することにより得られる値である９となっている。タイミングｔ３０２の１サイクル後のタイミングｔ３０３において、９を反転することにより得られる値である－９がカウント値ＣＮＴとなる。
　タイミングｔ３０３からタイミングｔ３０４までの期間は、黒画像の露光期間である。波形整形部１０３からパルス信号ＰＵＬＳＥが出力される毎に、カウント値ＣＮＴがカウントアップされる。最下位ビットが不感ビットであるため、カウント値は２つずつ増加する。ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭの設定は０、即ち、ゲインは１倍とされる。
　タイミングｔ３０４において、黒画像の露光が完了する。タイミングｔ３０４においては、反転信号ＩＮＶがＨレベルとされる。このため、黒引き画像を符号反転することにより得られる値である５がフリップフロップ２００に入力される。
　タイミングｔ３０４に対して１サイクル遅延したタイミングｔ３０５において、カウント値ＣＮＴの値が５となる。こうして、黒引き画像の信号値を示すカウント値ＣＮＴが得られる。
　図３から分かるように、本画像の露光期間におけるパルス信号ＰＵＬＳＥの数は９である。一方、黒画像の露光期間におけるパルス信号ＰＵＬＳＥの数は２である。本画像の露光期間と黒画像の露光期間との比は、２：１である。従って、黒引き画像は、以下のような式（１）によって求められる。
　９－２×２＝５　・・・（１）
　このことから、本実施形態によれば、黒引き画像を良好に取得し得ることがわかる。
　タイミングｔ３０６において、読み出し信号ＲＥＡＤ＿ＥＮがＨレベルにされ、黒引き画像が読み出される。また、タイミングｔ３０６においては、リセット信号ＣＬＲがＨレベルにされる。これにより、フリップフロップ２００に０が入力され、タイミングｔ３０６の１サイクル後のタイミングｔ３０７において、カウント値ＣＮＴが０にリセットされる。
　このように、本実施形態によれば、本画像の信号を反転することにより得られる信号をフリップフロップ２００に設定した状態で黒画像の撮影が行われるため、フレームメモリを用いることなく黒引き画像を得ることができる。しかも、本実施形態によれば、本画像の露光期間と黒画像の露光期間との比に基づいてゲインをかけるため、黒引き画像を取得するのに要する時間を短縮することができる。
　なお、ここでは、カウンタ１０４が同期式カウンタである場合を例に説明したが、これに限定されるものではない。例えば、図４に示すようなカウンタ１０４Ａ、即ち、非同期式カウンタを用いるようにしてもよい。
　図４は、非同期式カウンタによってカウンタを構成した場合の例を示す図である。図４に示すカウンタ１０４Ａは、図１に示すカウンタ１０４の代わりに用いられる。
　カウンタ１０４Ａは、複数のフリップフロップ４００（０）～４００（３）と、符号反転制御部４０１（０）～４０１（３）と、ＡＮＤ素子４０２（０）～４０２（３）と、ゲイン設定部４０３とを有する。フリップフロップ一般について説明する際には、符号４００を用い、個々のフリップフロップについて説明する際には、符号４００（０）～４００（３）を用いることとする。符号反転制御部一般について説明する際には、符号４０１を用い、個々の符号反転制御部について説明する際には、符号４０１（０）～４０１（３）を用いることとする。ＡＮＤ素子一般について説明する際には、符号４０２を用い、個々のＡＮＤ素子について説明する際には、符号４０２（０）～４０２（３）を用いることとする。ここでは、説明を簡略化するため、カウンタ１０４Ａのビット幅が４である場合を例に説明するが、カウンタ１０４Ａのビット幅は４に限定されるものではない。カウント値について説明する際には、符号ＣＮＴを用い、個々のビットのカウント値について説明する際には、符号ＣＮＴ（０）～ＣＮＴ（３）を用いることとする。フリップフロップ４００（０）からは、第０番目のビットのカウント値ＣＮＴ（０）が出力される。フリップフロップ４００（１）からは、第１番目のビットのカウント値ＣＮＴ（１）が出力される。フリップフロップ４００（２）からは、第２番目のビットのカウント値ＣＮＴ（２）が出力される。フリップフロップ４００（３）からは、第３番目のビットのカウント値ＣＮＴ（３）が出力される。本画像の露光期間と黒画像の露光期間との比は、上記と同様に、例えば２：１とする。
　フリップフロップ４００は、プリセット端子ＰＲＳＴに入力される信号がＬレベルである場合、出力端子ＱをＨレベルとし、反転出力端子／ＱをＬレベルとする。フリップフロップ４００は、プリセット端子ＰＲＳＴに入力される信号がＨレベルである場合、クロック入力端子に入力される信号の立ち上がりエッジに同期して、以下のように動作する。即ち、フリップフロップ４００は、このような場合、入力端子Ｄに入力された信号の正論理値を出力端子Ｑに出力し、入力端子Ｄに入力された信号の負論理値を反転出力端子／Ｑに出力する。フリップフロップ４００の反転出力端子／Ｑは、当該フリップフロップ４００の入力端子Ｄに接続されている。フリップフロップ４００（０）～４００（３）の各々の出力端子Ｑからは各ビットのカウント値ＣＮＴ（０）～ＣＮＴ（３）が出力される。フリップフロップ４００は、リセット端子ＲＳＴに入力される信号がＬレベルである場合、出力端子ＱをＬレベルとし、反転出力端子／ＱをＨレベルとする。フリップフロップ４００は、リセット端子ＲＳＴに入力される信号がＨレベルである場合、クロック入力端子に入力される信号の立ち上がりエッジに同期して、以下のように動作する。即ち、フリップフロップ４００は、このような場合、入力端子Ｄに入力された信号の正論理値を出力端子Ｑに出力し、入力端子Ｄに入力された信号の負論理値を反転出力端子／Ｑに出力する。
　最下位ビットである第０番目のビットのフリップフロップ４００（０）は不感ビットである。図４において、不感ビットは、一点鎖線で囲むことによって示されている。最下位ビットである第０番目のビットのフリップフロップ４００（０）のクロック入力端子には０が入力される。第１番目のビットのフリップフロップ４００（１）のクロック入力端子には、パルス信号ＰＵＬＳＥが供給される。第２番目のビットのフリップフロップ４００（２）のクロック入力端子には、第１番目のビットのフリップフロップ４００（１）の反転出力端子／Ｑから出力される信号が供給される。第３番目のビットのフリップフロップ４００（３）のクロック入力端子には、第２番目のビットのフリップフロップ４００（２）の反転出力端子／Ｑから出力される信号が供給される。第０番目のビットが不感ビットであるため、カウンタ１０４のカウント値ＣＮＴは２つずつ増加する。
　符号反転制御部４０１は、符号反転用の制御信号を出力する。符号反転制御部４０１は、反転信号ＩＮＶに基づいて、ゲイン設定部４０３から供給される信号ＲＳＴ＿ＢＩＴ０～ＲＳＴ＿ＢＩＴ３を、フリップフロップ４００（０）～４００（３）の各々のプリセット端子ＰＲＳＴに供給する。符号反転制御部４０１は、反転信号ＩＮＶに基づいて、ゲイン設定部４０３から供給される信号ＲＳＴ＿ＢＩＴ０～ＲＳＴ＿ＢＩＴ３をＡＮＤ素子４０２（０）～４０２（３）にそれぞれ供給する。
　ＡＮＤ素子４０２は、リセット信号ＣＬＲがＨレベルである場合、Ｌレベルの信号をフリップフロップ４００のリセット端子ＲＳＴに供給する。ＡＮＤ素子４０２は、リセット信号ＣＬＲがＬレベルである場合、符号反転制御部４０１から供給される信号をフリップフロップ４００のリセット端子ＲＳＴに供給する。
　ゲイン設定部４０３は、カウンタ１０４Ａのゲインを設定するためのものである。フリップフロップ４００（０）～４００（３）の各々の出力端子Ｑから出力されるカウント値ＣＮＴ（０）～ＣＮＴ（３）は、カウンタ１０４Ａから出力されるとともに、ゲイン設定部４０３に供給される。ゲイン設定部４０３は、ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭに基づいて、カウント値ＣＮＴ（０）～ＣＮＴ（３）に対してビットシフトを行う。ゲイン設定部４０３によりビットシフトが施されたカウント値ＣＮＴ（０）～ＣＮＴ（３）が、符号反転制御部４０１（０）～４０１（３）にそれぞれ供給される。
　図５は、ゲイン設定部４０３において行われるビットシフトを示す図である。
　例えば、ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭが０である場合、ゲインは１倍であるため、ゲイン設定部４０３はビットシフトを行わない。このため、第０番目のビットのフリップフロップ４００（０）の出力端子Ｑから出力されるカウント値ＣＮＴ（０）が、信号ＲＳＴ＿ＢＩＴ０として、第０番目のビットの符号反転制御部４０１（０）に供給される。また、第１番目のビットのフリップフロップ４００（１）の出力端子Ｑから出力されるカウント値ＣＮＴ（１）が、信号ＲＳＴ＿ＢＩＴ１として、第１番目のビットの符号反転制御部４０１（１）に供給される。また、第２番目のビットのフリップフロップ４００（２）の出力端子Ｑから出力されるカウント値ＣＮＴ（２）が、信号ＲＳＴ＿ＢＩＴ２として、第２番目のビットの符号反転制御部４０１（２）に供給される。また、第３番目のビットのフリップフロップ４００（３）の出力端子Ｑから出力されるカウント値ＣＮＴ（３）が、信号ＲＳＴ＿ＢＩＴ３として、第３番目のビットの符号反転制御部４０１（３）に供給される。
　ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭが１である場合、ゲインは２倍であるため、以下のようになる。値０が、信号ＲＳＴ＿ＢＩＴ０として、第０番目のビットの符号反転制御部４０１（０）に供給される。第０番目のビットのフリップフロップ４００（０）の出力端子Ｑから出力されるカウント値ＣＮＴ（０）が、信号ＲＳＴ＿ＢＩＴ１として、第１番目のビットの符号反転制御部４０１（１）に供給される。また、第１番目のビットのフリップフロップ４００（１）の出力端子Ｑから出力されるカウント値ＣＮＴ（１）が、信号ＲＳＴ＿ＢＩＴ２として、第２番目のビットの符号反転制御部４０１（２）に供給される。また、第２番目のビットのフリップフロップ４００（２）の出力端子Ｑから出力されるカウント値ＣＮＴ（２）が、信号ＲＳＴ＿ＢＩＴ３として、第３番目のビットの符号反転制御部４０１（３）に供給される。
　ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭが２である場合、ゲインは４倍であるため、以下のようになる。値０が、信号ＲＳＴ＿ＢＩＴ０として、第０番目のビットの符号反転制御部４０１（０）に供給される。値０が、信号ＲＳＴ＿ＢＩＴ１として、第１番目のビットの符号反転制御部４０１（１）に供給される。第０番目のビットのフリップフロップ４００（０）の出力端子Ｑから出力されるカウント値ＣＮＴ（０）が、信号ＲＳＴ＿ＢＩＴ２として、第２番目のビットの符号反転制御部４０１（２）に供給される。また、第１番目のビットのフリップフロップ４００（１）の出力端子Ｑから出力されるカウント値ＣＮＴ（１）が、信号ＲＳＴ＿ＢＩＴ３として、第３番目のビットの符号反転制御部４０１（３）に供給される。
　ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭが３である場合、ゲインは８倍であるため、以下のようになる。値０が、信号ＲＳＴ＿ＢＩＴ０として、第０番目のビットの符号反転制御部４０１（０）に供給される。値０が、信号ＲＳＴ＿ＢＩＴ１として、第１番目のビットの符号反転制御部４０１（１）に供給される。値０が、信号ＲＳＴ＿ＢＩＴ２として、第２番目のビットの符号反転制御部４０１（２）に供給される。第０番目のビットのフリップフロップ４００（０）の出力端子Ｑから出力されるカウント値ＣＮＴ（０）が、信号ＲＳＴ＿ＢＩＴ３として、第３番目のビットの符号反転制御部４０１（３）に供給される。
　ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭが－１である場合、ゲインは１／２倍であるため、以下のようになる。第１番目のビットのフリップフロップ４００（１）の出力端子Ｑから出力されるカウント値ＣＮＴ（１）が、信号ＲＳＴ＿ＢＩＴ０として、第０番目のビットの符号反転制御部４０１（０）に供給される。第２番目のビットのフリップフロップ４００（２）の出力端子Ｑから出力されるカウント値ＣＮＴ（２）が、信号ＲＳＴ＿ＢＩＴ１として、第１番目のビットの符号反転制御部４０１（１）に供給される。第３番目のビットのフリップフロップ４００（３）の出力端子Ｑから出力されるカウント値ＣＮＴ（３）が、信号ＲＳＴ＿ＢＩＴ２として、第２番目のビットの符号反転制御部４０１（２）に供給される。値０が、信号ＲＳＴ＿ＢＩＴ３として、第３番目のビットの符号反転制御部４０１（３）に供給される。
　ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭが－２である場合、ゲインは１／４倍であるため、以下のようになる。第２番目のビットのフリップフロップ４００（２）の出力端子Ｑから出力されるカウント値ＣＮＴ（２）が、信号ＲＳＴ＿ＢＩＴ０として、第０番目のビットの符号反転制御部４０１（０）に供給される。第３番目のビットのフリップフロップ４００（３）の出力端子Ｑから出力されるカウント値ＣＮＴ（３）が、信号ＲＳＴ＿ＢＩＴ１として、第１番目のビットの符号反転制御部４０１（１）に供給される。値０が、信号ＲＳＴ＿ＢＩＴ２として、第２番目のビットの符号反転制御部４０１（２）に供給される。値０が、信号ＲＳＴ＿ＢＩＴ３として、第３番目のビットの符号反転制御部４０１（３）に供給される。
　ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭが－３である場合、ゲインは１／８倍であるため、以下のようになる。第３番目のビットのフリップフロップ４００（３）の出力端子Ｑから出力されるカウント値ＣＮＴ（３）が、信号ＲＳＴ＿ＢＩＴ０として、第０番目のビットの符号反転制御部４０１（０）に供給される。値０が、信号ＲＳＴ＿ＢＩＴ１として、第１番目のビットの符号反転制御部４０１（１）に供給される。値０が、信号ＲＳＴ＿ＢＩＴ２として、第２番目のビットの符号反転制御部４０１（２）に供給される。値０が、信号ＲＳＴ＿ＢＩＴ３として、第３番目のビットの符号反転制御部４０１（３）に供給される。
　ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭが－４である場合、ゲインは１／１６倍であるため、以下のようになる。値０が、信号ＲＳＴ＿ＢＩＴ０として、第０番目のビットの符号反転制御部４０１（０）に供給される。値０が、信号ＲＳＴ＿ＢＩＴ１として、第１番目のビットの符号反転制御部４０１（１）に供給される。値０が、信号ＲＳＴ＿ＢＩＴ２として、第２番目のビットの符号反転制御部４０１（２）に供給される。値０が、信号ＲＳＴ＿ＢＩＴ３として、第３番目のビットの符号反転制御部４０１（３）に供給される。
　図４に示すカウンタ１０４Ａは、以下のように動作する。
　まず、本画像の露光が以下のようにして行われる。フリップフロップ４００の入力端子Ｄの初期状態はＬレベルであるため、各々のフリップフロップ４００の出力端子Ｑの初期状態はＬレベルであり、各々のフリップフロップ４００の反転出力端子／Ｑの初期状態はＨレベルである。上述したように、最下位ビットは不感ビットである。カウンタ１０４Ａの第１番目のビットのフリップフロップ４００（１）は、パルス信号ＰＵＬＳＥの立ち上がりエッジに同期して、以下のようになる。即ち、フリップフロップ４００（１）の入力端子Ｄに入力された信号の正論理値を、フリップフロップ４００（１）の出力端子Ｑに出力する。また、フリップフロップ４００（１）の入力端子Ｄに入力された信号の負論理値を、フリップフロップ４００（１）の反転出力端子／Ｑに出力する。カウンタ１０４Ａの第２番目以降のビットのフリップフロップ４００は、当該フリップフロップ４００の前段に位置するフリップフロップ４００の反転出力端子／Ｑから出力される信号の立ち上がりエッジに同期して、以下のようになる。即ち、当該フリップフロップ４００の入力端子Ｄに入力された信号の正論理値を当該フリップフロップ４００の出力端子Ｑに出力する。また、当該フリップフロップ４００の入力端子Ｄに入力された信号の負論理値を、当該フリップフロップ４００の反転出力端子／Ｑに出力する。このように、図４に示すカウンタ１０４Ａは、非同期式カウンタとして動作し得る。
　この後、黒画像の露光が以下のようにして行われる。黒画像の露光を行う際には、以下のようにして初期設定がなされる。初期設定において、制御部６０６は、ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭを設定するとともに、反転信号ＩＮＶをＨレベルに設定する。ゲイン設定部４０３は、ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭに基づいて、各ビットのカウント値ＣＮＴ（０）～ＣＮＴ（３）に対してビットシフトを行う。こうして、各々のフリップフロップ４００の出力端子Ｑから出力される信号に対してビットシフトを行うことにより得られる信号が、符号反転制御部４０１を介して、各々のフリップフロップ４００のプリセット端子ＰＲＳＴ及びリセット端子ＲＳＴに供給される。
　全ての撮像処理が完了した際には、制御部６０６から供給されるリセット信号ＣＬＲがＨレベルとされ、カウンタ１０４Ａがリセットされる。リセット信号ＣＬＲがＨレベルになると、各々のフリップフロップ４００の出力端子ＱがＬレベルとなる。
　このように、カウンタ１０４Ａに非同期式カウンタを用いるようにしてもよい。非同期式カウンタは、半加算器や全加算器のような加算用演算器を用いることなく計数を行い得る。このため、カウンタ１０４Ａに非同期式カウンタを用いるようにすれば、更なるコストの削減を図ることができる。
　このように、本実施形態によれば、本画像の信号を反転することにより得られた信号をフリップフロップ２００，４００に設定した状態で黒画像の撮影が行われるため、フレームメモリを用いることなく黒引き画像を得ることができる。しかも、本実施形態によれば、本画像の露光期間と黒画像の露光期間との比に基づいてゲインをかけるため、黒引き画像を取得するのに要する時間を短縮することができる。なお、非同期カウンタおよび同期カウンタを組み合わせる構成としてもよい。
　［第２実施形態］
　第２実施形態による固体撮像素子及びその制御方法並びに撮像装置を図８及び図９Ａ乃至図９Ｃを用いて説明する。図１乃至図７に示す第１実施形態による固体撮像素子等と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
　本実施形態による固体撮像素子６００は、モーションブラーが施された画像を取得し得るものである。モーションブラーとは、動いている被写体を撮影した際に生じる画像のブレのことである。被写体の動きを強調するために、画像に人為的にブレを加えることもモーションブラーと称される。本実施形態では、時間方向にＩＩＲフィルタをかけることによって、モーションブラーを施す場合を例に説明するが、これに限定されるものではない。
　図８は、本実施形態による固体撮像素子６００の単位画素１００に備えられたカウンタを示す図である。図８に示すカウンタ１０４Ｂは、図１に示すカウンタ１０４の代わりに用いられる。
　カウンタ１０４Ｂは、符号反転部２０３が備えられていない点で、図２に示す第１実施形態によるカウンタ１０４と相違している。
　本実施形態では、ＩＩＲフィルタのフィルタ係数が、ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭによって設定される。ＩＩＲフィルタのフィルタ係数は、例えば、以下のような式（２）によって表されるが、これに限定されるものではない。
　Ｏｄａｔ／（１－α）＝ＣｕｒｒｅｎｔＤａｔ＋α／（１－α）×ＰｒｅＤａｔ　・・・（２）
　Ｏｄａｔは、単位画素１００の出力信号である。ＣｕｒｒｅｎｔＤａｔは、現在のフレームの出力信号である。ＰｒｅＤａｔは、前フレームの出力信号である。α／（１－α）は、フィルタ係数である。ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭによって、α／（１－α）が設定される。なお、ゲイン設定部２０２においてＯｄａｔを（１－α）で除算するようにしてもよいし、単位画素１００の後段においてＯｄａｔを（１－α）で除算するようにしてもよい。ゲイン設定信号ＧＡＩＮ＿ＰＡＲＡＭを適宜設定することにより、前フレームの信号値を現フレームの信号値に適切に加えることが可能となる。
　図９Ａ乃至図９Ｃは、モーションブラーを概念的に示す図である。図９Ａ乃至図９Ｃには、被写体の輪郭を示す情報、即ち、輪郭情報が抜き出して示されている。図９Ａは、前フレームの画像を概念的に示している。図９Ｂ及び図９Ｃは、図９Ａに示す画像に対して被写体の位置が１ピクセル分だけ右にずれた例を概念的に示している。図９Ｂは、モーションブラーが施されていない例を示している。図９Ｃは、モーションブラーが施されている例、即ち、本実施形態によって取得される画像に対応している。
　動画を構成する複数の画像の各々は、有限の露光時間で撮影される。こうして撮影される複数の画像を連続的に表示すると、残像効果によって、動きのある像が見る者に認識される。一般に、少しずつ変化する複数の画像（静止画像）が１秒間に概ね２０枚以上表示されれば、滑らかな動きの像が見る者に認識される。表示される画像の数が１秒間当たり概ね２０枚未満である場合、ぎこちない動きの像が見る者に認識される場合がある。また、被写体の動きが素早い場合にも、ぎこちない動きの像が見る者に認識される場合がある。
　図９Ｂのように、モーションブラーが施されていない画像の場合、ぎこちない動きの像が見る者に認識されやすい。これに対し、図９Ａに示すような前フレーム画像と図９Ｂに示すような現フレームの画像とを合成することによって、モーションブラーが施された図９Ｃのような画像を生成すると、ぎこちない動きの像が見る者に認識されにくい。本実施形態では、フィルタの係数を適切に設定することによりカウンタの初期値を設定し、フレームメモリを用いることなくモーションブラーを施す。図９Ｃにおいて斜めのハッチングが付されている部分は、前フレームにのみ対応する輪郭である。図９Ｃにおいて縦のハッチングが付されている部分は、現フレームにのみ対応する輪郭である。図９Ｃにおいて横のハッチングが付されている部分は、前フレームと現フレームの両方に対応する輪郭である。
　このような画像を生成するようにすれば、前フレームと現フレームとの間の情報の間欠を低減することができる。本実施形態によれば、画像合成ツール等を用いることなく、例えばスタートレイルのような画像を容易に取得することも可能である。
　このように、本実施形態によれば、前フレームの値に所定のゲインをかけることにより得られる値がカウンタ１０４Ｂの初期値として設定される。このため、本実施形態によれば、フレームメモリを用いることなく、モーションブラーが施された画像を得ることができる。
　なお、ここでは、モーションブラー表現を行う場合を例に説明したが、これに限定されるものではない。例えば、多重露光画像を取得するようにすることも可能である。撮影した一の画像の値に所定のゲインをかけることにより得られる値をカウンタ１０４Ｂの初期値として他の画像を撮影することによって、多重露光画像を得ることができる。また、ＨＤＲ（Ｈｉｇｈ　Ｄｙｎａｍｉｃ　Ｒａｎｇｅ）画像を得ることも可能である。例えば、既に撮影されたフレームにおける絞り値とこれから撮影されるフレームにおける絞り値との比に応じたゲインを、既に撮影されたフレームの値にかけることにより得られる値を、カウンタ１０４Ｂの初期値として撮影を行う。このようにして撮影を行うことにより、ＨＤＲ画像を得ることが可能である。
　このように、本実施形態によれば、フレームメモリを用いることなく、複数のフレームの合成画像を得ることができる。
　［第３実施形態］
　第３実施形態による固体撮像素子及びその制御方法並びに撮像装置を図１０乃至図１３を用いて説明する。図１乃至図９Ｃに示す第１又は第２実施形態による固体撮像素子等と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
　本実施形態による固体撮像素子は、黒引き画像を取得し得るものである。
　図１０は、本実施形態による固体撮像素子６００の単位画素１００に備えられたカウンタを示す図である。
　カウンタ１０４Ｃは、アップダウンカウンタ１０００と、ゲイン設定部１００１とを有する。カウンタ１０４Ｃからは、カウント値ＣＮＴが出力される。
　アップダウンカウンタ１０００は、波形整形部１０３から出力されるパルス信号ＰＵＬＳＥをカウントする。アップダウンカウンタ１０００は、制御部６０６から供給されるアップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬに基づいて、アップカウント又はダウンカウントを行う。アップダウンカウンタ１０００は、非同期リセット信号ＡＳＹＮ＿ＲＥＳによって、クロック信号ＣＬＫ（図３参照）に非同期で初期値０に初期化される。アップダウンカウンタ１０００は、リセット信号ＣＬＲによって、クロック信号ＣＬＫに同期して初期値０に初期化される。なお、本実施形態においても、固体撮像素子６００に備えられた複数の単位画素１００に各々に備えられたカウンタ１０４Ｃに共通のクロック信号ＣＬＫが供給される。また、本実施形態においても、固体撮像素子６００に備えられた複数の単位画素１００の各々に備えられたカウンタ１０４Ｃに共通の非同期リセット信号ＡＳＹＮ＿ＲＥＳが一括して供給される。
　ゲイン設定部１００１は、制御部６０６から供給されるゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴに基づいて、１ビットのパルス信号ＰＵＬＳＥにゲインをかける。ゲイン設定部１００１は、パルス信号ＰＵＬＳＥに応じた信号ＰＵＬＳＥ＿ＢＩＴをアップダウンカウンタ１０００のいずれのビットに供給するかによって、パルス信号ＰＵＬＳＥにかけるゲインを設定する。例えば、パルス信号ＰＵＬＳＥに対してゲインをかけない場合、ゲイン設定部１００１は、アップダウンカウンタ１０００の第０番目のビットにパルス信号ＰＵＬＳＥを供給する。パルス信号ＰＵＬＳＥに対して例えば２倍のゲインをかける場合、ゲイン設定部１００１は、アップダウンカウンタ１０００の第１番目のビットにパルス信号ＰＵＬＳＥを供給する。パルス信号ＰＵＬＳＥに対して例えば３倍のゲインをかける場合、ゲイン設定部１００１は、アップダウンカウンタ１０００の第０番目のビットとアップダウンカウンタ１０００の第１番目のビットとにパルス信号ＰＵＬＳＥを供給する。
　本実施形態では、本画像の撮像期間においては、アップカウントを行う。そして、黒画像の撮像期間においては、本画像の露出値と黒画像の露出値との比に応じたゲインをパルス信号ＰＵＬＳＥにかけることにより得られる信号ＰＵＬＳＥ＿ＢＩＴを用いてダウンカウントを行う。こうして、黒引き画像が生成される。なお、本実施形態では、本画像の露出値と黒画像の露出値との比に応じたゲインが２倍である場合を例に説明するが、これに限定されるものではない。
　図１１は、本実施形態による固体撮像素子６００の単位画素１００に備えられたカウンタ１０４Ｃを示す図である。図１１に示すカウンタ１０４Ｃは、図１に示すカウンタ１０４の代わりに用いられる。
　カウンタ１０４Ｃは、ゲイン設定部１００１と、複数のフリップフロップ１１００（０）～１１００（３）と、複数のアップダウンセレクタ部１１０１（１）～１１０１（３）と、複数の同期リセット部１１０２（０）～１１０２（３）とを有する。カウンタ１０４Ｃは、複数のＨＯＬＤセレクタ１１０３（０）～１１０３（３）と、複数の半加算器１１０４（０）～１１０４（３）と、複数のＯＲ素子１１０５（２）、１１０５（３）とを更に有する。カウンタ１０４Ｃからは、カウント値ＣＮＴが出力される。本実施形態では、カウンタ１０４Ｃが４ビットの非同期式カウンタである場合を例に説明するが、これに限定されるものではない。
　フリップフロップ一般について説明する際には、符号１１００を用い、個々のフリップフロップについて説明する際には、符号１１００（０）～１１００（３）を用いる。また、アップダウンセレクタ部一般について説明する際には符号１１０１を用い、個々のアップダウンセレクタ部について説明する際には符号１１０１（１）～１１０１（３）を用いる。また、同期リセット部一般について説明する際には符号１１０２を用い、個々の同期リセット部について説明する際には、符号１１０２（０）～１１０２（３）を用いる。また、ＨＯＬＤセレクタ一般について説明する際には符号１１０３を用い、個々のＨＯＬＤセレクタについて説明する際には符号１１０３（０）～１１０３（３）を用いる。また、半加算器一般について説明する際には１１０４を用い、個々の半加算器について説明する際には符号１１０４（０）～１１０４（３）を用いる。また、ＯＲ素子一般について説明する際には符号１１０５を用い、個々のＯＲ素子について説明する際には符号１１０５（２）、１１０５（３）を用いる。フリップフロップ１１００（０）からは、第０番目のビットのカウント値ＣＮＴ（０）が出力される。フリップフロップ１１００（１）からは、第１番目のビットのカウント値ＣＮＴ（１）が出力される。フリップフロップ１１００（２）からは、第２番目のビットのカウント値ＣＮＴ（２）が出力される。フリップフロップ１１００（３）からは、第３番目のビットのカウント値ＣＮＴ（３）が出力される。
　本画像の露光期間と黒画像の露光期間との比は、上記と同様に、例えば２：１とする。
　フリップフロップ１１００（０）～１１００（３）の入力端子Ｄには、同期リセット部１１０２（０）～１１０２（３）から出力される信号がそれぞれ供給される。フリップフロップ１１００は、リセット端子ＲＳＴに入力される非同期リセット信号ＡＳＹＮ＿ＲＥＳがＬレベルである場合、出力端子ＱをＬレベルとし、反転出力端子／ＱをＨレベルとする。フリップフロップ１１００は、リセット端子ＲＳＴに入力される非同期リセット信号ＡＳＹＮ＿ＲＥＳがＨレベルである場合、以下のように動作する。即ち、フリップフロップ１１００は、このような場合、クロック入力端子に入力されるクロック信号ＣＬＫの立ち上がりエッジに同期して、入力端子Ｄに入力された信号の正論理値を出力端子Ｑに出力する。
　アップダウンセレクタ部１１０１（１）には、同期リセット部１１０２（０）から出力される信号と、フリップフロップ１１００（０）の出力端子Ｑから出力される信号とが供給される。アップダウンセレクタ部１１０１（２）には、同期リセット部１１０２（１）から出力される信号と、フリップフロップ１１００（１）の出力端子Ｑから出力される信号とが供給される。アップダウンセレクタ部１１０１（３）には、同期リセット部１１０２（２）から出力される信号と、フリップフロップ１１００（２）の出力端子Ｑから出力される信号とが供給される。
　アップダウンセレクタ部１１０１は、制御部６０６から供給されるアップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬに基づいて、アップカウント又はダウンカウントを選択する。アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬが０（Ｌレベル）である場合、アップダウンセレクタ部１１０１は、アップカウントを実行する。アップカウントにおいては、アップダウンセレクタ部１１０１は、フリップフロップ１１００の出力端子Ｑから出力される信号の立ち下がりエッジに同期して桁上がりを上位ビットに通知する。アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬが１（Ｈレベル）である場合、アップダウンセレクタ部１１０１は、ダウンカウントを実行する。ダウンカウントにおいては、アップダウンセレクタ部１１０１は、フリップフロップ１１００の出力端子Ｑから出力される信号の立ち上がりエッジに同期して桁下がりを上位ビットに通知する。
　ゲイン設定部１００１には、制御部６０６から供給されるゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴと、波形整形部１０３から供給されるパルス信号ＰＵＬＳＥとが供給される。ゲイン設定部１００１は、パルス信号ＰＵＬＳＥに応じた信号ＰＵＬＳＥ＿ＢＩＴ（０）～（３）を、フリップフロップ１１００のいずれのビットに入力するかを、ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴに基づいて設定する。ゲイン設定部１００１から出力される信号ＰＵＬＳＥ＿ＢＩＴ（０）～ＰＵＬＳＥ（３）は、半加算器１１０４（０）～１１０４（３）に供給される。ゲイン設定部１００１から出力される信号一般について説明する際には、符号ＰＵＬＳＥ＿ＢＩＴを用い、ゲイン設定部１００１から出力される個々の信号について説明する際には、符号ＰＵＬＳＥ＿ＢＩＴ（０）～ＰＵＬＳＥ＿ＢＩＴ（３）を用いる。例えば、ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴが３である場合、ゲイン設定部１００１は、第０番目のビットに信号ＰＵＬＳＥ＿ＢＩＴ（０）を供給するとともに、第１番目のビットに信号ＰＵＬＳＥ＿ＢＩＴ（１）を供給する。このようにゲインを設定した場合、カウント値ＣＮＴは０、３、６、・・・と変化する。
　ＨＯＬＤセレクタ１１０３（０）～１１０３（３）には、フリップフロップ１１００（０）～１１００（３）の出力端子Ｑから出力される信号が供給される。また、ＨＯＬＤセレクタ１１０３（０）～１１０３（３）には、半加算器１１０４（０）～１１０４（３）から制御信号がそれぞれ供給される。ＨＯＬＤセレクタ１１０３は、半加算器１１０４から供給される制御信号に基づいて、フリップフロップ１１００の出力端子Ｑから供給される信号又はその反転信号を出力する。半加算器１１０４（１）～１１０４（３）には、ＸＯＲ素子が備えられている。半加算器１１０４（１）～１１０４（３）に備えられたＸＯＲ素子からＨＯＬＤセレクタ１１０３（１）～１１０３（３）にそれぞれ供給される制御信号が０（Ｌレベル）である場合、ＨＯＬＤセレクタ１１０３（１）～１１０３（３）は、以下のように動作する。即ち、ＨＯＬＤセレクタ１１０３（１）～１１０３（３）は、このような場合、フリップフロップ１１００（１）～１１００（３）の出力端子Ｑからそれぞれ出力される信号を出力する。即ち、ＨＯＬＤセレクタ１１０３（１）～１１０３（３）は、桁上がり又は桁下がりが下位ビットから通知されておらず、且つ、信号ＰＵＬＳＥ＿ＢＩＴ（１）～（３）が供給されていない場合、以下のように動作する。即ち、ＨＯＬＤセレクタ１１０３（１）～１１０３（３）は、このような場合、フリップフロップ１１００（１）～（３）の出力端子Ｑからそれぞれ出力される信号を出力する。また、ＨＯＬＤセレクタ１１０３（１）～１１０３（３）は、桁上がり又は桁下がりが下位ビットから通知されており、且つ、信号ＰＵＬＳＥ＿ＢＩＴ（１）～（３）が供給されている場合、以下のように動作する。即ち、ＨＯＬＤセレクタ１１０３（１）～１１０３（３）は、このような場合、フリップフロップ１１００（１）～１１００（３）の出力端子Ｑからそれぞれ出力される信号を出力する。半加算器１１０４からＨＯＬＤセレクタ１１０３に供給される制御信号が１（Ｈレベル）である場合、ＨＯＬＤセレクタ１１０３（１）～（３）は、以下のように動作する。即ち、ＨＯＬＤセレクタ１１０３（１）～（３）は、このような場合、フリップフロップ１１００（１）～（３）の出力端子Ｑから出力された信号を反転することにより得られる信号を出力する。即ち、桁上がり又は桁下がりを示す下位ビットからの通知と、信号ＰＵＬＳＥ＿ＢＩＴ（１）～（３）の供給とのうちのいずれか一方のみが生じた場合、ＨＯＬＤセレクタ１１０３（１）～１１０３（３）は、以下のように動作する。即ち、ＨＯＬＤセレクタ１１０３（１）～１１０３（３）は、このような場合、フリップフロップ１１００（１）～１１００（３）の出力端子Ｑから出力された信号を反転することにより得られる信号を出力する。なお、図１１においては、ＨＯＬＤセレクタ１１０３にＮＯＴ素子が備えられている例が図示されているが、これに限定されるものではない。例えば、フリップフロップ１１００の反転出力端子／Ｑから出力される信号が用いられるようにしてもよい。最下位ビットである第０番目のビットのフリップフロップ１１００（０）においては、桁上がり又は桁下がりが下位ビットから通知されない。このため、ＨＯＬＤセレクタ１１０３（０）には、信号ＰＵＬＳＥ＿ＢＩＴ（０）が制御信号として半加算器１１０４（０）から供給される。ＨＯＬＤセレクタ１１０３（０）は、信号ＰＵＬＳＥ＿ＢＩＴ（０）が０（Ｌレベル）である場合、フリップフロップ１１００（０）の出力端子Ｑから出力される信号を出力する。ＨＯＬＤセレクタ１１０３（０）は、信号ＰＵＬＳＥ＿ＢＩＴ（０）が１（Ｈレベル）である場合、フリップフロップ１１００（０）の出力端子Ｑから出力される信号を反転することにより得られる信号を出力する。
　半加算器１１０４（１）、１１０４（２）は、ＸＯＲ素子と、ＡＮＤ素子とを備えている。半加算器１１０４（２）は、ＸＯＲ素子を備えている。半加算器１１０４（１）～１１０４（３）には、アップダウンセレクタ部１１０１（１）～１１０１（３）から出力される信号と、パルス信号ＰＵＬＳＥに応じた信号ＰＵＬＳＥ＿ＢＩＴ（１）～ＰＵＬＳＥ＿ＢＩＴ（３）とがそれぞれ供給される。半加算器１１０４（１）～１１０４（３）は、桁上がり又は桁下がりを示す下位ビットからの通知と、パルス信号ＰＵＬＳＥに応じた信号ＰＵＬＳＥ＿ＢＩＴ（１）～ＰＵＬＳＥ＿ＢＩＴ（３）とに基づいて、ＨＯＬＤセレクタ１１０３に制御信号を供給する。半加算器１１０４（１）、１１０４（２）は、アップダウンセレクタ部１１０１（２）、１１０１（３）から出力される通知とは別個に、桁上がり又は桁下がりを上位ビットに対して通知する。半加算器１１０４（１）～１１０４（３）に備えられたＸＯＲ素子から出力される信号によって、ＨＯＬＤセレクタ１１０３（１）～１１０３（３）が制御される。桁上がり又は桁下がりを示す下位ビットからの通知と、信号ＰＵＬＳＥ＿ＢＩＴ（１）～（３）の供給とのうちのいずれか一方のみが生じると、以下のようになる。即ち、フリップフロップ１１００（１）～１１００（３）の出力端子Ｑから出力される信号の値が、ＨＯＬＤセレクタ１１０３（１）～１１０３（３）によって反転される。半加算器１１０４（１）、１１０４（２）に備えられたＡＮＤ素子から出力される信号によって、桁上がり又は桁下がりが下位ビットから通知される。桁上がり又は桁下がりを示す下位ビットからの通知と、パルス信号ＰＵＬＳＥに応じた信号ＰＵＬＳＥ＿ＢＩＴの供給の両方が同時に生じた場合、以下のようになる。即ち、当該ビットに備えられたフリップフロップ１１００の出力端子Ｑの値は反転されず、桁上がり又は桁下がりが上位ビットに通知される。このため、半加算器１１０４に備えられたＡＮＤ素子から出力される信号によって、桁上がり又は桁下がりが上位ビットに通知される。最下位ビットにおいては、当該ビットより下位のビットからの桁上がり又は当該ビットより下位のビットへの桁下がりは生じない。このため、半加算器１１０４（０）は、信号ＰＵＬＳＥ＿ＢＩＴ（０）を制御信号としてそのままＨＯＬＤセレクタ１１０３（０）に供給する。最上位ビットにおいては、当該ビットより上位のビットへの桁上がり又は当該ビットより上位のビットからの桁下がりは生じない。このため、半加算器１１０４（３）にはＡＮＤ素子が備えられていない。
　ＯＲ素子１１０５（２）は、半加算器１１０４（１）のＡＮＤ素子から出力される信号と、アップダウンセレクタ部１１０１（２）から出力される信号とが供給される。これらの信号によって、桁上がり又は桁下がりを示す下位ビットからの通知がなされる。ＯＲ素子１１０５（２）から出力される信号は、半加算器１１０４（２）に供給される。ＯＲ素子１１０５（３）は、半加算器１１０４（２）のＡＮＤ素子から出力される信号と、アップダウンセレクタ部１１０１（３）から出力される信号とが供給される。これらの信号によって、桁上がり又は桁下がりを示す下位ビットからの通知がなされる。ＯＲ素子１１０５（３）から出力される信号は、半加算器１１０４（３）に供給される。アップカウントの場合、桁上がり又は桁下がりを示す下位ビットからの通知は、下位ビットに位置するフリップフロップ１１００の出力端子Ｑから出力される信号の立ち下がりエッジに同期してなされる。ダウンカウントの場合、桁上がり又は桁下がりを示す下位ビットからの通知は、下位ビットに位置するフリップフロップ１１００の出力端子Ｑから出力される信号の立ち上がりエッジに同期してなされる。また、アップカウントであるかダウンカウントであるかにかかわらず、桁上がり又は桁下がりの通知と、信号ＰＵＬＳＥ＿ＢＩＴの入力とが、２ビット下位のビットに対して同時になされた場合にも、桁上がり又は桁下がりの通知がなされる。このため、ＯＲ素子１１０５（２）、１１０５（３）からは、アップダウンセレクタ部１１０１からの信号と、半加算器１１０４のＡＮＤ素子からの信号との論理和が出力される。
　同期リセット部１１０２は、制御部６０６から供給されるリセット信号ＣＬＲに基づいて、フリップフロップ１１００の出力端子Ｑの値をクロック信号ＣＬＫに同期して０（Ｌレベル）に初期化する。
　このように、図１１に示すカウンタ１０４Ｃは、パルス信号ＰＵＬＳＥの重みを変更しつつアップダウンカウントを行うことができる。
　図１２は、本実施形態による固体撮像素子６００の単位画素１００に備えられたカウンタ１０４Ｃの動作を示すタイミングチャートである。図１２には、クロック信号ＣＬＫ、パルス信号ＰＵＬＳＥ、カウント値ＣＮＴ、ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴ、アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬ、リセット信号ＣＬＲ、及び、読み出し信号ＲＥＡＤ＿ＥＮが示されている。
　カウント値ＣＮＴは、クロック信号ＣＬＫの立ち上がりエッジに同期して出力されるため、カウント値ＣＮＴには、１サイクル分の遅延が生ずる。
　タイミングｔ１２００において、リセット信号ＣＬＲがＨレベルに設定される。これにより、カウンタ１０４Ｃがリセットされる。このようなリセットの処理は、本画像を露光する前に行われる。
　タイミングｔ１２０１からタイミングｔ１２０２までの期間は、本画像の露光期間である。本画像の露光期間においては、アップカウントを行うべく、アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬはＬレベルに設定される。また、本画像を露光する際には、パルス信号ＰＵＬＳＥに対してゲインをかけないため、ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴは１に設定される。このため、アップダウンカウンタ１０００の最下位ビットである第０番目のビットにパルス信号ＰＵＬＳＥが入力される。このため、パルス信号ＰＵＬＳＥが１つ出力される毎に、カウント値ＣＮＴが１つずつカウントアップされる。なお、ここでは、説明を簡略化するために、クロック信号ＣＬＫの立ち上がりのタイミングでパルス信号ＰＵＬＳＥが１つ出力される例が示されている。
　タイミングｔ１２０２において、本画像の露光が完了する。黒画像の露光に移行すべく、カウンタ１０４Ｃの設定が行われる。前フレームである本画像の露光期間と次に露光するフレームである黒画像の露光期間との比に基づいて、ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴが設定される。上述したように、本画像の露光期間と黒画像の露光期間との比は２：１であるため、これらの比である２倍のゲインがかかるようにする。即ち、ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴを２に設定することにより、アップダウンカウンタ１０００の第１番目のビットにパルス信号ＰＵＬＳＥが入力されるようにする。このようにすることで、黒画像の露光においては、本画像の露光と比較して、２倍の傾きで露光が行われる。また、黒画像を露光する際には、ダウンカウントを行うべく、アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬはＨレベルに設定される。このようにすることにより、黒画像の露光においては、本画像の露光と比較して、２倍の傾きでパルス信号ＰＵＬＳＥの減算が行われる。
　タイミングｔ１２０３からタイミングｔ１２０４までの期間は、黒画像の露光期間である。波形整形部１０３からパルス信号ＰＵＬＳＥが出力される毎に、カウント値ＣＮＴが２つずつカウントダウンされる。
　タイミングｔ１２０４において、黒画像の露光が完了する。タイミングｔ１２０４においては、アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬがＬレベルにされる。
　タイミングｔ１２０４からタイミングｔ１２０５までの間において、カウント値ＣＮＴが確定する。ここでは、カウント値ＣＮＴの値は例えば５となる。こうして、黒引き画像の信号値を示すカウント値ＣＮＴが得られる。
　タイミングｔ１２０５において、読み出し信号ＲＥＡＤ＿ＥＮがＨレベルにされ、黒引き画像の信号が読み出される。
　タイミングｔ１２０６において、リセット信号ＣＬＲがＨレベルにされる。これにより、タイミングｔ１２０６の次のタイミングｔ１２０７において、カウント値ＣＮＴが０にリセットされる。
　このように、本実施形態においても、あるフレームの撮像期間における信号値と、当該フレームの前のフレームの撮像期間の信号値との差分値を、フレームメモリを用いることなく取得することが可能である。
　なお、ここでは、カウンタ１０４Ｃが同期式カウンタである場合を例に説明したが、これに限定されるものではない。例えば、図１３に示すようなカウンタ１０４Ｄ、即ち、非同期式カウンタを用いるようにしてもよい。
　図１３は、非同期式カウンタによってカウンタを構成した場合の例を示す図である。図１３に示すカウンタ１０４Ｄは、図１に示すカウンタ１０４の代わりに用いられる。
　カウンタ１０４Ｄは、複数のフリップフロップ１３００（０）～１３００（３）と、複数のカウント方式制御部１３０１（１）～１３０１（３）と、複数の入力ビット選択部１３０２（０）～１３０２（３）とを有する。また、カウンタ１０４Ｄは、ＯＲ素子１３０３（０）～１３０３（３）を更に有する。カウンタ１０４Ｄからは、カウント値ＣＮＴが出力される。ここでは、カウンタ１０４Ｄが４ビットの非同期式カウンタである場合を例に説明するが、これに限定されるものではない。
　フリップフロップ一般について説明する際には、符号１３００を用い、個々のフリップフロップについて説明する際には、符号１３００（０）～１３００（３）を用いることとする。カウント方式制御部一般について説明する際には、符号１３０１を用い、個々のカウント方式制御部について説明する際には、符号１３０１（１）～１３０１（３）を用いることとする。入力ビット選択部一般について説明する際には、符号１３０２を用い、個々の入力ビット選択部について説明する際には、符号１３０２（０）～１３０２（３）を用いることとする。ＯＲ素子一般について説明する際には、符号１３０３を用い、個々のＯＲ素子について説明する際には、符号１３０３（０）～１３０３（３）を用いることとする。カウント値について説明する際には、符号ＣＮＴを用い、カウント値の各ビットの値について説明する際には、符号ＣＮＴ（０）～ＣＮＴ（３）を用いることとする。フリップフロップ１３００（０）からは、第０番目のビットのカウント値ＣＮＴ（０）が出力される。フリップフロップ１３００（１）からは、第１番目のビットのカウント値ＣＮＴ（１）が出力される。フリップフロップ１３００（２）からは、第２番目のビットのカウント値ＣＮＴ（２）が出力される。フリップフロップ１３００（３）からは、第３番目のビットのカウント値ＣＮＴ（３）が出力される。本画像の露光期間と黒画像の露光期間との比は、上記と同様に、例えば２：１とする。
　フリップフロップ１３００は、リセット端子ＲＳＴにＬレベルの信号が入力されることによりリセットされる。フリップフロップ１３００は、リセット端子ＲＳＴに入力される信号がＬレベルである場合、出力端子ＱをＬレベルとし、反転出力端子／ＱをＨレベルとする。フリップフロップ１３００は、リセット端子ＲＳＴに入力される信号がＨレベルである場合、クロック入力端子に入力される信号の立ち上がりエッジに同期して、以下のように動作する。即ち、フリップフロップ１３００は、このような場合、入力端子Ｄに入力された信号の正論理値を出力端子Ｑに出力し、入力端子Ｄに入力された信号の負論理値を反転出力端子／Ｑに出力する。フリップフロップ１３００の反転出力端子／Ｑは、当該反転出力端子／Ｑを備えるフリップフロップ４００の入力端子Ｄに接続されている。フリップフロップ１３００（０）～１３００（３）の各々の出力端子Ｑからは各ビットのカウント値ＣＮＴ（０）～ＣＮＴ（３）が出力される。フリップフロップ１３００のクロック入力端子には、入力ビット選択部１３０２から出力される信号が供給される。
　入力ビット選択部１３０２（０）は、ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴに基づいて、０（Ｌレベル）又はＰＵＬＳＥ信号を出力する。ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴの第０番目のビットの値が０である場合、入力ビット選択部１３０２（０）は０を出力する。ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴの第０番目のビットの値が１である場合、入力ビット選択部１３０２（０）はパルス信号ＰＵＬＳＥを出力する。入力ビット選択部１３０２（１）～１３０２（３）は、ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴに基づいて、カウント方式制御部１３０１（１）～１３０１（３）から供給される信号又はＰＵＬＳＥ信号を出力する。ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴの第１番目のビットの値が０である場合、入力ビット選択部１３０２（１）はカウント方式制御部１３０１（１）から供給される信号を出力する。ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴの第１番目のビットの値が１である場合、入力ビット選択部１３０２（１）はパルス信号ＰＵＬＳＥを出力する。ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴの第２番目のビットの値が０である場合、入力ビット選択部１３０２（２）はカウント方式制御部１３０１（２）から供給される信号を出力する。ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴの第２番目のビットの値が１である場合、入力ビット選択部１３０２（２）はパルス信号ＰＵＬＳＥを出力する。ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴの第３番目のビットの値が０である場合、入力ビット選択部１３０２（３）はカウント方式制御部１３０１（３）から供給される信号を出力する。ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴの第３番目のビットの値が１である場合、入力ビット選択部１３０２（３）はパルス信号ＰＵＬＳＥを出力する。例えば、ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴが２に設定されている場合、第１番目のビットのフリップフロップ１３００（１）にパルス信号ＰＵＬＳＥが入力され、カウント値ＣＮＴは２つずつ変化する。
　カウント方式制御部１３０１は、アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬに基づいて、カウント方式を制御する。アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬがＬレベルの場合、カウント方式制御部１３０１（１）は、フリップフロップ１３００（０）の反転出力端子／Ｑから出力される信号を入力ビット選択部１３０２（１）に供給する。また、アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬがＬレベルの場合、カウント方式制御部１３０１（２）は、フリップフロップ１３００（１）の反転出力端子／Ｑから出力される信号を入力ビット選択部１３０２（２）に供給する。また、アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬがＬレベルの場合、カウント方式制御部１３０１（３）は、フリップフロップ１３００（３）の反転出力端子／Ｑから出力される信号を入力ビット選択部１３０２（３）に供給する。こうして、アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬがＬレベルの場合には、アップカウントの動作がカウンタ１０４Ｄによって実行される。アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬがＨレベルの場合、カウント方式制御部１３０１（１）は、フリップフロップ１３００（０）の出力端子Ｑから出力される信号を入力ビット選択部１３０２（１）に供給する。また、アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬがＨレベルの場合、カウント方式制御部１３０１（２）は、フリップフロップ１３００（１）の出力端子Ｑから出力される信号を入力ビット選択部１３０２（２）に供給する。また、アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬがＨレベルの場合、カウント方式制御部１３０１（３）は、フリップフロップ１３００（３）の出力端子Ｑから出力される信号を入力ビット選択部１３０２（３）に供給する。こうして、アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬがＨレベルの場合には、ダウンカウントの動作がカウンタ１０４Ｄによって実行される。
　ＯＲ素子１３０３は、フリップフロップ１３００をリセットするための信号を生成する。非同期リセット信号ＡＳＹＮ＿ＲＥＳがＬレベルの場合、又は、リセット信号ＣＬＲがＨレベルの場合に、フリップフロップ１３００がリセットされる。
　図１３に示すようなカウンタ１０４Ｄは、以下のように動作する。
　まず、本画像の露光が以下のようにして行われる。制御部６０６は、カウンタ１０４Ｄにアップカウントを実行させるべく、アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬを０（Ｌレベル）にする。また、制御部６０６は、ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴを１とする。アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬがＬレベルに設定されるため、以下のようになる。フリップフロップ１３００（０）の反転出力端子／Ｑから出力される信号が、カウント方式制御部１３０１（１）から出力される。また、フリップフロップ１３００（１）の反転出力端子／Ｑから出力される信号が、カウント方式制御部１３０１（２）から出力される。また、フリップフロップ１３００（２）の反転出力端子／Ｑから出力される信号が、カウント方式制御部１３０１（３）から出力される。ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴが１に設定されるため、最下位ビットである第０番目のビットのフリップフロップ１３００（０）のクロック入力端子にパルス信号ＰＵＬＳＥが供給される。第１番目のビットのフリップフロップ１３００（１）のクロック入力端子には、第０番目のビットのフリップフロップ１３００（０）の反転出力端子／Ｑから出力される信号が供給される。第２番目のビットのフリップフロップ１３００（２）のクロック入力端子には、第１番目のビットのフリップフロップ１３００（１）の反転出力端子／Ｑから出力される信号が供給される。第３番目のビットのフリップフロップ１３００（３）のクロック入力端子には、第２番目のビットのフリップフロップ１３００（２）の反転出力端子／Ｑから出力される信号が供給される。
　フリップフロップ１３００の入力端子Ｄの初期状態は０（Ｌレベル）であるため、各々のフリップフロップ１３００の出力端子Ｑの初期状態は０（Ｌレベル）であり、各々のフリップフロップ１３００の反転出力端子／Ｑの初期状態は１（Ｈレベル）である。
　第０番目のビットのフリップフロップ１３００（０）は、パルス信号ＰＵＬＳＥの立ち上がりエッジに同期して、以下のようになる。即ち、フリップフロップ１３００（０）の入力端子Ｄに入力された信号の正論理値を、フリップフロップ１３００（０）の出力端子Ｑに出力する。また、フリップフロップ１３００（０）の入力端子Ｄに入力された信号の負論理値を、フリップフロップ１３００（０）の反転出力端子／Ｑに出力する。第１番目のビットのフリップフロップ１３００（１）は、第０番目のビットのフリップフロップ１３００（０）の反転出力端子／Ｑから出力される信号の立ち上がりエッジに同期して、以下のように動作する。即ち、フリップフロップ１３００（１）の入力端子Ｄに入力された信号の正論理値を、フリップフロップ１３００（１）の出力端子Ｑに出力する。フリップフロップ１３００（１）の入力端子Ｄに入力された信号の負論理値を、フリップフロップ１３００（１）の反転出力端子／Ｑに出力する。第２番目のビットのフリップフロップ１３００（２）は、第１番目のビットのフリップフロップ１３００（１）の反転出力端子／Ｑから出力される信号の立ち上がりエッジに同期して、以下のように動作する。即ち、フリップフロップ１３００（２）の入力端子Ｄに入力された信号の正論理値を、フリップフロップ１３００（２）の出力端子Ｑに出力する。フリップフロップ１３００（２）の入力端子Ｄに入力された信号の負論理値を、フリップフロップ１３００（２）の反転出力端子／Ｑに出力する。第３番目のビットのフリップフロップ１３００（３）は、第２番目のビットのフリップフロップ１３００（２）の反転出力端子／Ｑから出力される信号の立ち上がりエッジに同期して、以下のように動作する。即ち、フリップフロップ１３００（３）の入力端子Ｄに入力された信号の正論理値を、フリップフロップ１３００（３）の出力端子Ｑに出力する。フリップフロップ１３００（３）の入力端子Ｄに入力された信号の負論理値を、フリップフロップ１３００（３）の反転出力端子／Ｑに出力する。このように、図１３に示すカウンタ１０４Ｄは、非同期式カウンタとして動作し得る。
　この後、黒画像の露光が以下のようにして行われる。制御部６０６は、カウンタ１０４Ｄにダウンカウントを実行させるべく、アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬを１（Ｈレベル）にする。また、制御部６０６は、ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴを２とする。アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬがＨレベルに設定されるため、以下のようになる。フリップフロップ１３００（０）の出力端子Ｑから出力される信号が、カウント方式制御部１３０１（１）から出力される。また、フリップフロップ１３００（１）の出力端子Ｑから出力される信号が、カウント方式制御部１３０１（２）から出力される。また、フリップフロップ１３００（２）の出力端子Ｑから出力される信号が、カウント方式制御部１３０１（３）から出力される。ゲイン設定信号ＣＮＴ＿ＷＥＩＧＨＴが２に設定されるため、以下のようになる。第０番目のビットのフリップフロップ１３００（０）のクロック入力端子には、０（Ｌレベル）の信号が供給される。第１番目のビットのフリップフロップ１３００（１）のクロック入力端子には、パルス信号ＰＵＬＳＥが供給される。第２番目のビットのフリップフロップ１３００（２）のクロック入力端子には、第１番目のビットのフリップフロップ１３００（１）の出力端子Ｑから出力される信号が供給される。第３番目のビットのフリップフロップ１３００（３）のクロック入力端子には、第２番目のビットのフリップフロップ１３００（２）の出力端子Ｑから出力される信号が供給される。従って、黒画像の露光期間においては、カウント値ＣＮＴが２つずつ減少する。
　全ての撮像処理が完了した際には、制御部６０６から供給される信号に基づいて、カウンタ１０４Ｄがリセットされる。カウンタ１０４Ｄをリセットする際には、リセット信号ＣＬＲがＨレベルに設定される。リセット信号ＣＬＲをＨレベルにすると、各々のフリップフロップ１３００の出力端子ＱがＬレベルとなる。
　このように、非同期式カウンタによってカウンタ１０４Ｄを構成するようにしてもよい。非同期式カウンタによって構成されたカウンタ１０４Ｄは、半加算器や全加算器のような加算用演算器を要しないため、更なるコストの削減に寄与し得る。
　このように、本実施形態によれば、パルス信号ＰＵＬＳＥの重みを変更しつつアップダウンカウントを行うことができる。このため、本実施形態によれば、フレームメモリを用いることなく黒引き画像を得ることができる。
　［第４実施形態］
　第４実施形態による固体撮像素子及びその制御方法並びに撮像装置について図１４を用いて説明する。図１乃至図１３に示す第１乃至第３実施形態による固体撮像素子等と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
　本実施形態による固体撮像素子は、ＨＤＲ画像を取得するものである。本実施形態では、加算平均合成によってＨＤＲ画像を取得する場合を例に説明する。
　図１４は、本実施形態による固体撮像素子６００の単位画素１００に備えられたカウンタを示す図である。図１４に示すカウンタ１０４Ｅは、アップカウンタ１４００が備えられている点で、図１０に示す第３実施形態によるカウンタ１０４Ｃと相違している。図１４に示すカウンタ１０４Ｅには、アップダウンカウンタ１０００（図１０参照）は備えられていない。また、図１４に示すカウンタ１０４Ｅには、アップダウン選択信号ＵＰ＿ＤＯＷＮ＿ＳＥＬが入力されない。
　一般に、低露出で撮像を行うと黒潰れが生じやすく、高露出で撮像を行うと白飛びが生じやすい。黒潰れが生じた場合にも、白飛びが生じた場合にも、被写体の本来の色情報が失われやすい。露出の異なる複数の画像を加算平均するようにすれば、色情報が失われるのを防止することが可能である。しかし、複数の画像を単純に加算した場合には、画素値が大きくなりすぎ、画素値の飽和を招いてしまう。画素値の飽和を防止するため、複数の画像の各々の露出は低めに設定される。例えば、２つの画像を合成する場合には、適正露出よりも１段低い露出でそれぞれの画像が撮影される。本実施形態では、露出を低くする代わりに、カウントの重みが変更される。具体的には、パルス信号ＰＵＬＳＥが入力されるビットを下位のビットにずらすことによって、カウントの重みが変更される。
　本実施形態においては、合成に用いられる複数の画像信号の取得の際におけるカウントの重みが、合成に用いられる複数の画像信号の数に応じて設定される。例えば、２つの画像を合成する場合には、カウントの重みが１／２に設定される。そして、光子の受光頻度に応じた頻度でセンサ部から発せられる信号の数をカウントすることにより、複数の画像信号が順次取得される。
　このように、本実施形態によれば、カウントの重みを変更することができる。このため、本実施形態によれば、フレームメモリを要することなく、複数の画像が加算平均された画像、即ち、ＨＤＲ画像を取得することができる。
［変形実施形態］
　以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　本願は、２０１８年４月１２日提出の日本国特許出願特願２０１８－０７７０２７を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。
１００　単位画素
１０１　アバランシェフォトダイオード
１０２　クエンチ抵抗
１０３　波形整形部
１０４　カウンタ
２０２　ゲイン設定部
２０３　符号反転部
２０４　初期値選択部

Claims (20)

  1. 　光子の受光頻度に応じた頻度でパルスを発するセンサ部と、
    　前記センサ部から発せられる信号の数をカウントすることにより画像信号を生成する計数部と、
    　第１の画像信号の取得において得られたカウント値に対して所定の処理を行う処理部とを備え、
    　前記計数部は、前記第１の画像信号の取得において得られた前記カウント値に対して所定の処理を行うことにより得られる値と第２の画像信号とを組み合わせることにより第３の画像信号を生成する
    　ことを特徴とする固体撮像素子。
  2. 　前記計数部は、前記第１の画像信号の取得において得られた前記カウント値に対して前記所定の処理を行うことにより得られる値を、前記第１の画像信号の取得の後に行われる第２の画像信号の取得の開始の際のカウント値として設定することを特徴とする請求項１に記載の固体撮像素子。
  3. 　前記計数部は、前記第１の画像信号の取得の際の第１の撮影条件と、前記第２の画像信号の取得の際の第２の撮影条件とに基づいて、前記第１の画像信号の取得において得られた前記カウント値に対して前記所定の処理を行うことを特徴とする請求項１又は２に記載の固体撮像素子。
  4. 　前記第１の画像信号の取得において得られた前記カウント値に対して前記所定の処理を行うことにより得られる値は、前記第１の撮影条件と前記第２の撮影条件とに基づく比に応じた値を、前記第１の画像信号の取得により得られた前記カウント値に乗じることにより得られる値を反転させることにより得られる値であることを特徴とする請求項３に記載の固体撮像素子。
  5. 　ビットシフトを行うことにより、前記第１の撮影条件と前記第２の撮影条件とに基づく比に応じた値を、前記第１の画像信号の取得において得られた前記カウント値に乗じることを特徴とする請求項４に記載の固体撮像素子。
  6. 　前記第１の画像信号の取得において得られた前記カウント値に対して前記所定の処理を行うことにより得られる値は、フィルタの係数に応じたゲインを、前記第１の画像信号の取得において得られた前記カウント値に乗じることにより得られる値であることを特徴とする請求項１に記載の固体撮像素子。
  7. 　前記第１の画像信号の取得において得られた前記カウント値に対して前記所定の処理を行うことにより得られる値は、前記第１の撮影条件と前記第２の撮影条件とに基づく比に応じた値を、前記第１の画像信号の取得において得られた前記カウント値に乗じることにより得られる値であることを特徴とする請求項３に記載の固体撮像素子。
  8. 　光子の受光頻度に応じた頻度でパルスを発するセンサ部と、
    　前記センサ部から発せられる信号の数をカウントする計数部であって、第１の画像信号の取得の後に行われる第２の画像信号の取得の際におけるカウントの重みを、前記第１の画像信号の取得の際におけるカウントの重みとは異なるように設定する計数部と
    　を有することを特徴とする固体撮像素子。
  9. 　前記計数部は、前記第１の画像信号を取得した際の第１の撮影条件と、前記第２の画像信号を取得した際の第２の撮影条件とに基づいて、前記第２の画像信号の取得の際におけるカウントの重みを設定することを特徴とする請求項８に記載の固体撮像素子。
  10. 　前記第１の撮影条件と前記第２の撮影条件とに基づく比に応じて前記第２の画像信号の取得の際におけるカウントの重みを設定することを特徴とする請求項９に記載の固体撮像素子。
  11. 　前記第１の画像信号を取得する際のカウント方式と、前記第２の画像信号を取得する際のカウント方式とが異なることを特徴とする請求項８から１０のいずれか１項に記載の固体撮像素子。
  12. 　画像信号の取得の際におけるカウントの重みを変更し得ることを特徴とする請求項１に記載の固体撮像素子。
  13. 　合成に用いられる複数の画像信号の取得の際におけるカウントの重みが、合成に用いられる複数の画像信号の数に応じて設定されることを特徴とする請求項１２に記載の固体撮像素子。
  14. 　前記第１の撮影条件と前記第２の撮影条件とに基づく比は２のべき乗であることを特徴とする請求項４、５、７および１０のいずれか１項に記載の固体撮像素子。
  15. 　前記計数部は非同期式のカウンタを備えることを特徴とする請求項１から１４のいずれか１項に記載の固体撮像素子。
  16. 　前記計数部は同期式のカウンタを備えることを特徴とする請求項１から１４のいずれか１項に記載の固体撮像素子。
  17. 　光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記センサ部から発せられる信号の数をカウントして画像信号を生成する計数部と、第１の画像信号の取得において得られたカウント値に対して所定の処理を行う処理部とを備え、前記計数部は、前記第１の画像信号の取得において得られた前記カウント値に対して所定の処理を行うことにより得られる値と第２の画像信号とを組み合わせることにより第３の画像信号を生成する固体撮像素子と、
    　前記固体撮像素子から出力される信号に対して所定の処理を行う処理部と
    　を有することを特徴とする撮像装置。
  18. 　光子の受光頻度に応じた頻度でセンサ部から発せられる信号の数をカウントすることにより第１の画像信号を取得するステップと、
    　前記第１の画像信号の取得において得られたカウント値に対して所定の処理を行うことにより得られる値と第２の画像信号とを組み合わせることにより第３の画像信号を生成するステップと
    　を有することを特徴とする撮像方法。
  19. 　光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記センサ部から発せられる信号の数をカウントする計数部であって、第１の画像信号の取得の後に行われる第２の画像信号の取得の際におけるカウントの重みを、前記第１の画像信号の取得の際におけるカウントの重みとは異なるように設定する計数部とを有する固体撮像素子と、
    　前記固体撮像素子から出力される信号に対して所定の処理を行う処理部と
    　を有することを特徴とする撮像装置。
  20. 　光子の受光頻度に応じた頻度でセンサ部から発せられる信号の数をカウントすることにより第１の画像信号を取得するステップと、
    　前記第１の画像信号の取得の後に行われる第２の画像信号の取得の際におけるカウントの重みを、前記第１の画像信号の取得の際におけるカウントの重みとは異なるように設定して、前記第２の画像信号を取得するステップと
    　を有することを特徴とする撮像方法。
PCT/JP2019/015381 2018-04-12 2019-04-09 固体撮像素子、撮像装置及び撮像方法 WO2019198685A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/067,471 US11503237B2 (en) 2018-04-12 2020-10-09 Solid state imaging device capable of acquiring a desired image without using a frame memory, imaging apparatus, and imaging method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018077027A JP7175625B2 (ja) 2018-04-12 2018-04-12 固体撮像素子、撮像装置及び撮像方法
JP2018-077027 2018-04-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/067,471 Continuation US11503237B2 (en) 2018-04-12 2020-10-09 Solid state imaging device capable of acquiring a desired image without using a frame memory, imaging apparatus, and imaging method

Publications (1)

Publication Number Publication Date
WO2019198685A1 true WO2019198685A1 (ja) 2019-10-17

Family

ID=68164210

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/015381 WO2019198685A1 (ja) 2018-04-12 2019-04-09 固体撮像素子、撮像装置及び撮像方法

Country Status (3)

Country Link
US (1) US11503237B2 (ja)
JP (1) JP7175625B2 (ja)
WO (1) WO2019198685A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008125074A (ja) * 2006-11-14 2008-05-29 Samsung Electronics Co Ltd 動的撮影帯域の拡張のためのイメージセンサ画素に受光された光量を測定する方法及び記録媒体
JP2011071958A (ja) * 2009-08-28 2011-04-07 Sony Corp 撮像素子およびカメラシステム
JP2012235265A (ja) * 2011-04-28 2012-11-29 Panasonic Corp イメージセンサ及びその駆動方法
JP2013005088A (ja) * 2011-06-14 2013-01-07 Olympus Corp Ａｄ変換回路および撮像装置
WO2017098710A1 (ja) * 2015-12-07 2017-06-15 パナソニックＩｐマネジメント株式会社 固体撮像装置及び固体撮像装置の駆動方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0799868B2 (ja) * 1984-12-26 1995-10-25 日本放送協会 固体撮像装置
JPH08147493A (ja) 1994-11-15 1996-06-07 Matsushita Electric Ind Co Ltd アニメーション画像生成方法
JP5137738B2 (ja) 2008-08-05 2013-02-06 キヤノン株式会社 撮像装置、その制御方法及びプログラム
JP6535163B2 (ja) 2014-02-24 2019-06-26 日本放送協会 信号処理回路及びイメージセンサ
EP3164683B1 (en) * 2014-07-02 2023-02-22 The John Hopkins University Photodetection circuit
WO2019046581A1 (en) * 2017-08-30 2019-03-07 Massachusetts Institute Of Technology BIMODAL IMAGING RECEIVER

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008125074A (ja) * 2006-11-14 2008-05-29 Samsung Electronics Co Ltd 動的撮影帯域の拡張のためのイメージセンサ画素に受光された光量を測定する方法及び記録媒体
JP2011071958A (ja) * 2009-08-28 2011-04-07 Sony Corp 撮像素子およびカメラシステム
JP2012235265A (ja) * 2011-04-28 2012-11-29 Panasonic Corp イメージセンサ及びその駆動方法
JP2013005088A (ja) * 2011-06-14 2013-01-07 Olympus Corp Ａｄ変換回路および撮像装置
WO2017098710A1 (ja) * 2015-12-07 2017-06-15 パナソニックＩｐマネジメント株式会社 固体撮像装置及び固体撮像装置の駆動方法

Also Published As

Publication number Publication date
JP7175625B2 (ja) 2022-11-21
JP2019186793A (ja) 2019-10-24
US11503237B2 (en) 2022-11-15
US20210029315A1 (en) 2021-01-28

Similar Documents

Publication Publication Date Title
JP6961392B2 (ja) 固体撮像素子、撮像装置及び撮像方法
US11297269B2 (en) Image capturing apparatus
JP5868049B2 (ja) 撮像装置
JP6082274B2 (ja) 撮像装置、及びその制御方法
JP2012235332A (ja) 撮像装置、および撮像装置制御方法、並びにプログラム
JP6272085B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
Sonoda et al. High-speed imaging using CMOS image sensor with quasi pixel-wise exposure
JP5406889B2 (ja) 撮像装置及びその制御方法
WO2019198685A1 (ja) 固体撮像素子、撮像装置及び撮像方法
US8853607B2 (en) Solid-state image pickup apparatus and image pickup system
JP7108471B2 (ja) 固体撮像素子、撮像装置及び撮像方法
JP7218193B2 (ja) 撮像装置
JP6909050B2 (ja) 固体撮像素子及び撮像装置
JP2020115604A (ja) 撮像装置およびその制御方法
JP7361514B2 (ja) 撮像素子および撮像装置
JP6467289B2 (ja) 撮像装置およびその制御方法
JP2013255201A (ja) 撮像装置、及びその制御方法
JP2020182026A (ja) 撮像装置およびその制御方法
JP2020170970A (ja) 撮像装置およびその制御方法
US20230232112A1 (en) Imaging apparatus, driving method of imaging apparatus, and program
WO2024101034A1 (ja) オートフォーカス制御装置、撮像装置、オートフォーカス制御方法、およびプログラム
JP2018170703A (ja) 撮像素子、撮像装置、及び撮像素子の制御方法
JP6590055B2 (ja) 撮像装置
JP7189735B2 (ja) 信号処理回路及び撮像素子
JP7094161B2 (ja) 高速度放射線撮像装置および撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19784723

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19784723

Country of ref document: EP

Kind code of ref document: A1