WO2023080177A1 - 撮像素子および撮像装置 - Google Patents

撮像素子および撮像装置 Download PDF

Info

Publication number
WO2023080177A1
WO2023080177A1 PCT/JP2022/041075 JP2022041075W WO2023080177A1 WO 2023080177 A1 WO2023080177 A1 WO 2023080177A1 JP 2022041075 W JP2022041075 W JP 2022041075W WO 2023080177 A1 WO2023080177 A1 WO 2023080177A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
signal
imaging device
memory
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/041075
Other languages
English (en)
French (fr)
Inventor
航 船水
修 猿渡
周太郎 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2023558062A priority Critical patent/JP7878326B2/ja
Priority to CN202280079436.7A priority patent/CN118355672A/zh
Publication of WO2023080177A1 publication Critical patent/WO2023080177A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Definitions

  • the present invention relates to an imaging device and an imaging device.
  • Patent Literature Patent Document 1
  • an image pickup device includes a first substrate having a pixel portion in which a plurality of pixels including at least a photoelectric conversion portion that converts light into an electric charge are arranged in a row direction; a first pixel circuit including at least a first pixel memory that stores a first pixel signal from a first pixel of the plurality of pixels; and a second pixel memory that stores a second pixel signal from a second pixel of the plurality of pixels.
  • a processing circuit unit in which a second pixel circuit including at least a and a second substrate having read control circuitry for.
  • the second pixels may be arranged next to the first pixels in the row direction.
  • the second pixel circuit may be arranged next to the first pixel circuit in the row direction.
  • the read control circuit may perform control such that the timing of outputting the first control signal to the first selection line and the timing of outputting the second control signal to the second selection line are different.
  • the read control circuit may perform control such that the timing for starting output of the first control signal and the timing for starting output of the second control signal are different.
  • the read control circuit may start outputting the second control signal after starting to output the first control signal.
  • the read control circuit may start outputting the second control signal after finishing outputting the first control signal.
  • a first output line for outputting the first pixel signal read from the first pixel memory and a second output line for outputting the second pixel signal read from the second pixel memory may be provided.
  • the readout control circuit performs control so that the timing of reading out the first pixel signal from the first pixel memory to the first output line and the timing of reading out the second pixel signal from the second pixel memory to the second output line are different. You can
  • the readout control circuit may perform control such that the timing at which the reading of the first pixel signal is started and the timing at which the reading of the second pixel signal is started are different.
  • the read control circuit may start reading the second pixel signal after starting reading the first pixel signal.
  • the readout control circuit may start reading out the second pixel signal after finishing reading out the first pixel signal.
  • the first pixel circuit may have a first comparator that is used to convert the first pixel signal from the first pixel to a digital signal.
  • the second pixel circuit may have a second comparator that is used to convert the second pixel signal from the second pixel to a digital signal.
  • the first pixel memory may store the first pixel signal converted into a digital signal using the first comparator.
  • the second pixel memory may store the second pixel signal converted into a digital signal using the second comparator.
  • the first pixel memory and the second pixel memory may each be configured by an SRAM.
  • the first substrate and the second substrate may be arranged such that at least part of the pixel section and at least part of the processing circuit section are opposed to each other.
  • the first substrate and the second substrate may be arranged such that at least a portion of the first pixel and at least a portion of the first pixel circuit face each other.
  • the first substrate and the second substrate may be arranged such that at least a portion of the second pixel and at least a portion of the second pixel circuit face each other.
  • the second substrate may have pixel control circuits that control the first pixels and the second pixels, respectively.
  • the pixel control circuit may control the exposure time of the first pixel and the exposure time of the second pixel.
  • the pixel control circuit may control readout of the first pixel signal from the first pixel and readout of the second pixel signal from the second pixel.
  • the processing circuitry may be arranged between the readout control circuitry and the pixel control circuitry in the row direction.
  • the second substrate may have an image processing section that performs image processing on the first pixel signals stored in the first pixel memory and the second pixel signals stored in the second pixel memory.
  • a third substrate may be provided having an image processing unit that performs image processing on the first pixel signals stored in the first pixel memory and the second pixel signals stored in the second pixel memory.
  • an imaging device is provided with the imaging device.
  • a control unit connected to the imaging element may be provided.
  • the controller may generate image data based on the first pixel signal and the second pixel signal.
  • FIG. 3 is a schematic diagram illustrating a circuit for reading out data in a pixel memory 220 to an image processing/output unit 280.
  • FIG. FIG. 2 is a schematic diagram illustrating in more detail a circuit for reading from a pixel memory 220 in the processing circuit section 210; 7 is an example of a timing chart showing a read operation from the pixel memory 220 of FIG.
  • FIG. 6; 7 is an example of a timing chart showing a read operation from the pixel memory 220 of FIG. 6;
  • FIG. 3 is a schematic diagram for explaining in detail a circuit for reading from a pixel memory 220 in another processing circuit section 310;
  • FIG. 10 is an example of a timing chart showing a read operation from the pixel memory 220 of FIG. 9;
  • FIG. 10 is an example of a timing chart showing a read operation from the pixel memory 220 of FIG. 9;
  • FIG. FIG. 11 is a schematic diagram for explaining in detail a circuit for reading from the pixel memory 220 in another processing circuit unit 410.
  • FIG. 13 is an example of a timing chart showing a read operation from the pixel memory 220 of FIG. 12;
  • FIG. 13 is an example of a timing chart showing a read operation from the pixel memory 220 of FIG. 12;
  • FIG. 2 is a block diagram showing a configuration example of an imaging device 500 according to an embodiment;
  • FIG. 10 is an example
  • the X-axis and the Y-axis are orthogonal to each other, and the Z-axis is orthogonal to the XY plane.
  • the XYZ axes constitute a right-handed system.
  • a direction parallel to the Z-axis may be referred to as a stacking direction of the imaging device 400 .
  • the terms “upper” and “lower” are not limited to vertical directions in the direction of gravity. These terms refer only to relative directions in the Z-axis direction.
  • the arrangement in the X-axis direction is described as a "row” and the arrangement in the Y-axis direction is described as a "column,” but the matrix direction is not limited to this.
  • the Z-axis direction is the optical axis direction on which the light from the subject is incident.
  • FIG. 1 is a diagram showing an outline of an imaging device 400 according to this embodiment.
  • the imaging element 400 images a subject.
  • the imaging device 400 generates image data of a captured subject.
  • the image pickup device 400 includes a first substrate 100 and a second substrate 200 . As shown in FIG. 1, the first substrate 100 is laminated on the second substrate 200 .
  • the first substrate 100 has a pixel section 110 .
  • the pixel unit 110 outputs pixel signals based on incident light. Note that the first substrate 100 is sometimes called a pixel chip.
  • the second substrate 200 has a processing circuit section 210 and a peripheral circuit section 230 . Note that the second substrate 200 may be called a signal processing chip.
  • a pixel signal output from the first substrate 100 is input to the processing circuit unit 210 .
  • the processing circuit unit 210 processes input pixel signals.
  • the processing circuit unit 210 performs processing for converting analog signals into digital signals.
  • the processing circuit unit 210 performs a process of converting an input pixel signal into a digital signal.
  • Processing circuitry 210 may perform other signal processing.
  • the processing circuit section 210 of this example is arranged at a position facing the pixel section 110 on the second substrate 200 . That is, the processing circuit section 210 is arranged so as to at least partially overlap the pixel section 110 in the optical axis direction.
  • the processing circuit section 210 may output a control signal for controlling driving of the pixel section 110 to the pixel section 110 .
  • the peripheral circuit section 230 controls driving of the processing circuit section 210 .
  • the peripheral circuit section 230 is arranged around the processing circuit section 210 on the second substrate 200 . Also, the peripheral circuit section 230 may be electrically connected to the first substrate 100 to control driving of the pixel section 110 .
  • the imaging element 400 may have a third substrate laminated on the second substrate 200 in addition to the first substrate 100 and the second substrate 200 .
  • the third substrate is a memory chip that performs image processing according to the signal output from the second substrate 200 and stores it.
  • the structure of the imaging device 400 may be of a backside illumination type or a front side illumination type. An example of the backside illumination type will be described below.
  • FIG. 2 shows an example of a planar layout of the first substrate 100.
  • FIG. A pixel portion 110 is arranged near the center of the surface of the first substrate 100 .
  • the pixel section 110 has a plurality of pixels 112 arranged side by side along the row direction and the column direction.
  • the pixel unit 110 of this example has M ⁇ N (M and N are natural numbers) pixels 112 . Although this example illustrates the case where M is different from N, M and N may be equal.
  • FIG. 3 shows an example of a planar layout of the second substrate 200.
  • FIG. A processing circuit section 210 is arranged near the center of the surface of the second substrate 200 .
  • the processing circuit section 210 has a plurality of pixel circuits 212 arranged side by side along the row direction and the column direction.
  • the processing circuit section 210 of this example has M ⁇ N pixel circuits 212 .
  • the pixel circuit 212 and the pixel 112 are arranged at overlapping positions when viewed from the optical axis direction.
  • the areas of the pixel circuits 212 and the pixels 112 may be substantially the same including margins between adjacent blocks.
  • the pixel circuit 212 controls driving of the electrically connected pixels 112 .
  • Electrical connection between the pixel circuit 212 and the pixel 112 may be referred to as corresponding.
  • the pixel circuit 212 and the pixel 112 arranged at positions overlapping each other are connected.
  • the pixel circuit 212 and the pixel 112 arranged at the position not overlapping with each other may be connected.
  • FIG. Pixel control circuit 250 controls pixel 112 and pixel circuit 212 .
  • the pixel control circuit 250 supplies, for example, a control signal for the pixel circuit 212 to AD-convert the signal from the pixel 112 .
  • the pixel control circuit 250 also controls the exposure time of the pixels 112, for example.
  • the readout control circuit 260 controls readout for outputting pixel signals stored in the pixel circuit 212 to the image processing/output unit 280 .
  • FIG. 4 shows an example of the circuit configuration of the pixel 112 and the pixel circuit 212.
  • the pixel 112 includes a photoelectric conversion section 130 , a reset section 132 , an accumulation section 134 and a transfer section 136 .
  • the photoelectric conversion unit 130 has a photoelectric conversion function of converting light into electric charge and an accumulation function of accumulating the photoelectrically converted electric charge.
  • the photoelectric conversion unit 130 is, for example, a photodiode.
  • the storage unit 134 converts the charge generated by the photoelectric conversion unit 130 into a voltage corresponding to the amount.
  • the storage unit 134 is an example of a floating diffusion (FD).
  • the reset unit 132 discharges the charge of the storage unit 134 to the power supply wiring supplied with the predetermined power supply voltage VDD based on the control signal ⁇ RST.
  • a gate terminal of the reset unit 132 is connected to the pixel control circuit 250 .
  • the transfer unit 136 transfers the charge accumulated in the photoelectric conversion unit 130 to the storage unit 134 based on the control signal ⁇ TX. Also, the transfer unit 136 resets the charge accumulated in the photoelectric conversion unit 130 based on the control signal ⁇ TX. The transfer unit 136 resets the amount of charge accumulated in the photoelectric conversion unit 130 to 0 by, for example, simultaneously supplying the control signal ⁇ TX and the control signal ⁇ RST.
  • the transfer unit 136 is an example of a transfer gate that transfers charges of the photoelectric conversion unit 130 . In other words, the transfer section 136 as a gate, the photoelectric conversion section 130 as a source, and the storage section 134 as a drain constitute a so-called transfer transistor.
  • the pixel circuit 212 includes a comparator 216 , a control circuit 214 and a pixel memory 220 .
  • the comparator 216 compares the voltage of the storage section 134 with the reference voltage RAMP supplied from the pixel control circuit 250 and outputs the comparison result to the control circuit 214 .
  • the comparator 216 is composed of, for example, a differential pair.
  • a source follower circuit may be arranged between the comparator 216 and the storage unit 134 .
  • the control circuit 214 controls the pixel memory 220 based on the signal from the comparator 216 and the ⁇ CTL signal.
  • the pixel memory 220 stores pixel signals converted into digital signals. For example, the pixel memory 220 receives the count signal supplied from the pixel control circuit 250 and stores the value of the count signal when the control signal output from the control circuit 214 is inverted. The pixel memory 220 further outputs the stored pixel signal based on the selection signal ⁇ SEL.
  • An example of pixel memory 220 is SRAM.
  • the pixel control circuit 250 simultaneously supplies the control signal ⁇ TX and the control signal ⁇ RST to reset the charge accumulated in the photoelectric conversion section 130 .
  • the pixel control circuit 250 supplies a control signal ⁇ RST to reset the voltage of the storage section 134 to a predetermined voltage.
  • the pixel control circuit 250 controls the control signal ⁇ CTL, the reference voltage RAMP, and the count signal supplied to the pixel memory 220 to store the value corresponding to the reset voltage of the storage section 134 in the pixel memory 220 ( DARK conversion).
  • the read control circuit 260 reads the DARK conversion result data stored in the pixel memory 220 to the image processing/output unit 280 by controlling the selection signal ⁇ SEL. Data reading from the pixel memory 220 will be further described later. Furthermore, the pixel control circuit 250 transfers the charge accumulated in the photoelectric conversion section 130 to the accumulation section 134 by supplying the control signal ⁇ TX. After that, the pixel control circuit 250 controls the control signal ⁇ CTL, the reference voltage RAMP, and the count signal to be supplied to the pixel memory 220 so that the value corresponding to the voltage of the storage section 134 after the charge transfer is transferred to the pixel memory 220. Store (SIG conversion). Finally, the readout control circuit 260 reads the SIG conversion result data stored in the pixel memory 220 to the image processing/output unit 280 by controlling the selection signal ⁇ SEL.
  • one pixel circuit 212 is provided for one pixel 112, and all pixels 112 and pixel circuits 212 are controlled simultaneously. Therefore, a so-called global shutter operation in which a plurality of pixels 112 included in the pixel portion 110 are exposed at the same time is possible. It is also possible to perform an operation in which individual pixels 112 are exposed at separate times.
  • the conversion from the analog signal to the digital signal of the pixel circuit 212 is a so-called single slope method. However, the conversion method is not limited to this, and may be another method such as a successive approximation method. The same applies to other embodiments.
  • FIG. 5 is a schematic diagram illustrating a circuit for reading out data in the pixel memory 220 to the image processing/output unit 280.
  • FIG. Configurations that are not described are omitted from the drawing.
  • M ⁇ N pixel memories 220 are arranged corresponding to M ⁇ N pixels 121 . These pixel memories 220 are connected to row selection lines 264 and 265 of a row selection circuit 262 of the readout control circuit 260 . A row selection signal ⁇ SEL as an example of a control signal for reading pixel signals stored in the pixel memory 220 is output to the row selection lines 264 and 265 . Row select lines 264, 265 are sometimes referred to as word select lines.
  • these pixel memories 220 are commonly connected to an output line 266 to an image processing/output unit 280 for each column.
  • a pixel signal read from the pixel memory 220 is output to the output line 266 .
  • Output lines 266 are sometimes referred to as bit lines.
  • each pixel 112 has a memory cell corresponding to the number of bits. For example, if 8 bits are used to express a pixel signal of one pixel in 256 monochrome gradations, 8 memory cells are used. Therefore, if the output from the pixel memory 220 is not time-divided, at least as many output lines 266 as the number of bits are used for each column of the pixel memory 220 . In FIG. 5 and subsequent figures, wirings are hatched like the output line 266 in FIG. 5 to indicate that a plurality of wirings are represented by one wiring.
  • reading is performed from the plurality of pixel memories 220 at different timings to suppress the current during reading.
  • the even-column pixel memories 220 are the memory group A
  • the odd-column pixel memories 220 are the memory group B
  • the memory group A and the memory group B are read at different timings.
  • rows and columns are counted from 0 unless otherwise specified.
  • FIG. 6 is a schematic diagram illustrating in more detail the circuit for reading from the pixel memory 220 in the processing circuit section 210. As shown in FIG. Configurations that are not described are omitted from the drawing.
  • each of the pixel memories 220 is connected to output lines 266 and 267 via switches 222 .
  • the output line 266 is provided with a D flip-flop 224 and a switch 226 on the output side thereof for each predetermined number of pixel memories 220 .
  • a D flip-flop 224 and a switch 226 are provided for every three pixel memories 220 in the same row. It can also be said that this forms a memory sub group for each number. That is, in the example of FIG. 6, it can be said that memory group A has memory subgroups A0 to Ak.
  • memory group B has memory subgroups B0 to Bk. Note that the number of pixel memories 220 included in each memory subgroup may be two or less or four or more. Also, the number of pixel memories 220 included in each memory subgroup may be different. Although there are as many D flip-flops 224 as the number of bits corresponding to the number of output lines 266 and 267, only one is illustrated as a representative.
  • FIG. 6 there are many row selection lines for selecting and reading pixel signals from the pixel memory 220 .
  • reference numerals for row selection lines are omitted to avoid complication of symbols, and symbols for signals are used for explanation.
  • the signal ⁇ _en_A turns on and off the switch 226 of the output line 266 of the memory group A.
  • Signal Clk_A is a clock that drives the D flip-flops 224 (DA0 to DAk) of memory group A.
  • the signal ⁇ _en_B turns on and off the switch 226 of the output line 267 of the memory group B.
  • a signal Clk_B is a clock that drives the D flip-flops 224 (DB0 to DBk) of the memory group B.
  • FIG. 7 and 8 are examples of timing charts showing the read operation from the pixel memory 220 in FIG. Since the timing charts for conversion and readout of the DARK signal and conversion and readout of the SIG signal are the same, the DARK signal is illustrated and the SIG signal is omitted.
  • the enable signal Cnt_en for AD conversion is turned on, the reference voltage RAMP is supplied, and the signal Gry_out counts the magnitude of the reference voltage RAMP in association with the number of pulses.
  • the pixel signal and the reference voltage RAMP are compared in the comparator 216, and the number of pulses Latch when the output of the comparator 216 becomes high is temporarily stored in the pixel memory. This operation may be performed in the memory groups A and B in synchronization with the same timing.
  • the signal ⁇ _rd_A(j) is turned off and the signal Clk_A is being input for the memory group A
  • the signal ⁇ _en_B and the signal ⁇ _rd_B(j) are turned on for the memory group B to turn on each of the memory subgroups Bp.
  • a pixel signal of the pixel memory 220 of the j-th row is output to the input side of the corresponding D flip-flop DBp.
  • (k ⁇ 1) signals Clk_B are continuously input, so that the values of the D flip-flops are sequentially transferred from p to p+1, and all the pixel signals in the memory group B are output to the image processing/output unit 280. be done.
  • reading from memory group B is started in the middle of reading from memory group A.
  • the timings of the outputs QpA ⁇ j> and QpB ⁇ j> of the D flip-flops are different as shown in FIG. 8, and the current consumption during reading can be suppressed.
  • FIG. 9 is a schematic diagram explaining in detail a circuit for reading from the pixel memory 220 in the other processing circuit section 310. As shown in FIG. In the processing circuit section 310, the same reference numerals are assigned to the same components as those of the processing circuit section 210 in FIG. 6, and the description thereof is omitted.
  • the output line 270 is provided with a D flip-flop 224 and a switch 226 on the output side thereof for each predetermined number of pixel memories (two in the example of FIG. 9).
  • a D flip-flop 224 and a switch 226 are provided on the output side thereof for each predetermined number of pixel memories.
  • the signal line of the signal ⁇ _rd_B(j) is commonly connected to the pixel memories ⁇ Bq, p, j> in the row direction. From the above, it can be said that the even-numbered row pixel memories form the memory group A, and the odd-numbered row pixel memories form the memory group B.
  • Each two memory groups A in the same column form a memory sub group Aqp.
  • two memory groups B in the same column form memory subgroups Bqp.
  • FIGS. 10 and 11 are examples of timing charts showing the read operation from the pixel memory 220 in FIG. Since the timing charts for conversion and readout of the DARK signal and conversion and readout of the SIG signal are the same, the DARK signal is illustrated and the SIG signal is omitted.
  • the enable signal Cnt_en_A for AD conversion is turned on, the reference voltage RAMP is supplied, and the signal Gry_out_A counts the magnitude of the reference voltage RAMP in association with the number of pulses.
  • the pixel signal and the reference voltage RAMP are compared in the comparator 216, and the number of pulses Latch_A when the output of the comparator 216 becomes high is temporarily stored in the pixel memory.
  • enable signal Cnt_en_B for AD conversion is turned on for memory group B, and reference voltage RAMP is supplied. Match and count.
  • the pixel signal and the reference voltage RAMP are compared in the comparator 216, and the number of pulses Latch_B when the output of the comparator 216 becomes high is temporarily stored in the pixel memory.
  • the signal ⁇ _en_A and the signal ⁇ _rd_A(j) are turned on, and the pixel signal of the pixel memory 220 of the j-th row of each memory sub group Aqp is input to the corresponding D flip-flop DAqp. output to the side.
  • (k ⁇ 1) signals Clk_A are continuously input, so that the values of the D flip-flops are sequentially transferred from p to p+1, and all the pixel signals in the memory group A are output to the image processing/output unit 280. be done.
  • the signal ⁇ _en_B and the signal ⁇ _rd_B(j) are turned on to process the pixels of the j-th row of each of the memory subgroups Bqp.
  • a pixel signal of the memory 220 is output to the input side of the corresponding D flip-flop DBqp.
  • (k ⁇ 1) signals Clk_B are continuously input, so that the values of the D flip-flops are sequentially transferred from p to p+1, and all the pixel signals in the memory group B are output to the image processing/output unit 280. be done.
  • the timing of starting AD conversion of the memory group B may correspond to the timing of starting reading of the memory group B.
  • the start timing of AD conversion of memory group B may be shifted by the time from the start of reading of memory group A to the end thereof.
  • FIG. 12 is a schematic diagram illustrating in detail a circuit for reading from the pixel memory 220 in the other processing circuit section 410. As shown in FIG. The processing circuit section 410 is the same as the processing circuit section 210 of FIG. 6 except for the configuration that will be particularly described.
  • the even columns form the memory group A
  • the odd columns form the memory group B.
  • Three pixel memories 220 in each of the memory groups A and B form memory subgroups Ap and Bp.
  • the signal line of the signal ⁇ _rd is commonly connected to the memory groups A and B.
  • 13 and 14 are examples of timing charts showing the read operation from the pixel memory 220 of FIG. Since the timing charts for conversion and readout of the DARK signal and conversion and readout of the SIG signal are the same, the DARK signal is illustrated and the SIG signal is omitted.
  • the AD conversion of the DARK signal in FIG. 13 is the same as in FIG. After that, by turning on the signal ⁇ _en and the signal ⁇ _rd(j), the pixel signals are read out from the pixel memories 220 of the j-th row of the memory subgroups Ap and Bp and input to the corresponding D flip-flops DAp and DBp. output to the side.
  • the signal Clk_A is supplied before the signal Clk_B.
  • the phase of signal Ckl_B is delayed from signal Clk_A.
  • the timings of the outputs QpA ⁇ j> and QpB ⁇ j> of the D flip-flops are different, and the current consumption during reading can be suppressed.
  • the supply of the signal Clk_B may be started several clocks after the signal Clk_A.
  • one control circuit 214 is provided for one pixel 112 in the above embodiment.
  • one control circuit 214 may be provided for multiple pixels 112 .
  • the pixels 112 included in one pixel block are m rows and n columns (m is a natural number of 2 or more and less than M, n is a natural number equal to or greater than 2 and smaller than N), and a plurality of the pixel blocks may be arranged in the matrix direction.
  • FIG. 15 is a block diagram showing a configuration example of the imaging device 500 according to the embodiment.
  • the imaging apparatus 500 includes an imaging device 400, a system control unit 501, a driving unit 502, a photometry unit 503, a work memory 504, a recording unit 505, a display unit 506, a driving unit 514, and an imaging lens 520. Prepare.
  • the photographing lens 520 guides the subject light flux incident along the optical axis OA to the imaging device 400 .
  • the photographing lens 520 is composed of a plurality of optical lens groups, and forms an image of subject light flux from a scene in the vicinity of its focal plane.
  • the imaging lens 520 may be an interchangeable lens that can be attached to and detached from the imaging device 500 .
  • the photographing lens 520 is represented by one virtual lens arranged in the vicinity of the pupil.
  • the drive unit 514 drives the photographing lens 520 .
  • the drive unit 514 moves the optical lens group of the taking lens 520 to change the focus position.
  • the driving unit 514 may drive the iris diaphragm in the photographing lens 520 to control the light amount of the subject light flux incident on the imaging device 400 .
  • the drive unit 502 has a control circuit that executes charge accumulation control such as timing control and area control of the imaging element 400 according to instructions from the system control unit 501 . Further, the operation unit 508 receives instructions from the photographer using a release button or the like.
  • the imaging device 400 transfers the pixel signal to the image processing section 511 of the system control section 501 .
  • the image processing unit 511 generates image data by performing various image processing using the work memory 504 as a workspace. For example, when generating image data in the JPEG file format, compression processing is executed after a color video signal is generated from the signal obtained in the Bayer array.
  • the generated image data is recorded in the recording unit 505, converted into a display signal, and displayed on the display unit 506 for a preset time.
  • the photometry unit 503 detects the luminance distribution of the scene prior to a series of shooting sequences for generating image data.
  • the photometry unit 503 includes, for example, an AE sensor with approximately one million pixels.
  • a calculation unit 512 of the system control unit 501 receives the output of the photometry unit 503 and calculates the brightness for each area of the scene.
  • the calculation unit 512 determines the shutter speed, aperture value, and ISO sensitivity according to the calculated luminance distribution.
  • the photometry unit 503 may also be used by the image sensor 400 . Note that the calculation unit 512 also executes various calculations for operating the imaging device 500 .
  • the drive unit 502 may be partially or wholly mounted on the imaging device 400 .
  • a part of the system control unit 501 may be mounted on the imaging device 400 .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

撮像素子であって、複数の画素と、アナログ信号をデジタル信号に変換して一次的に記憶する複数の変換部と、複数の変換部のうち第１変換部に接続され、第１変換部でデジタル信号に変換された信号が出力される第１出力線と、複数の変換部のうち第２変換部に接続され、第２変換部でデジタル信号に変換された信号が出力される第２出力線と、複数の第１変換部に一次的に記憶されたデジタル信号と、複数の第２変換部に一次的に記憶されたデジタル信号とを異なるタイミングで読み出す読出回路とを備える。

Description

撮像素子および撮像装置
　本発明は、撮像素子および撮像装置に関する。
　複数の画素からそれぞれ出力された信号を並列的に処理可能な撮像素子が知られている（たとえば、特許文献１）。従来より、画素からの信号を並列的に処理することに起因する消費電流の増大が問題となっていた。
［先行技術文献］
［特許文献］
　　［特許文献１］　国際公開ＷＯ２０１３／１２９２０２
一般的開示
　本発明の第１の態様においては、撮像素子であって、光を電荷に変換する光電変換部を少なくとも含む複数の画素が行方向に並んで配置される画素部を有する第１基板と、複数の画素のうち第１画素からの第１画素信号を記憶する第１画素メモリを少なくとも含む第１画素回路と、複数の画素のうち第２画素からの第２画素信号を記憶する第２画素メモリを少なくとも含む第２画素回路とが配置される処理回路部と、第１画素メモリに記憶された第１画素信号と、第２画素メモリに記憶された第２画素信号とを異なるタイミングでそれぞれ読み出すための読出制御回路とを有する第２基板とを備える。第２画素は、行方向において第１画素の隣に並んで配置されてよい。第２画素回路は、行方向において第１画素回路の隣に並んで配置されよい。第１画素メモリに記憶された第１画素信号を読み出すための第１制御信号が出力される第１選択線と、第２画素メモリに記憶された第２画素信号を読み出すための第２制御信号が出力される第２選択線とを備えてよい。読出制御回路は、第１制御信号を第１選択線に出力するタイミングと、第２制御信号を第２選択線に出力するタイミングとが異なるタイミングになるように制御してよい。読出制御回路は、第１制御信号の出力を開始するタイミングと、第２制御信号の出力を開始するタイミングとが異なるタイミングになるように制御してよい。読出制御回路は、第１制御信号の出力を開始した後に、第２制御信号の出力を開始してよい。読出制御回路は、第１制御信号の出力を終了した後に、第２制御信号の出力を開始してよい。第１画素メモリから読み出された第１画素信号が出力される第１出力線と、第２画素メモリから読み出された第２画素信号が出力される第２出力線とを備えてよい。読出制御回路は、第１画素メモリから第１出力線に第１画素信号を読み出すタイミングと、第２画素メモリから第２出力線に第２画素信号を読み出すタイミングとが異なるタイミングになるように制御してよい。読出制御回路は、第１画素信号の読み出しを開始するタイミングと、第２画素信号の読み出しを開始するタイミングとが異なるタイミングになるように制御してよい。読出制御回路は、第１画素信号の読み出しを開始した後に、第２画素信号の読み出しを開始してよい。読出制御回路は、第１画素信号の読み出しを終了した後に、第２画素信号の読み出しを開始してよい。第１画素回路は、第１画素からの第１画素信号をデジタル信号に変換するために用いられる第１比較器を有してよい。第２画素回路は、第２画素からの第２画素信号をデジタル信号に変換するために用いられる第２比較器を有してよい。　第１画素メモリは、第１比較器を用いてデジタル信号に変換された第１画素信号を記憶してよい。第２画素メモリは、第２比較器を用いてデジタル信号に変換された第２画素信号を記憶してよい。第１画素メモリと第２画素メモリとは、それぞれＳＲＡＭにより構成されてよい。第１基板と第２基板とは、画素部の少なくとも一部と、処理回路部の少なくとも一部とが互いに対向するように配置されてよい。第１基板と第２基板とは、第１画素の少なくとも一部と、第１画素回路の少なくとも一部とが互いに対向するように配置されてよい。第１基板と第２基板とは、第２画素の少なくとも一部と、第２画素回路の少なくとも一部とが互いに対向するように配置されてよい。第２基板は、第１画素と第２画素とをそれぞれ制御する画素制御回路を有してよい。画素制御回路は、第１画素の露光時間と、第２画素の露光時間とを制御してよい。画素制御回路は、第１画素から第１画素信号の読み出しと、第２画素から第２画素信号の読み出しとを制御してよい。処理回路部は、行方向において読出制御回路と画素制御回路との間に配置されてよい。第２基板は、第１画素メモリに記憶された第１画素信号と、第２画素メモリに記憶された第２画素信号とに画像処理を行う画像処理部を有してよい。第１画素メモリに記憶された第１画素信号と、第２画素メモリに記憶された第２画素信号とに画像処理を行う画像処理部を有する第３基板を備えてよい。
　本発明の第２の態様においては、撮像装置であって上記撮像素子を備える。撮像素子に接続される制御部を備えてもよい。制御部は、第１画素信号と第２画素信号とに基づいて画像データを生成してよい。
　なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本実施形態に係る撮像素子４００の概要を示す図である。 第１基板１００の平面レイアウトの一例を示す。 第２基板２００の平面レイアウトの一例を示す。 画素１１２および画素回路２１２の回路構成の一例を示す。 画素メモリ２２０のデータを、画像処理・出力部２８０へ読み出す回路を説明する概略図である。 処理回路部２１０のうち画素メモリ２２０からの読み出しについての回路をさらに詳細に説明する概略図である。 図６の画素メモリ２２０からの読み出し動作を示すタイミングチャートの一例である。 図６の画素メモリ２２０からの読み出し動作を示すタイミングチャートの一例である。 他の処理回路部３１０のうち画素メモリ２２０からの読み出しについての回路を詳細に説明する概略図である。 図９の画素メモリ２２０からの読み出し動作を示すタイミングチャートの一例である。 図９の画素メモリ２２０からの読み出し動作を示すタイミングチャートの一例である。 さらに他の処理回路部４１０のうち画素メモリ２２０からの読み出しについての回路を詳細に説明する概略図である。 図１２の画素メモリ２２０からの読み出し動作を示すタイミングチャートの一例である。 図１２の画素メモリ２２０からの読み出し動作を示すタイミングチャートの一例である。 実施例に係る撮像装置５００の構成例を示すブロック図である。
　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　本明細書において、Ｘ軸とＹ軸とは互いに直交し、Ｚ軸はＸＹ平面に直交する。ＸＹＺ軸は右手系を構成する。Ｚ軸と平行な方向を撮像素子４００の積層方向と称する場合がある。本明細書において、「上」及び「下」の用語は、重力方向における上下方向に限定されない。これらの用語は、Ｚ軸方向における相対的な方向を指すに過ぎない。なお、本明細書では、Ｘ軸方向の配列を「行」とし、Ｙ軸方向の配列を「列」として説明するが、行列方向はこれに限定されない。また、Ｚ軸方向が被写体からの光が入射する光軸方向となっている。
　図１は、本実施形態に係る撮像素子４００の概要を示す図である。撮像素子４００は、被写体を撮像する。撮像素子４００は、撮像された被写体の画像データを生成する。撮像素子４００は、第１基板１００および第２基板２００を備える。図１に示すように、第１基板１００は、第２基板２００に積層されている。
　第１基板１００は、画素部１１０を有する。画素部１１０は、入射された光に基づく画素信号を出力する。なお、第１基板１００を画素チップと呼ぶことがある。
　第２基板２００は、処理回路部２１０および周辺回路部２３０を有する。なお、第２基板２００を信号処理チップと呼ぶことがある。
　処理回路部２１０は、第１基板１００から出力された画素信号が入力される。処理回路部２１０は、入力された画素信号を処理する。例えば、処理回路部２１０は、アナログ信号をデジタル信号に変換する処理を行う。具体的には、処理回路部２１０は、入力された画素信号をデジタル信号に変換する処理を行う。処理回路部２１０は他の信号処理を行ってもよい。
　本例の処理回路部２１０は、第２基板２００において、画素部１１０と対向する位置に配置されている。すなわち、処理回路部２１０は光軸方向について少なくとも部分的に画素部１１０と重なるように配される。処理回路部２１０は、画素部１１０の駆動を制御するための制御信号を画素部１１０に出力してもよい。
　周辺回路部２３０は、処理回路部２１０の駆動を制御する。周辺回路部２３０は、第２基板２００において、処理回路部２１０の周辺に配置されている。また、周辺回路部２３０は、第１基板１００と電気的に接続され、画素部１１０の駆動を制御してもよい。
　撮像素子４００は、第１基板１００および第２基板２００に加えて、第２基板２００に積層された第３基板を有してもよい。例えば、第３基板はメモリチップであって、第２基板２００が出力した信号に応じた画像処理を行いそれを記憶する。また、撮像素子４００の構造は、裏面照射型であっても、表面照射型であってもよい。以下、裏面照射型の例で説明する。
　図２は、第１基板１００の平面レイアウトの一例を示す。第１基板１００の面内の中央付近に、画素部１１０が配される。
　画素部１１０は、行方向および列方向に沿って並んで配置された複数の画素１１２を有する。本例の画素部１１０は、Ｍ×Ｎ個（Ｍ，Ｎは、自然数）の画素１１２を有する。本例では、ＭがＮと異なる場合を図示しているが、ＭとＮは等しくてもよい。
　図３は、第２基板２００の平面レイアウトの一例を示す。第２基板２００の面内の中央付近に処理回路部２１０が配される。
　処理回路部２１０は、行方向および列方向に沿って並んで配置された複数の画素回路２１２を有する。本例の処理回路部２１０は、Ｍ×Ｎ個の画素回路２１２を有する。
　本実施形態において、画素回路２１２と画素１１２は光軸方向から見て重なった位置に配される。この場合に、画素回路２１２と画素１１２の面積は隣接するブロック間のマージンを含めて略同一であってよい。
　画素回路２１２は、電気的に接続された画素１１２の駆動を制御する。画素回路２１２と画素１１２とが電気的に接続されていることを、対応する、と呼ぶ場合がある。
　本実施形態では、互いに重なった位置に配された画素回路２１２と画素１１２とが接続されている。しかしながら、重なった位置に配された画素回路２１２と画素１１２とが接続されることに代えて、互いに重ならない位置に配された画素回路２１２と画素１１２とが接続されてもよい。
　処理回路部２１０の周辺には周辺回路部２３０の一例としての、画素制御回路２５０、読出制御回路２６０及び画像処理・出力部２８０が配される。画素制御回路２５０は、画素１１２と画素回路２１２とを制御する。画素制御回路２５０は、例えば、画素回路２１２が画素１１２からの信号をＡＤ変換するための制御信号を供給する。また、画素制御回路２５０は、例えば、画素１１２の露光時間を制御する。読出制御回路２６０は、画素回路２１２に記憶された画素信号を画像処理・出力部２８０に出力するための読み出しを制御する。
　図４は、画素１１２および画素回路２１２の回路構成の一例を示す。画素１１２は、光電変換部１３０と、リセット部１３２と、蓄積部１３４と、転送部１３６とを備える。
　光電変換部１３０は、光を電荷に変換する光電変換機能と光電変換された電荷を蓄積する蓄積機能とを有する。光電変換部１３０は、例えば、フォトダイオードである。
　蓄積部１３４は、光電変換部１３０で生じた電荷をその量に応じた電圧に変換する。蓄積部１３４は、フローティングディフュージョン（ＦＤ）の一例である。
　リセット部１３２は、制御信号φＲＳＴに基づき蓄積部１３４の電荷を所定の電源電圧ＶＤＤが供給される電源配線に排出する。リセット部１３２のゲート端子は、画素制御回路２５０に接続される。
　転送部１３６は、制御信号φＴＸに基づき光電変換部１３０に蓄積された電荷を、蓄積部１３４に転送する。また、転送部１３６は、制御信号φＴＸに基づき光電変換部１３０に蓄積された電荷をリセットする。転送部１３６は、例えば、制御信号φＴＸと制御信号φＲＳＴを同時に給することで、光電変換部１３０に蓄積された電荷の量を０にリセットにする。転送部１３６は、光電変換部１３０の電荷を転送するトランスファーゲートの一例である。換言すれば、転送部１３６をゲートとし、光電変換部１３０をソースとし、蓄積部１３４をドレインとして、これらがいわゆる転送トランジスタを構成している。
　画素回路２１２は、比較器２１６と制御回路２１４と画素メモリ２２０とを備える。比較器２１６は、蓄積部１３４の電圧と、画素制御回路２５０から給される基準電圧ＲＡＭＰとを比較し、その比較結果を制御回路２１４に出力する。比較器２１６は例えば差動対により構成される。また、比較器２１６は例えば、蓄積部１３４との間にソースフォロワ回路を配してもよい。制御回路２１４は、比較器２１６からの信号とφＣＴＬの信号に基づき、画素メモリ２２０を制御する。
　画素メモリ２２０は、デジタル信号に変換された画素信号を記憶する。画素メモリ２２０は例えば、画素制御回路２５０より給されるカウント信号を受け、制御回路２１４より出力される制御信号が反転した場合に、そのときのカウント信号の値を記憶する。画素メモリ２２０はさらに、選択信号φＳＥＬに基づいて、記憶している画素信号を出力する。画素メモリ２２０の一例はＳＲＡＭである。
　画素１１２および画素回路２１２の１フレームの動作の一例について説明する。まず、１フレームの蓄積開始時において、画素制御回路２５０は制御信号φＴＸと制御信号φＲＳＴを同時に給することにより、光電変換部１３０に蓄積された電荷をリセットする。次に、１フレーム終了時の読み出し期間において、画素制御回路２５０は制御信号φＲＳＴを給することで、蓄積部１３４の電圧を所定の電圧にリセットする。その後、画素制御回路２５０は、制御信号φＣＴＬと、基準電圧ＲＡＭＰと、画素メモリ２２０に給するカウント信号を制御することで、蓄積部１３４のリセット電圧に対応した値を画素メモリ２２０に記憶させる（ＤＡＲＫ変換）。そして、読出制御回路２６０は、選択信号φＳＥＬを制御することにより、画素メモリ２２０に記憶されたＤＡＲＫ変換結果のデータを、画像処理・出力部２８０へ読み出す。画素メモリ２２０のデータ読み出しについては、さらに後述する。さらに、画素制御回路２５０は制御信号φＴＸを給することで、光電変換部１３０に蓄積された電荷を蓄積部１３４に転送する。その後、画素制御回路２５０は、制御信号φＣＴＬと、基準電圧ＲＡＭＰと、画素メモリ２２０に給するカウント信号を制御することで、電荷転送後の蓄積部１３４の電圧に対応した値を画素メモリ２２０に記憶させる（ＳＩＧ変換）。最後に、読出制御回路２６０は、選択信号φＳＥＬを制御することにより、画素メモリ２２０に記憶されたＳＩＧ変換結果のデータを、画像処理・出力部２８０へ読み出す。
　本実施形態では、１つの画素１１２に対して、１つの画素回路２１２が設けられており、すべての画素１１２および画素回路２１２は同時に制御される。よって、画素部１１０に含まれる複数の画素１１２について同時刻に露光する、いわゆるグローバルシャッタ動作が可能である。また、個々の画素１１２に対して別個の時刻に露光するような動作も可能である。なお、画素回路２１２のアナログ信号からデジタル信号への上記変換はいわゆるシングルスロープ方式である。しかしながら、変換方式はこれに限られず、例えば逐次比較方式などの他の方式であってもよい。他の実施形態についても同様である。
　図５は、画素メモリ２２０のデータを、画像処理・出力部２８０へ読み出す回路を説明する概略図である。説明しない構成については図を省略している。
　Ｍ×Ｎ個の画素１２１に対応して、Ｍ×Ｎ個の画素メモリ２２０が配されている。これらの画素メモリ２２０は、読出制御回路２６０の行選択回路２６２の行選択線２６４、２６５に接続されている。行選択線２６４、２６５には、画素メモリ２２０に記憶された画素信号を読み出すための制御信号の一例としての行選択信号φＳＥＬが出力される。行選択線２６４、２６５は、ワード選択線とも呼ばれることがある。
　一方、これらの画素メモリ２２０は、列ごとに画像処理・出力部２８０への出力線２６６に共通に接続されている。出力線２６６には画素メモリ２２０から読み出された画素信号が出力される。出力線２６６は、ビット線とも呼ばれることがある。
　ここで、画素メモリ２２０は画像信号の階調等に対応したビット数のデジタル信号を記憶するので、画素１１２毎に当該ビット数に応じたメモリセルを有する。例えば１画素の画素信号をモノクロの２５６階調で表すのに８ビットを用いるとすれば、８個のメモリセルが用いられる。よって、画素メモリ２２０からの出力に対しても、時分割しないとすれば、１列の画素メモリ２２０につき少なくとも当該ビット数分の出力線２６６が用いられる。図５以降において、図５の出力線２６６のように配線に斜線を付すことで、複数の配線を１本で代表していることを示す。
　図５の構成による読み出しにおいて、一度に多くの画素メモリ２２０から読み出し動作が行われると、読み出し時の電流が増えてしまう。そこで、本実施形態では、複数の画素メモリ２２０から異なるタイミングで読み出すことにより、読み出し時の電流を抑える。例えば、偶数列の画素メモリ２２０をメモリ群Ａとし、奇数列の画素メモリ２２０をメモリ群Ｂとし、メモリ群Ａとメモリ群Ｂとで読み出しのタイミングを異ならせる。なお、説明の便宜上、特に断らない限り行および列を０から数える。
　図６は、処理回路部２１０のうち画素メモリ２２０からの読み出しについての回路をさらに詳細に説明する概略図である。説明しない構成については図を省略している。
　図６の例において、画素メモリ２２０の各々はスイッチ２２２を介して出力線２６６、２６７に接続されている。また、出力線２６６には、予め定められた画素メモリ２２０の個数毎にＤフリップフロップ２２４およびその出力側にスイッチ２２６が設けられている。図６に示す例では、同列の３個の画素メモリ２２０毎にＤフリップフロップ２２４およびスイッチ２２６が設けられている。これは当該個数毎にメモリサブ群を形成しているとも言える。すなわち、図６の例で、メモリ群Ａは、メモリサブ群Ａ０からＡｋを有していると言える。
　同様に、メモリ群Ｂは、メモリサブ群Ｂ０からＢｋを有している。なお、各メモリサブ群に含まれる画素メモリ２２０は２個以下または４個以上であってよい。また、各メモリサブ群に含まれる画素メモリ２２０の個数が互いに異なっていてもよい。なお、出力線２６６、２６７がビット数分あることに対応して、Ｄフリップフロップ２２４もビット数分あるが、代表して１個を図示している。
　図６の例では、画素メモリ２２０からの画素信号を選択して読み出すための行選択線が多数ある。以下、記号の煩雑さを避けるため行選択線の参照番号を省略し、信号の記号を用いて説明する。
　信号φ_en_Aは、メモリ群Ａの出力線２６６のスイッチ２２６をオンオフする。信号φ_rd_A(j)（ただし、ｊ＝０、１、２）は、メモリサブ群Ａ０からＡｋのそれぞれにおける第ｊ行の画素メモリ２２０のスイッチ２２２をオンオフする。信号Clk_Aは、メモリ群ＡのＤフリップフロップ２２４（ＤＡ０からＤＡｋ）を駆動するクロックである。
　信号φ_en_Bは、メモリ群Ｂの出力線２６７のスイッチ２２６をオンオフする。信号φ_rd_B(j)（ただし、ｊ＝０、１、２）は、メモリサブ群Ｂ０からＢｋのそれぞれにおける第ｊ行の画素メモリ２２０のスイッチ２２２をオンオフする。信号Clk_Bは、メモリ群ＢのＤフリップフロップ２２４（ＤＢ０からＤＢｋ）を駆動するクロックである。
　図７および図８は、図６の画素メモリ２２０からの読み出し動作を示すタイミングチャートの一例である。ＤＡＲＫ信号の変換および読み出しと、ＳＩＧ信号の変換および読み出しのタイミングチャートは同じなので、ＤＡＲＫ信号の方を図示し、ＳＩＧ信号の方は省略した。
　ＡＤ変換のためのエネイブル信号Cnt_enがオンになって基準電圧RAMPが供給されて、信号Gry_outで基準電圧RAMPの大きさをパルス数に対応付けてカウントする。比較器２１６において画素信号と基準電圧RAMPとが比較され、比較器２１６の出力がハイになったときのパルス数Latchが画素メモリに一次的に記憶される。この動作はメモリ群ＡとＢとで同期して、同じタイミングで行われてよい。
　その後、メモリ群Ａについて、信号φ_en_Aがオンの状態で信号φ_rd_A(1)もオンにすることにより、メモリサブ群Ａｐ（ｐ＝０，１，・・・ｋ）の各々の第一行の画素メモリ２２０の画素信号が対応するＤフリップフロップＤＡｐの入力側に出力される。その状態で信号Clk_Aが（ｋ－１）個連続して入力されることにより、Ｄフリップフロップの値がｐ→ｐ＋１に順送りされ、メモリサブ群Ａｐの画素信号がすべて画像処理・出力部２８０に出力される。第二行目以降も同様の動作によりメモリ群Ａの画素信号が読み出される。付言すれば、当該Ｄフリップフロップはシフトレジスタとして機能しているともいえる。
　一方、メモリ群Ａについて信号φ_rd_A(j)がオフになって信号Clk_Aが入力されている間に、メモリ群Ｂについて信号φ_en_Bおよび信号φ_rd_B(j)をオンにして、メモリサブ群Ｂｐの各々の第ｊ行の画素メモリ２２０の画素信号が対応するＤフリップフロップＤＢｐの入力側に出力される。その状態で信号Clk_Bが（ｋ－１）個連続して入力されることにより、Ｄフリップフロップの値がｐ→ｐ＋１に順送りされ、メモリ群Ｂの画素信号がすべて画像処理・出力部２８０に出力される。
　これは、メモリ群Ａからの読み出しの途中でメモリ群Ｂの読み出しを開始しているといえる。これにより、図８に示すようにＤフリップフロップの出力ＱｐＡ＜ｊ＞とＱｐＢ＜ｊ＞のタイミングが異なり、読み出し時の消費電流を抑えることができる。
　図９は、他の処理回路部３１０のうち画素メモリ２２０からの読み出しについての回路を詳細に説明する概略図である。処理回路部３１０において、図６の処理回路部２１０と同じ構成には同じ参照番号を付して説明を省略する。
　図９の例において、最初の列の画素メモリ＜Ａ０，ｐ，ｊ＞（ｐ＝０，１，・・・ｋ：ｊ＝０，１）の各々はスイッチ２２２を介して出力線２６８に接続されている。また、出力線２６８には予め定められた画素メモリの個数（図９の例では２個）毎にＤフリップフロップ２２４およびその出力側にスイッチ２２６が設けられている。
　同様に、同列の画素メモリ＜Ｂ０，ｐ，ｊ＞（ｐ＝０，１，・・・ｋ：ｊ＝０，１）の各々はスイッチ２２２を介して出力線２７０に接続されている。また、出力線２７０には予め定められた画素メモリの個数（図９の例では２個）毎にＤフリップフロップ２２４およびその出力側にスイッチ２２６が設けられている。
　さらに、他の列の画素メモリ＜Ａ１，ｐ，ｊ＞（ｐ＝０，１，・・・ｋ：ｊ＝０，１）の各々はスイッチ２２２を介して出力線２７２に接続され、出力線２６８には予め定められた画素メモリの個数毎にＤフリップフロップ２２４およびその出力側にスイッチ２２６が設けられている。同列の画素メモリ＜Ｂ１，ｐ，ｊ＞（ｐ＝０，１，・・・ｋ：ｊ＝０，１）の各々はスイッチ２２２を介して出力線２７４に接続され、出力線２７４には予め定められた画素メモリの個数毎にＤフリップフロップ２２４およびその出力側にスイッチ２２６が設けられている。
　信号φ_rd_A(j)の信号線は行方向の画素メモリ＜Ａｑ，ｐ，ｊ＞（ｑ＝０，１，・・・Ｎ－１）に共通に接続されている。同様に、信号φ_rd_B(j)の信号線は行方向の画素メモリ＜Ｂｑ，ｐ，ｊ＞に共通に接続されている。以上により、偶数行の画素メモリがメモリ群Ａを形成し、奇数行の画素メモリがメモリ群Ｂを形成していると言える。また、同じ列のメモリ群Ａの２個ずつがメモリサブ群Ａｑｐを形成している。同様に、同じ列のメモリ群Ｂの２個ずつがメモリサブ群Ｂｑｐを形成している。
　図１０および図１１は、図９の画素メモリ２２０からの読み出し動作を示すタイミングチャートの一例である。ＤＡＲＫ信号の変換および読み出しと、ＳＩＧ信号の変換および読み出しのタイミングチャートは同じなので、ＤＡＲＫ信号の方を図示し、ＳＩＧ信号の方は省略した。
　メモリ群Ａについて、ＡＤ変換のためのエネイブル信号Cnt_en_Aがオンになって基準電圧RAMPが供給されて、信号Gry_out_Aで基準電圧RAMPの大きさをパルス数に対応付けてカウントする。メモリ群Ａについて、比較器２１６において画素信号と基準電圧RAMPとが比較され、比較器２１６の出力がハイになったときのパルス数Latch_Aが画素メモリに一次的に記憶される。
　メモリ群Ａの上記動作が開始された後に、メモリ群ＢについてＡＤ変換のためのエネイブル信号Cnt_en_Bがオンになって基準電圧RAMPが供給されて、信号Gry_out_Bで基準電圧RAMPの大きさをパルス数に対応付けてカウントする。メモリ群Ｂについて、比較器２１６において画素信号と基準電圧RAMPとが比較され、比較器２１６の出力がハイになったときのパルス数Latch_Bが画素メモリに一次的に記憶される。
　メモリ群Ａについて、上記ＡＤ変換が完了したら信号φ_en_Aおよび信号φ_rd_A(j)をオンにして、メモリサブ群Ａｑｐの各々の第ｊ行の画素メモリ２２０の画素信号が対応するＤフリップフロップＤＡｑｐの入力側に出力される。その状態で信号Clk_Aが（ｋ－１）個連続して入力されることにより、Ｄフリップフロップの値がｐ→ｐ＋１に順送りされ、メモリ群Ａの画素信号がすべて画像処理・出力部２８０に出力される。
　メモリ群Ａの画素信号がすべて画像処理・出力部２８０に出力された後に、メモリ群Ｂについて、信号φ_en_Bおよび信号φ_rd_B(j)をオンにして、メモリサブ群Ｂｑｐの各々の第ｊ行の画素メモリ２２０の画素信号が対応するＤフリップフロップＤＢｑｐの入力側に出力される。その状態で信号Clk_Bが（ｋ－１）個連続して入力されることにより、Ｄフリップフロップの値がｐ→ｐ＋１に順送りされ、メモリ群Ｂの画素信号がすべて画像処理・出力部２８０に出力される。
　以上、処理回路部３１０では、メモリ群Ａからの読み出し後にメモリ群Ｂの読み出しを開始している。よって、図１１に示すようにＤフリップフロップの出力ＱｐＡ＜ｊ＞とＱｐＢ＜ｊ＞のタイミングが異なり、読み出し時の消費電流を抑えることができる。なお、メモリ群ＢのＡＤ変換の開始のタイミングは、メモリ群Ｂの読み出し開始のタイミングに対応してよい。例えばメモリ群ＢのＡＤ変換の開始のタイミングは、メモリ群Ａの読み出し開始から終了までの時間分だけずれていてよい。
　図１２は、さらに他の処理回路部４１０のうち画素メモリ２２０からの読み出しについての回路を詳細に説明する概略図である。処理回路部４１０は、特に説明する構成を除き図６の処理回路部２１０と同じである。
　処理回路部４１０においても、偶数列がメモリ群Ａを形成し、奇数列がメモリ群Ｂを形成する。また、メモリ群Ａ、Ｂそれぞれの画素メモリ２２０が３個ずつでメモリサブ群Ａｐ、Ｂｐを形成する。ただし、処理回路部２１０とは異なり、信号φ_rdの信号線はメモリ群ＡとＢで共通に接続されている。
　図１３および図１４は、図１２の画素メモリ２２０からの読み出し動作を示すタイミングチャートの一例である。ＤＡＲＫ信号の変換および読み出しと、ＳＩＧ信号の変換および読み出しのタイミングチャートは同じなので、ＤＡＲＫ信号の方を図示し、ＳＩＧ信号の方は省略した。
　図１３のＤＡＲＫ信号のＡＤ変換については、図７と同様である。その後、信号φ_enおよび信号φ_rd(j)をオンにすることで、メモリサブ群ＡｐおよびＢｐの第ｊ行の画素メモリ２２０から画素信号が読み出されて、対応するＤフリップフロップＤＡｐ、ＤＢｐの入力側に出力される。
　その状態で、信号Clk_Aを信号Clk_Bより先に供給する。例えば、信号Ckl_Bの位相を信号Clk_Aよりも遅らせる。これにより、図１４に示すように、Ｄフリップフロップの出力ＱｐＡ＜ｊ＞とＱｐＢ＜ｊ＞のタイミングが異なり、読み出し時の消費電流を抑えることができる。なお、位相を遅らせることに代えて、信号Clk_Aの数クロック後に信号Clk_Bの供給を開始してもよい。
　以上、本実施形態によれば、読み出し時に流れる電流の量を小さくすることができる。なお、上記実施形態においては、１つの画素１１２に１つの制御回路２１４が設けられている。これに代えて、複数の画素１１２に対して１つの制御回路２１４が設けられてもよい。その場合に１つの制御回路２１４に対応する複数の画素１１２を画素ブロックと呼ぶとすれば、１つの画素ブロックに含まれる画素１１２はｍ行ｎ列（ｍは２以上でＭより小さい自然数、ｎは２以上でＮより小さい自然数）に配列されたものであり、当該画素ブロックが行列方向に複数配されたものであってよい。
　図１５は、実施例に係る撮像装置５００の構成例を示すブロック図である。撮像装置５００は、撮像素子４００と、システム制御部５０１と、駆動部５０２と、測光部５０３と、ワークメモリ５０４と、記録部５０５と、表示部５０６と、駆動部５１４と、撮影レンズ５２０とを備える。
　撮影レンズ５２０は、光軸ＯＡに沿って入射する被写体光束を撮像素子４００へと導く。撮影レンズ５２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。撮影レンズ５２０は、撮像装置５００に対して着脱できる交換式レンズであってもよい。なお、図１５では瞳近傍に配置された仮想的な１枚のレンズで当該撮影レンズ５２０を代表している。
　駆動部５１４は、撮影レンズ５２０を駆動する。一例において、駆動部５１４は、撮影レンズ５２０の光学レンズ群を移動させて合焦位置を変更する。また、駆動部５１４は、撮影レンズ５２０内の虹彩絞りを駆動して撮像素子４００に入射する被写体光束の光量を制御してよい。
　駆動部５０２は、システム制御部５０１からの指示に従って撮像素子４００のタイミング制御、領域制御等の電荷蓄積制御を実行する制御回路を有する。また、操作部５０８は、レリーズボタン等により撮像者からの指示を受け付ける。
　撮像素子４００は、画素信号をシステム制御部５０１の画像処理部５１１へ引き渡す。画像処理部５１１は、ワークメモリ５０４をワークスペースとして種々の画像処理を施した画像データを生成する。例えば、ＪＰＥＧファイル形式の画像データを生成する場合は、ベイヤー配列で得られた信号からカラー映像信号を生成した後に圧縮処理を実行する。生成された画像データは、記録部５０５に記録されるとともに、表示信号に変換されて予め設定された時間の間、表示部５０６に表示される。
　測光部５０３は、画像データを生成する一連の撮影シーケンスに先立ち、シーンの輝度分布を検出する。測光部５０３は、例えば１００万画素程度のＡＥセンサを含む。システム制御部５０１の演算部５１２は、測光部５０３の出力を受けてシーンの領域ごとの輝度を算出する。
　演算部５１２は、算出した輝度分布に従ってシャッタ速度、絞り値、ＩＳＯ感度を決定する。測光部５０３は撮像素子４００で兼用してもよい。なお、演算部５１２は、撮像装置５００を動作させるための各種演算も実行する。駆動部５０２は、一部または全部が撮像素子４００に搭載されてよい。システム制御部５０１の一部が撮像素子４００に搭載されてもよい。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
　請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

Claims (25)

  1. 　光を電荷に変換する光電変換部を少なくとも含む複数の画素が行方向に並んで配置される画素部を有する第１基板と、
    　前記複数の画素のうち第１画素からの第１画素信号を記憶する第１画素メモリを少なくとも含む第１画素回路と、前記複数の画素のうち第２画素からの第２画素信号を記憶する第２画素メモリを少なくとも含む第２画素回路とが配置される処理回路部と、前記第１画素メモリに記憶された前記第１画素信号と、前記第２画素メモリに記憶された前記第２画素信号とを異なるタイミングでそれぞれ読み出すための読出制御回路とを有する第２基板と
    を備える撮像素子。
  2. 　請求項１に記載の撮像素子において、
    　前記第２画素は、前記行方向において前記第１画素の隣に並んで配置される撮像素子。
  3. 　請求項１または請求項２に記載の撮像素子において、
    　前記第２画素回路は、前記行方向において前記第１画素回路の隣に並んで配置される撮像素子。
  4. 　請求項１から請求項３のいずれか一項に記載の撮像素子において、
    　前記第１画素メモリに記憶された前記第１画素信号を読み出すための第１制御信号が出力される第１選択線と、
    　前記第２画素メモリに記憶された前記第２画素信号を読み出すための第２制御信号が出力される第２選択線と
    を備え、
    　前記読出制御回路は、前記第１制御信号を前記第１選択線に出力するタイミングと、前記第２制御信号を前記第２選択線に出力するタイミングとが異なるタイミングになるように制御する撮像素子。
  5. 　請求項４に記載の撮像素子において、
    　前記読出制御回路は、前記第１制御信号の出力を開始するタイミングと、前記第２制御信号の出力を開始するタイミングとが異なるタイミングになるように制御する撮像素子。
  6. 　請求項５に記載の撮像素子において、
    　前記読出制御回路は、前記第１制御信号の出力を開始した後に、前記第２制御信号の出力を開始する撮像素子。
  7. 　請求項６に記載の撮像素子において、
    　前記読出制御回路は、前記第１制御信号の出力を終了した後に、前記第２制御信号の出力を開始する撮像素子。
  8. 　請求項１から請求項７のいずれか一項に記載の撮像素子において、
    　前記第１画素メモリから読み出された前記第１画素信号が出力される第１出力線と、
    　前記第２画素メモリから読み出された前記第２画素信号が出力される第２出力線と
    を備え、
    　前記読出制御回路は、前記第１画素メモリから前記第１出力線に前記第１画素信号を読み出すタイミングと、前記第２画素メモリから前記第２出力線に前記第２画素信号を読み出すタイミングとが異なるタイミングになるように制御する撮像素子。
  9. 　請求項８に記載の撮像素子において、
    　前記読出制御回路は、前記第１画素信号の読み出しを開始するタイミングと、前記第２画素信号の読み出しを開始するタイミングとが異なるタイミングになるように制御する撮像素子。
  10. 　請求項９に記載の撮像素子において、
    　前記読出制御回路は、前記第１画素信号の読み出しを開始した後に、前記第２画素信号の読み出しを開始する撮像素子。
  11. 　請求項１０に記載の撮像素子において、
    　前記読出制御回路は、前記第１画素信号の読み出しを終了した後に、前記第２画素信号の読み出しを開始する撮像素子。
  12. 　請求項１から請求項１１のいずれか一項に記載の撮像素子において、
    　前記第１画素回路は、前記第１画素からの前記第１画素信号をデジタル信号に変換するために用いられる第１比較器を有し、
    　前記第２画素回路は、前記第２画素からの前記第２画素信号をデジタル信号に変換するために用いられる第２比較器を有し、
    　前記第１画素メモリは、前記第１比較器を用いてデジタル信号に変換された前記第１画素信号を記憶し、
    　前記第２画素メモリは、前記第２比較器を用いてデジタル信号に変換された前記第２画素信号を記憶する撮像素子。
  13. 　請求項１から請求項１２のいずれか一項に記載の撮像素子において、
    　前記第１画素メモリと前記第２画素メモリとは、それぞれＳＲＡＭにより構成される撮像素子。
  14. 　請求項１から請求項１３のいずれか一項に記載の撮像素子において、
    　前記第１基板と前記第２基板とは、前記画素部の少なくとも一部と、前記処理回路部の少なくとも一部とが互いに対向するように配置される撮像素子。
  15. 　請求項１４に記載の撮像素子において、
    　前記第１基板と前記第２基板とは、前記第１画素の少なくとも一部と、前記第１画素回路の少なくとも一部とが互いに対向するように配置される撮像素子。
  16. 　請求項１４または請求項１５に記載の撮像素子において、
    　前記第１基板と前記第２基板とは、前記第２画素の少なくとも一部と、前記第２画素回路の少なくとも一部とが互いに対向するように配置される撮像素子。
  17. 　請求項１から請求項１６のいずれか一項に記載の撮像素子において、
    　前記第２基板は、前記第１画素と前記第２画素とをそれぞれ制御する画素制御回路を有する撮像素子。
  18. 　請求項１７に記載の撮像素子において、
    　前記画素制御回路は、前記第１画素の露光時間と、前記第２画素の露光時間とを制御する撮像素子。
  19. 　請求項１７または請求項１８に記載の撮像素子において、
    　前記画素制御回路は、前記第１画素から前記第１画素信号の読み出しと、前記第２画素から前記第２画素信号の読み出しとを制御する撮像素子。
  20. 　請求項１７から請求項１９のいずれか一項に記載の撮像素子において、
    　前記処理回路部は、前記行方向において前記読出制御回路と前記画素制御回路との間に配置される撮像素子。
  21. 　請求項１から請求項２０のいずれか一項に記載の撮像素子において、
    　前記第２基板は、前記第１画素メモリに記憶された前記第１画素信号と、前記第２画素メモリに記憶された前記第２画素信号とに画像処理を行う画像処理部を有する撮像素子。
  22. 　請求項１から請求項２０のいずれか一項に記載の撮像素子において、
    　前記第１画素メモリに記憶された前記第１画素信号と、前記第２画素メモリに記憶された前記第２画素信号とに画像処理を行う画像処理部を有する第３基板を備える撮像素子。
  23. 　請求項１から請求項２２のいずれか一項に記載の撮像素子を備える撮像装置。
  24. 　請求項２３に記載の撮像装置において、
    　前記撮像素子に接続される制御部を備える撮像装置。
  25. 　請求項２４に記載の撮像装置において、
    　前記制御部は、前記第１画素信号と前記第２画素信号とに基づいて画像データを生成する撮像装置。
PCT/JP2022/041075 2021-11-05 2022-11-02 撮像素子および撮像装置 Ceased WO2023080177A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023558062A JP7878326B2 (ja) 2021-11-05 2022-11-02 撮像素子および撮像装置
CN202280079436.7A CN118355672A (zh) 2021-11-05 2022-11-02 摄像元件及摄像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021181339 2021-11-05
JP2021-181339 2021-11-05

Publications (1)

Publication Number Publication Date
WO2023080177A1 true WO2023080177A1 (ja) 2023-05-11

Family

ID=86241172

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/041075 Ceased WO2023080177A1 (ja) 2021-11-05 2022-11-02 撮像素子および撮像装置

Country Status (3)

Country Link
JP (1) JP7878326B2 (ja)
CN (1) CN118355672A (ja)
WO (1) WO2023080177A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014179892A (ja) * 2013-03-15 2014-09-25 Nikon Corp 撮像装置
WO2017169216A1 (ja) * 2016-03-31 2017-10-05 ソニー株式会社 固体撮像素子、固体撮像素子の駆動方法、及び、電子機器
JP2019087853A (ja) * 2017-11-06 2019-06-06 ブリルニクス インク 固体撮像装置、固体撮像装置の駆動方法、および電子機器

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6045382B2 (ja) 2013-02-13 2016-12-14 オリンパス株式会社 固体撮像装置
TWI737592B (zh) 2015-03-23 2021-09-01 日商新力股份有限公司 影像感測器、影像處理方法及電子機器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014179892A (ja) * 2013-03-15 2014-09-25 Nikon Corp 撮像装置
WO2017169216A1 (ja) * 2016-03-31 2017-10-05 ソニー株式会社 固体撮像素子、固体撮像素子の駆動方法、及び、電子機器
JP2019087853A (ja) * 2017-11-06 2019-06-06 ブリルニクス インク 固体撮像装置、固体撮像装置の駆動方法、および電子機器

Also Published As

Publication number Publication date
JPWO2023080177A1 (ja) 2023-05-11
JP7878326B2 (ja) 2026-06-23
CN118355672A (zh) 2024-07-16

Similar Documents

Publication Publication Date Title
CN105530427B (zh) 摄像元件、摄像装置
US9781366B2 (en) Image sensing system and method of driving the same
JP6119117B2 (ja) 電子機器
CN102377955B (zh) 固体摄像元件以及摄像装置
US11716554B2 (en) Solid-state imaging device and method for driving the same, and electronic apparatus
JP6136103B2 (ja) 撮像装置、撮像素子および読出方法。
JP2008104013A (ja) 固体撮像素子の駆動方法及び撮像装置。
JP2009021985A (ja) 撮像装置及び撮像装置の駆動方法
US12464264B2 (en) Imaging element and imaging device
JP6235788B2 (ja) 撮像装置及びその制御方法
JP6261372B2 (ja) 固体撮像装置および撮像システム
JP2024006293A (ja) 撮像素子および撮像装置
JP2014217011A (ja) 固体撮像素子および撮像装置
JP4538337B2 (ja) 固体撮像素子
US7470881B2 (en) Solid-state imaging device including plural groups of photoelectric conversion devices with plural microlenses being shifted in a peripheral portion of the imaging device, and imaging apparatus including the imaging device
JP2001057653A (ja) 固体撮像装置および固体撮像素子駆動方法
JP7800059B2 (ja) 撮像素子および撮像装置
JP2022161127A (ja) 撮像素子および撮像装置
CN118355672A (zh) 摄像元件及摄像装置
JP2026063198A (ja) 撮像素子および撮像装置
WO2020203799A1 (ja) 撮像素子、及び、撮像装置
JP2014230242A (ja) 撮像素子および撮像装置
JP4840991B2 (ja) 光電変換装置及びその制御方法並びに撮像装置
WO2023080180A1 (ja) 撮像素子および撮像装置
JP2019161438A (ja) 画像処理装置、画像処理方法及び画像処理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22889997

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023558062

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202280079436.7

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22889997

Country of ref document: EP

Kind code of ref document: A1