WO2023027017A1 - 撮像素子および撮像装置 - Google Patents

撮像素子および撮像装置 Download PDF

Info

Publication number
WO2023027017A1
WO2023027017A1 PCT/JP2022/031546 JP2022031546W WO2023027017A1 WO 2023027017 A1 WO2023027017 A1 WO 2023027017A1 JP 2022031546 W JP2022031546 W JP 2022031546W WO 2023027017 A1 WO2023027017 A1 WO 2023027017A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
control
unit
signal
section
Prior art date
Application number
PCT/JP2022/031546
Other languages
English (en)
French (fr)
Inventor
友希 平田
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to CN202280069689.6A priority Critical patent/CN118104248A/zh
Priority to JP2023543896A priority patent/JPWO2023027017A1/ja
Publication of WO2023027017A1 publication Critical patent/WO2023027017A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/79Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Definitions

  • the present invention relates to an imaging device and an imaging device.
  • Patent Document 1 An imaging device in which a plurality of pixels are two-dimensionally arranged in row and column directions is known (for example, Patent Document 1). An increase in power consumption of an image pickup device has been a problem from the past.
  • An imaging device includes a first semiconductor substrate having a plurality of pixels arranged in a row direction, a first load current source supplying a current to a first pixel among the plurality of pixels, and the a second load current source that supplies a current to a second pixel among a plurality of pixels; a first pixel control section that controls current supply to the first pixel by the first load current source; and the second load current.
  • a second semiconductor substrate having a second pixel control for controlling current supply to the second pixel by a source.
  • An imaging device includes a first semiconductor substrate having a plurality of pixel blocks each including at least one pixel, and a second semiconductor substrate having a control block arranged for each of the pixel blocks, the control block has a pixel control section that controls a load current source that supplies a current to the pixels included in a corresponding pixel block among the plurality of pixel blocks.
  • the imaging device of the third disclosed technology includes the imaging element of the first disclosed technology or the second disclosed technology.
  • FIG. 1 is an exploded perspective view showing an example of an imaging device.
  • FIG. 2 is an explanatory diagram showing an example of a specific configuration of a pixel portion.
  • FIG. 3 is a circuit diagram showing an example of the circuit configuration of a pixel.
  • FIG. 4 is an explanatory diagram showing an example of a specific configuration of the control circuit section.
  • FIG. 5 is an explanatory diagram showing an example of the internal configuration of a control block.
  • FIG. 6 is an explanatory diagram showing an example of signal transmission between the first semiconductor substrate and the second semiconductor substrate in the imaging device.
  • FIG. 7 is an explanatory diagram showing an example of a cross section in the XZ direction of the imaging element according to this embodiment.
  • FIG. 8 is a timing chart showing an imaging operation example 1 of the imaging device.
  • FIG. 8 is a timing chart showing an imaging operation example 1 of the imaging device.
  • FIG. 9 is a timing chart showing an imaging operation example 2 of the imaging device.
  • FIG. 10 is a timing chart showing imaging operations of an imaging device according to a comparative example.
  • FIG. 11 is an explanatory diagram showing an example of a subject imaged by an imaging device.
  • FIG. 12 is a timing chart showing exposure time for each of regions 1 to 5 shown in FIG.
  • FIG. 13 is a plan view showing a layout example of a plurality of control blocks.
  • FIG. 14 is a circuit diagram showing another example of the circuit configuration of a pixel.
  • FIG. 15 is a timing chart showing example 3 of imaging operation of the imaging device.
  • FIG. 16 is an exploded perspective view showing another example of the imaging device.
  • FIG. 17 is an explanatory diagram showing another example of the specific configuration of the control circuit section.
  • FIG. 18 is an explanatory diagram showing the connection relationship between the first semiconductor substrate and the second semiconductor substrate in the imaging device.
  • FIG. 19 is an explanatory diagram showing an example of signal transmission between the first semiconductor substrate and the second semiconductor substrate in the imaging device.
  • FIG. 20 is an explanatory diagram showing the connection relationship between the ADC section and the pixel blocks.
  • FIG. 21 is a timing chart showing imaging operations within a pixel block of the imaging device.
  • FIG. 22 is an explanatory diagram showing an example of exposure timing for each pixel block.
  • FIG. 23 is a block diagram showing a configuration example of the autonomous exposure control method 1.
  • FIG. 24 is a block diagram showing a configuration example of the autonomous exposure control method 2.
  • FIG. FIG. 24 is a block diagram showing a configuration example of the autonomous exposure control method 2.
  • FIG. 25 is a block diagram showing a configuration example of the autonomous exposure control method 3.
  • FIG. 26 is an explanatory diagram of a circuit configuration example inside a control block.
  • FIG. 27 is an explanatory diagram of Example 1 of stopping circuit operation in units of control blocks.
  • FIG. 28 is an explanatory diagram of Example 2 of stopping circuit operation in units of control blocks.
  • FIG. 29 is an explanatory diagram of Example 3 of stopping circuit operation in units of control blocks.
  • FIG. 30 is a truth table of the NAND circuit.
  • FIG. 31 is a block diagram illustrating a configuration example of an imaging device according to an embodiment;
  • the X-axis and the Y-axis are orthogonal to each other, and the Z-axis is orthogonal to the XY plane.
  • the XYZ axes constitute a right-handed system.
  • a direction parallel to the Z-axis may be referred to as a stacking direction of the imaging device 100 .
  • the terms "upper” and “lower” are not limited to vertical directions in the direction of gravity. These terms refer only to relative directions in the Z-axis direction.
  • the arrangement in the X-axis direction is described as a "row” and the arrangement in the Y-axis direction is described as a "column,” but the matrix direction is not limited to this.
  • FIG. 1 The structure of the imaging device may be of a backside illumination type or a frontside illumination type.
  • FIG. 1 is an exploded perspective view showing an example of the imaging device 100A.
  • the imaging element 100A images a subject.
  • the imaging device 100A generates image data of the captured subject.
  • the imaging element 100A includes a first semiconductor substrate 110, a second semiconductor substrate 120 and a third semiconductor substrate . As shown in FIG. 1 , the first semiconductor substrate 110 is stacked on the second semiconductor substrate 120 , and the second semiconductor substrate 120 is stacked on the third semiconductor substrate 130 .
  • the first semiconductor substrate 110 has a pixel section 101 .
  • the pixel unit 101 outputs pixel signals based on incident light.
  • the second semiconductor substrate 120 has a control circuit section 102 and a peripheral circuit section 121 .
  • the control circuit unit 102 receives pixel signals output from the first semiconductor substrate 110 .
  • the control circuit unit 102 processes input pixel signals.
  • the control circuit section 102 is arranged at a position facing the pixel section 101 on the second semiconductor substrate 120 .
  • the control circuit section 102 is arranged so as to overlap the pixel section 101 in the direction in which the first semiconductor substrate 110 and the second semiconductor substrate 120 are stacked.
  • the control circuit unit 102 may output a control signal for controlling driving of the pixel unit 101 to the pixel unit 101 .
  • the peripheral circuit section 121 controls driving of the control circuit section 102 .
  • the peripheral circuit section 121 is arranged around the control circuit section 102 on the second semiconductor substrate 120 .
  • the peripheral circuit section 121 is arranged in a region outside the region where the control circuit section 102 is arranged in the second semiconductor substrate 120 .
  • the peripheral circuit section 121 may be electrically connected to the first semiconductor substrate 110 to control driving of the pixel section 101 .
  • the peripheral circuit section 121 is arranged along two sides of the second semiconductor substrate 120, but the arrangement method of the peripheral circuit section 121 is not limited to this example.
  • the third semiconductor substrate 130 has the data processing section 103 .
  • the data processing unit 103 uses the digital data output from the second semiconductor substrate 120 to perform addition processing, thinning processing, and other image processing.
  • FIG. 2 is an explanatory diagram showing an example of a specific configuration of the pixel unit 101.
  • the pixel section 101 has a plurality of pixel blocks 200 .
  • a plurality of pixel blocks 200 are arranged side by side in the row direction and the column direction in the pixel portion 101 .
  • the plurality of pixel blocks 200 has M ⁇ N (M and N are natural numbers) pixel blocks 200 arranged in the row direction and the column direction in the pixel unit 101 .
  • M is shown equal to N, M and N may be different.
  • a pixel block 200 has a plurality of pixels 201 .
  • a plurality of pixels 201 are arranged side by side in the row direction and the column direction in the pixel block 200 .
  • the pixel block 200 has m ⁇ n (m and n are natural numbers) pixels 201 arranged in rows and columns.
  • pixel block 200 has 16 ⁇ 16 pixels 201 arranged in rows and columns.
  • the number of pixels 201 corresponding to the pixel block 200 is not limited to this. Although m is shown to be equal to n, m may be different from n.
  • the pixel block 200 has a plurality of pixels 201 connected to common control lines (for example, transfer control lines 311 and discharge control lines 312, which will be described later) in the row direction.
  • each pixel 201 of the pixel block 200 is connected to the common control line so as to be set to the same exposure time.
  • every n pixels 201 arranged in the row direction are connected by the common control line.
  • one pixel block 200 may be set to a different exposure time than the other pixel block 200.
  • the plurality of pixels 201 of one pixel block 200 and the plurality of pixels 201 of the other pixel block 200 are different. Connected by a control line.
  • a plurality of pixels 201 in the m-th row of one pixel block 200 are commonly connected by a control line different from the common control line to which the plurality of pixels 201 in the m-th row of the other pixel block 200 are connected. .
  • the plurality of pixels 201 of one pixel block 200 and the plurality of pixels 201 of the other pixel block 200 are different. Connected by a control line. A plurality of pixels 201 in the m-th row of one pixel block 200 are commonly connected by a control line different from the common control line to which the plurality of pixels 201 in the m-th row of the other pixel block 200 are connected. .
  • the plurality of pixels 201 of one pixel block 200 and the plurality of pixels 201 of the other pixel block 200 are connected by different signal lines 202 .
  • a plurality of pixels 201 in the n-th column of one pixel block 200 are commonly connected by a signal line 202 different from the common signal line 202 to which the plurality of pixels 201 in the n-th column of the other pixel block 200 are connected.
  • the plurality of pixels 201 of one pixel block 200 and the plurality of pixels 201 of the other pixel block 200 are different.
  • a plurality of pixels 201 in the n-th column of one pixel block 200 are commonly connected by a signal line 202 different from the common signal line 202 to which the plurality of pixels 201 in the n-th column of the other pixel block 200 are connected. be done.
  • the pixel block 200 is arranged corresponding to control blocks 400A and 400B (see FIGS. 4 and 17), which will be described later. That is, one pixel block 200 is arranged for one control block 400A, 400B.
  • a plurality of pixel blocks 200 may be arranged for one control block 400A, 400B. Even when a plurality of pixel blocks 200 are arranged for one control block 400A, 400B, each pixel block 200 may be set to a different exposure time.
  • the control blocks 400A and 400B control 2m ⁇ n pixels 201 .
  • the control blocks 400A and 400B control 32 ⁇ 16 pixels 201, for example.
  • the number of pixels 201 corresponding to control blocks 400A and 400B is not limited to this.
  • FIG. 3 is a circuit diagram showing an example of the circuit configuration of the pixel 201.
  • FIG. A pixel 201 includes a photoelectric conversion unit 300 and a readout unit 310 .
  • the readout unit 310 includes a transfer unit 301, a discharge unit 302, an FD (floating diffusion) 303, a reset unit 304, and a pixel output unit 305.
  • a pixel based on the charge converted by the photoelectric conversion unit 300 A signal is read out on the signal line 202 .
  • the pixel output section 305 has an amplification section 351 and a selection section 352 .
  • Reading section 310 Transfer section 301 , discharge section 302 , FD 303 , reset section 304 , amplification section 351 and selection section 352 are referred to as reading section 310 .
  • the reading unit 310 is described as an N-channel FET, but the type of transistor is not limited to this.
  • the photoelectric conversion unit 300 has a photoelectric conversion function of converting light into charge.
  • the photoelectric conversion unit 300 accumulates photoelectrically converted charges.
  • Photoelectric conversion unit 300 is configured by, for example, a photodiode.
  • a transfer unit 301 transfers the charge of the photoelectric conversion unit 300 to the FD 303 .
  • the transfer section 301 controls electrical connection between the photoelectric conversion section 300 and the FD 303 .
  • the transfer unit 301 is composed of, for example, transistors. Further, the transfer unit 301 may be an element that constitutes a part of a transistor that has at least a gate terminal, a part of the photoelectric conversion part 300 as a source terminal, and a part of the FD 303 as a drain terminal.
  • a gate terminal of the transfer unit 301 is connected to a transfer control line 311 for inputting a transfer control signal ⁇ TX.
  • the transfer control line 311 will be described later.
  • the discharge unit 302 discharges the charges accumulated in the photoelectric conversion unit 300 to the power supply wiring supplied with the power supply voltage VDD.
  • the discharge unit 302 controls connection between the photoelectric conversion unit 300 and the power wiring.
  • the discharge unit 302 is configured by, for example, a transistor.
  • the discharge portion 302 is an element that constitutes part of a transistor that has at least a gate terminal, a portion of the photoelectric conversion portion 300 as a source terminal, and a portion of the diffusion region connected to the power supply wiring as a drain terminal. There may be.
  • a gate terminal of discharge unit 302 is connected to discharge control line 312 for inputting discharge control signal ⁇ PDRST.
  • the discharge unit 302 discharges the charge of the photoelectric conversion unit 300 to the power supply wiring to which the power supply voltage VDD is supplied, the electric charge may be discharged to the power supply wiring to which the power supply voltage different from the power supply voltage VDD is supplied. good.
  • the FD 303 is transferred from the photoelectric conversion unit 300 by the transfer unit 301 .
  • the FD 303 accumulates charges transferred from the photoelectric conversion unit 300 .
  • the reset unit 304 discharges the charge accumulated in the FD 303 to the power supply wiring supplied with the power supply voltage VDD.
  • the reset unit 304 resets the potential of the FD 303 to the power supply voltage VDD, which is the reference potential.
  • the reset unit 304 controls electrical connection between the FD 303 and power wiring.
  • Reset unit 304 is configured by, for example, a transistor. Further, the reset unit 304 may be an element that constitutes part of a transistor that has at least a gate terminal, a part of the FD 303 as a source terminal, and a part of the diffusion region connected to the power supply wiring as a drain terminal. good.
  • a gate terminal of the reset unit 304 is connected to a reset control line 313 for inputting a reset control signal ⁇ RST. The reset control line 313 will be described later.
  • a pixel output unit 305 outputs a pixel signal based on the potential of the FD 303 to the signal line 202 .
  • the pixel output section 305 has an amplification section 351 and a selection section 352 .
  • the amplifier section 351 is configured by a transistor.
  • the amplification unit 351 has a gate terminal connected to the FD 303 , a drain terminal connected to a power supply line supplied with a power supply voltage VDD, and a source terminal connected to the drain terminal of the selection unit 352 .
  • the selection unit 352 controls electrical connections between the pixels 201 and the signal lines 202 .
  • a pixel signal is output from the pixel 201 to the signal line 202 .
  • the selection unit 352 is configured by a transistor.
  • the selection unit 352 is an element that constitutes part of a transistor that has at least a gate terminal, a part of the amplification part 351 as a source terminal, and a part of the diffusion region connected to the signal line 202 as a drain terminal. There may be.
  • a gate terminal of the selection section 352 is connected to a selection control line 314 extending over a plurality of pixel blocks 200 for inputting a selection control signal ⁇ SEL.
  • a source terminal of the selector 352 is connected to the load current source 306 .
  • a load current source 306 is connected to the signal line 202 and supplies current for reading pixel signals from the pixels 201 . Thereby, the operation of the amplifier 351 can be stabilized.
  • a load current source 306 is also connected to the signal line 202 .
  • the load current source 306 may be provided on the first semiconductor substrate 110 or may be provided on the second semiconductor substrate 120 .
  • the FD 303 and the pixel output unit 305 may be shared with other pixels 201 .
  • the FD 303 and the pixel output unit 305 may be shared by a plurality of pixels 201 arranged in rows or columns.
  • the pixel 201 may be composed of a plurality of photoelectric conversion units 300 and transfer units 301 .
  • FIG. 4 is an explanatory diagram showing an example of a specific configuration of the control circuit section 102.
  • the control circuit section 102 has a plurality of control blocks 400A.
  • a plurality of control blocks 400A are arranged side by side in the row direction and the column direction in the control circuit portion 102 .
  • the control circuit section 102 has M ⁇ N control blocks 400A.
  • the control circuit section 102 has the control block 400A immediately below the pixel block 200.
  • FIG. One pixel block 200 and one control block 400A have substantially the same shape and size.
  • control circuit unit 102 arranges one control block 400A immediately below the plurality of pixel blocks 200 arranged in the column direction. It has a control block 400A.
  • the control block 400A is provided corresponding to the pixel block 200.
  • the control block 400A is positioned directly below the pixel block 200 in the direction in which the first semiconductor substrate 110 and the second semiconductor substrate 120 are stacked (stacking direction).
  • the control block 400A is electrically connected to the pixel block 200 by the signal line 202, the transfer control line 311 and the discharge control line 312.
  • FIG. Specifically, the control block 400A positioned immediately below the pixel block 200 in the stacking direction is controlled by local control lines such as the transfer control line 311 and the discharge control line 312 to control the pixel block 200 directly above in the stacking direction. It is electrically connected to the pixel block 200).
  • the control block 400A inputs pixel signals output from the pixels 201 of the corresponding pixel block 200 via the signal line 202 .
  • the control block 400A controls driving of the corresponding pixel block 200.
  • control block 400A controls the exposure time of pixels 201 included in corresponding pixel block 200 .
  • the control block 400A also has a signal processing unit 402 that processes the input signal, and processes the pixel signal output from the pixel 201 included in the corresponding pixel block 200.
  • FIG. For example, the control block 400A converts analog pixel signals output from the pixels 201 included in the corresponding pixel block 200 into digital signals.
  • the control block 400A has a pixel control section 401 and a signal processing section 402 .
  • the pixel control unit 401 has an autonomous exposure processing unit 411 , an exposure control unit 412 and a pixel driving unit 413 and controls the pixels 201 of the pixel unit 101 .
  • the signal processing unit 402 includes a signal input unit 421, a signal conversion unit 422, and a signal output unit 423, converts analog pixel signals from the pixel unit 101 into digital signals, and outputs them to the pixel control unit 401 and data processing. transfer to unit 103;
  • the autonomous exposure processing unit 411 is a circuit that calculates the exposure time of the pixels 201 included in the corresponding pixel block 200 based on the pixel signals converted into digital signals by the signal processing unit 402 . Details of the autonomous exposure processing unit 411 will be described later.
  • the exposure control unit 412 is a circuit that controls exposure of the pixels 201 included in the corresponding pixel block 200 based on the exposure time calculated by the autonomous exposure processing unit 411 . Specifically, the exposure control unit 412 generates a control signal for controlling the exposure time of the pixels 201 included in the corresponding pixel block 200 (the charge accumulation time of the photoelectric conversion unit 300). For example, the exposure control unit 412 controls the exposure time of each pixel block 200 by adjusting the exposure start timing or end timing of the pixels 201 included in the corresponding pixel block 200 .
  • the exposure controller 412 is provided extending in the row direction in the control block 400A.
  • the pixel drive section 413 outputs the control signal generated by the exposure control section 412 to the pixels 201 included in the corresponding pixel block 200 .
  • the pixel drive section 413 is a drive circuit that drives the pixels 201 included in the corresponding pixel block 200 .
  • the pixel driving section 413 drives the pixels 201 in the pixel row selected from the pixels 201 included in the corresponding pixel block 200 .
  • the pixel driving unit 413 is provided extending in the column direction. Accordingly, the pixel drive unit 413 is arranged at a position corresponding to the m pixels 201 arranged in the column direction.
  • the pixel driving section 413 extends in the column direction, and the autonomous exposure processing section 411 and the exposure control section 412 extend in the row direction. Therefore, they are arranged in an L shape.
  • the signal input unit 421 inputs pixel signals output from the pixels 201 included in the corresponding pixel block 200 .
  • the signal input section 421 outputs the input pixel signal to the signal conversion section 422 .
  • the signal input section 421 may be provided for every n pixels 201 arranged in the row direction in the corresponding pixel block 200 .
  • the signal input unit 421 may have a processing circuit that performs signal processing such as noise removal processing on pixel signals output from the first semiconductor substrate 110 .
  • the signal input unit 421 may have a voltage adjustment circuit that adjusts the voltage of the signal line 202 connected to the pixel 201 included in the corresponding pixel block 200 so that the voltage does not fall below a predetermined value.
  • the load current source 306 When the load current source 306 is arranged on the second semiconductor substrate, it may be arranged on the signal input section 421 included in the corresponding control block 400A.
  • the signal conversion unit 422 converts the pixel signal output from the signal input unit 421 into a digital signal.
  • the signal conversion unit 422 sequentially converts the pixel signals output from the m pixels 201 arranged in the column direction in the corresponding pixel block 200 into digital signals.
  • the signal conversion unit 422 converts pixel signals output from the pixels 201 arranged in n columns in the row direction in the corresponding pixel block 200 into digital signals in parallel.
  • the signal output unit 423 stores pixel signals converted into digital signals by the signal conversion unit 422 .
  • the signal output section 423 may have a latch circuit for storing digital signals.
  • the signal output section 423 is arranged between the signal conversion section 422 and the autonomous exposure processing section 411 in the column direction.
  • the signal output unit 423 outputs the pixel signal converted into the digital signal to the outside of the control circuit unit 102 .
  • the signal output unit 423 is provided extending in the row direction in the control block 400A.
  • the signal output section 423 is arranged between the signal conversion section 422 and the autonomous exposure processing section 411 in the column direction.
  • FIG. 5 is an explanatory diagram showing an example of the internal configuration of the control block 400A.
  • the signal conversion unit 422 includes n comparators 501 and n storage units 502 .
  • the exposure controller 412 includes a pixel block controller 503 and a level shifter 504 .
  • a combination of one comparator 501 and a storage unit 502 connected to the comparator 501 constitutes one ADC (Analog-to-Digital Converter) 500 .
  • ADC Analog-to-Digital Converter
  • the comparator 501 is provided extending in the column direction in the control block 400A.
  • the n comparators 501 are arranged side by side in the row direction.
  • the comparator 501 is arranged for every m pixels 201 arranged in the column direction in the corresponding pixel block 200 .
  • the comparator 501 sequentially reads pixel signals of m pixels 201 arranged in the column direction in the corresponding pixel block 200 and converts them into digital signals.
  • a storage unit 502 stores pixel signals converted into digital signals using the comparator 501 .
  • the storage unit 502 is provided on the negative side in the Y-axis direction of the comparator 501 in the signal conversion unit 422 .
  • storage unit 502 has a latch circuit.
  • the storage unit 502 may have a memory configured by an SRAM or the like.
  • the pixel block control unit 503 controls the operations of the transfer unit 301 and the discharge unit 302 of the pixels 201 included in the corresponding pixel block 200 . Specifically, the pixel block control unit 503 controls the transfer control signal ⁇ TX for controlling the transfer unit 301 included in the pixel 201 included in the corresponding pixel block 200, and the discharge unit included in the pixel 201 included in the corresponding pixel block 200. A discharge control signal ⁇ PDRST for controlling 302 is output.
  • the pixel block control section 503 is provided extending in the row direction in the control block 400A.
  • the pixel block controller 503 is arranged between the level shifter 504 and the autonomous exposure processor 411 in the column direction.
  • a level shifter 504 adjusts the voltage level of the control signal output from the pixel block controller 503 . Specifically, the level shifter 504 boosts the voltage level of the transfer control signal ⁇ TX output from the pixel block controller 503 . Also, the level shifter 504 boosts the voltage level of the discharge control signal ⁇ PDRST output from the pixel block controller 503 .
  • the transfer unit 301 inputs the transfer control signal ⁇ TX boosted by the pixel block control unit 503 via the transfer control line 311 .
  • the discharge unit 302 inputs the discharge control signal ⁇ PDRST boosted by the pixel block control unit 503 via the discharge control line 312 .
  • the pixel block control section 503 boosts the transfer control signal ⁇ TX and the discharge control signal ⁇ PDRST to the voltage levels used in the transfer section 301 and discharge section 302 of the readout section 310 of the pixel 201 .
  • the level shifter 504 is provided extending in the row direction in the control block 400A.
  • the level shifter 504 is provided closer to the outer circumference of the control block 400A than the pixel block controller 503 is.
  • the positive end in the X-axis direction and the negative end in the Y-axis direction of the level shifter 504 are located on the outermost side of the control block 400A.
  • the negative end of the level shifter 504 in the X-axis direction is in contact with the pixel driver 413 .
  • the level shifter 504 and the pixel driver 413 handle signals after level shifting.
  • the autonomous exposure processing unit 411 , pixel block control unit 503 , level shift unit 504 and pixel driving unit 413 handle pixel signals output from the first semiconductor substrate 110 .
  • each configuration of the control block 400A is formed in a well region provided in the second semiconductor substrate 120.
  • FIG. The well regions are separated according to the voltage level of the signal to be handled.
  • the well regions are separated depending on whether the power supply used is a digital power supply or an analog power supply. Further, even when the same analog power supply is used, the signal conversion section 422 may be separated from areas using other analog power supplies from the viewpoint of noise. Separation of well regions requires well isolation regions spaced according to manufacturing process rules.
  • the control block 400A separates well regions for forming the level shifter 504 and the pixel driver 413 from other well regions.
  • the level shifter 504 and the pixel driver 413 can share the well region of the level shifter 504 and the pixel driver 413 by being provided in an L shape. By sharing the well region, the well isolation region can be omitted, thereby improving layout efficiency.
  • the L-shaped pixel control unit 401 constitutes part of the outer circumference of the control block 400A. This allows the well region to be shared with other control blocks 400A adjacent in the row and column directions.
  • FIG. 6 is an explanatory diagram showing an example of signal transmission between the first semiconductor substrate 110 and the second semiconductor substrate 120 in the imaging element 100A.
  • the global driving section 600 is provided in the peripheral circuit section 121 arranged on both sides of the control circuit section 102 .
  • the transfer control line 311a and the discharge control line 312a are each connected to the pixels 201 included in the pixel block 200a.
  • the transfer control line 311a is connected to the gate terminal of the transfer section 301 of the pixel 201 included in the pixel block 200a
  • the discharge control line 312a is connected to the gate terminal of the discharge section 302 of the pixel 201 included in the pixel block 200a. be done.
  • the transfer control line 311a supplies the transfer control signal ⁇ TX output from the control block 400Aa to the transfer units 301 of the pixels 201 included in the pixel block 200a.
  • the discharge control line 312a supplies the discharge control signal ⁇ PDRST output from the control block 400Aa to the discharge section 302 of the pixel 201 included in the pixel block 200a.
  • the transfer control line 311b and the discharge control line 312b are each connected to the pixels 201 included in the pixel block 200b.
  • the transfer control line 311b is connected to the gate terminal of the transfer section 301 of the pixel 201 included in the pixel block 200b
  • the discharge control line 312b is connected to the gate terminal of the discharge section 302 of the pixel 201 included in the pixel block 200b. be done.
  • the transfer control line 311b supplies the transfer control signal ⁇ TX output from the control block 400Ab to the transfer units 301 of the pixels 201 included in the pixel block 200b.
  • the discharge control line 312b supplies the discharge control signal ⁇ PDRST output from the control block 400Ab to the discharge units 302 of the pixels 201 included in the pixel block 200b.
  • the transfer control lines 311a and 311b are referred to as a transfer control line 311 when not distinguished from each other.
  • the emission control line 312a and the emission control line 312b are referred to as the emission control line 312 when they are not distinguished from each other.
  • the transfer control line 311 and the discharge control line 312 are examples of local control lines connected to the first pixel of the pixel block 200 .
  • the transfer control line 311 and the discharge control line 312 are commonly connected to the n pixels 201 arranged in the row direction in the pixel block 200 .
  • the global driving section 600 outputs a reset control signal ⁇ RST, a selection control signal ⁇ SEL and a transfer selection control signal ⁇ TXSEL.
  • the global driver 600 is connected to reset control lines 313 , select control lines 314 , and transfer select control lines 603 that output control signals to respective pixel blocks 200 .
  • the global driving section 600 supplies the reset control signal ⁇ RST and the selection control signal ⁇ SEL to the plurality of pixel blocks 200 via the reset control line 313 and the selection control line 314 .
  • the global driver 600 supplies a transfer selection control signal ⁇ TXSEL to the plurality of control blocks 400A through the transfer selection control line 603.
  • a transfer selection control signal ⁇ TXSEL is supplied from the global driving section 600 to the control block 400A in order to control the exposure time of each pixel block 200.
  • the control block 400 A supplied with the transfer selection control signal ⁇ TXSEL outputs the transfer selection control signal ⁇ TXSEL to the corresponding pixel block 200 .
  • the control block 400A determines whether to input the transfer selection control signal ⁇ TXSEL to the pixel 201 as the transfer control signal ⁇ TX or the discharge control signal ⁇ PDRST. As a result, the input of the transfer control signal ⁇ TX or the discharge control signal ⁇ PDRST to the pixel 201 is skipped.
  • the control block 400A extends the exposure time by skipping the transfer control signal ⁇ TX. Further, when the transfer control signal ⁇ TX determines the exposure start time, the control block 400A can shorten the exposure time by skipping the transfer control signal ⁇ TX. Thus, the exposure time of the pixel block 200 can be adjusted by the transfer selection control signal ⁇ TXSEL. The same is true when the discharge control signal ⁇ PDRST determines the start time or end time of exposure.
  • a reset control line 313 , a selection control line 314 , and a transfer selection control line 603 are commonly provided for a plurality of pixel blocks 200 .
  • the reset control lines 313, the selection control lines 314, and the transfer selection control lines 603 are wired across the first semiconductor substrate 110 in the row direction.
  • the reset control lines 313, the selection control lines 314, and the transfer selection control lines 603 may be wired across the first semiconductor substrate 110 in the column direction.
  • the reset control line 313 is connected to the gate terminal of the reset section 304 of the pixel 201 in the pixel block 200 and supplies the reset control signal ⁇ RST.
  • the selection control line 314 is connected to the gate terminal of the selection section 352 of the pixel 201 in the pixel block 200 and supplies the selection control signal ⁇ SEL.
  • a transfer selection control line 603 is connected to each of the plurality of control blocks 400A and supplies a transfer selection control signal ⁇ TXSEL to the pixel control section 401 .
  • the global drive unit 600 outputs the transfer selection control signal ⁇ TXSEL from the second semiconductor substrate 120 via the first semiconductor substrate 110 to the control block 400A.
  • a transfer selection control signal ⁇ TXSEL may be output to the block 400A.
  • the transfer selection control line 603 is provided on the second semiconductor substrate 120 .
  • the bonding portion 610 is provided on the bonding surface where the first semiconductor substrate 110 and the second semiconductor substrate 120 are bonded to each other.
  • the junction 610 aligns the transfer control line 311 , the discharge control line 312 , and the transfer selection control line 603 between the first semiconductor substrate 110 and the second semiconductor substrate 120 .
  • Each of the joints 610 is composed of a pair of conductive joint pads, which are joined by pressure treatment or the like on the first semiconductor substrate 110 and the second semiconductor substrate 120 to be electrically connected.
  • the imaging element 100A controls the exposure time for each pixel block 200 by changing the timing of at least one of the transfer section 301 and the discharge section 302 by local control lines such as the transfer control line 311 and the discharge control line 312. .
  • local control lines such as transfer control line 311 and discharge control line 312
  • global control lines such as reset control line 313, select control line 314, and transfer select control line 603, imager 100A can achieve more Control of the exposure time can be realized with a small number of control lines.
  • FIG. 7 is an explanatory diagram showing an example of an XZ direction cross section of the imaging element 100A according to this embodiment.
  • the imaging device 100A includes a microlens layer 700, a color filter layer 702, a first semiconductor substrate 110, a second semiconductor substrate 120, and a third semiconductor substrate .
  • the light from the object is incident in the direction indicated by the white arrow (negative Z-axis direction in the figure).
  • the surface of the first semiconductor substrate 110 on which light is incident (the Z-axis positive side in the drawing) may be referred to as the front surface, and the opposite surface (the Z-axis negative side in the drawing) may be referred to as the back surface. .
  • the microlens layer 700 has a plurality of microlenses 701 .
  • a plurality of microlenses 701 are stacked on the Z-axis positive side of the color filter layer 702 .
  • Light is incident on the microlens 701 .
  • the microlens 701 converges incident light onto the photoelectric conversion unit 300 .
  • a microlens 701 may be provided for each photoelectric conversion unit 300 .
  • the optical axis L of the microlens 701 is the stacking direction (direction parallel to the Z-axis) of the first semiconductor substrate 110, the second semiconductor substrate 120, and the third semiconductor substrate .
  • the color filter layer 702 has a plurality of color filters 703 and a passivation film 704.
  • the color filter layer 702 is stacked on the Z-axis positive side of the first semiconductor layer 711 .
  • a color filter 703 is an optical filter that transmits light in a specific wavelength range.
  • a color filter 703 is an optical filter having specific spectral characteristics.
  • the plurality of color filters 703 have a plurality of optical filters with different spectral characteristics and transmit light in different wavelength regions.
  • a plurality of color filters 703 are provided in a specific arrangement (eg, Bayer arrangement).
  • the first semiconductor substrate 110 is a back-illuminated CMOS image sensor.
  • the first semiconductor substrate 110 has a first semiconductor layer 711 and a first wiring layer 712 .
  • the first semiconductor layer 711 is provided on the Z-axis positive side of the first wiring layer 712 .
  • the first semiconductor layer 711 has a plurality of pixel blocks 200 two-dimensionally arranged in the row direction and the column direction.
  • the first semiconductor layer 711 has a plurality of pixels 201 two-dimensionally arranged in the row direction and the column direction.
  • the pixels 201 each have a plurality of photoelectric conversion units 300 that accumulate charges based on incident light, and a plurality of readout units 310 .
  • the first wiring layer 712 is provided closer to the second semiconductor substrate 120 than the first semiconductor layer 711 (the Z-axis negative side in the drawing).
  • the first wiring layer 712 has a plurality of wirings 713 made of a conductor film (metal film), a plurality of bonding pads 714, and an insulating film (insulating layer).
  • the first wiring layer 712 has a plurality of wirings 713 electrically connected to a power source, a circuit, or the like.
  • the wiring 713 is specifically, for example, a power supply wiring to which a predetermined power supply voltage is supplied, and transmits pixel signals from the first semiconductor substrate 110 (pixels) to the second semiconductor substrate 120 .
  • the first wiring layer 712 may be multi-layered and may be provided with passive elements and active elements.
  • the bonding pad 714 is provided on the surface (surface on the Z-axis negative side) of the first wiring layer 712 and connected to the wiring 713 .
  • Bond pads 714 are also used to assist in connecting layers, as described below.
  • Bond pads 714 are formed of a conductive material such as, for example, copper. Note that the bond pads 714 may be made of gold, silver, or aluminum.
  • An insulating layer (insulating film) is formed between the plurality of wirings 713 and between the plurality of bonding pads 714 .
  • the second semiconductor substrate 120 has a second semiconductor layer 721 , a second wiring layer 722 and a wiring layer 723 .
  • the second wiring layer 722 is provided closer to the first semiconductor substrate 110 than the second semiconductor layer 721 (on the Z-axis positive side in the drawing).
  • the wiring layer 723 is provided closer to the third semiconductor substrate 130 than the second semiconductor layer 721 (the Z-axis negative side in the drawing), and is provided between the second semiconductor layer 721 and the third semiconductor substrate 130 .
  • the second semiconductor layer 721 has the control circuit section 102 and the peripheral circuit section 121 .
  • the control circuit section 102 has a plurality of control blocks 400A arranged two-dimensionally in the row direction and the column direction.
  • the second semiconductor substrate 120 includes a plurality of wirings 713 provided on the second wiring layer 722 and a plurality of bonding pads 714 provided on the second wiring layer 722 and the wiring layer 723 . , and insulating films (insulating layers) provided in the second wiring layer 722 and the wiring layer 723 .
  • the second wiring layer 722 is used to electrically connect to a power source, a circuit, or the like, to transmit signals from the pixel portion 101 to the control circuit portion 102, and to transmit signals from the control circuit portion 102 to the pixel portion 101. , a plurality of traces 713 and bonding pads 714 .
  • the wiring 713 is specifically, for example, a power supply wiring to which a predetermined power supply voltage is supplied, and transmits pixel signals from the first semiconductor substrate 110 (pixels) to the second semiconductor substrate 120 .
  • the second wiring layer 722 may be multi-layered and may be provided with passive elements and active elements. Wiring 713 and bond pads 714 may be further provided on wiring layer 723 .
  • the second semiconductor substrate 120 further has TSVs (through silicon vias) 724 that connect the circuits respectively provided on the front and back surfaces.
  • TSVs 724 are preferably provided in the peripheral region.
  • the TSV 724 transmits image data and the like generated by the data processing unit 103 to the first semiconductor substrate 110 .
  • the TSV 724 may also be provided on the first semiconductor substrate 110 and the third semiconductor substrate 130 .
  • the third semiconductor substrate 130 has a third semiconductor layer 731 provided with the data processing section 103 and a third wiring layer 732 .
  • the third wiring layer 732 is provided between the third semiconductor layer 731 and the second semiconductor substrate 120 .
  • the third semiconductor substrate 130 has wiring 713 and a plurality of bonding pads 714 provided in a third wiring layer 732, like the first semiconductor substrate 110.
  • the third wiring layer 732 is for electrically connecting to a power supply or a circuit, etc., for transmitting signals from the control circuit section 102 to the data processing section 103, and for transmitting signals from the data processing section 103 to the second semiconductor substrate. It has a plurality of wires 713 and bonding pads 714 for transmission to the control circuitry 102 of 120 .
  • the first semiconductor substrate 110, the second semiconductor substrate 120, and the third semiconductor substrate 130 are laminated by electrical connection between the bonding pads 714 provided on each layer and bonding between wiring layers (insulating layers) on each layer. be done.
  • the surface of the first wiring layer 712 on the Z-axis negative side and the surface of the second wiring layer 722 on the Z-axis positive side form a boundary surface 720.
  • a boundary surface 730 is formed between the surface of the wiring layer 723 on the Z-axis negative side and the surface of the third wiring layer 732 on the Z-axis positive side.
  • a plurality of bond pads 714 are disposed on interface 720 and interface 730 . Specifically, corresponding bond pads 714 are aligned and the two layers are laminated to electrically connect the aligned bonds.
  • the first semiconductor substrate 110, the second semiconductor substrate 120, and the third semiconductor substrate 130 may be stacked in the state of wafers before chipping, and formed (individualized) by dicing the stacked wafers.
  • the first semiconductor substrate 110, the second semiconductor substrate 120, and the third semiconductor substrate 130 may be formed by laminating after dicing each wafer.
  • FIG. 8 is a timing chart showing imaging operation example 1 of the imaging device 100A.
  • FIG. 8 shows an example of an imaging operation in which driving of the imaging element 100A is controlled by the transfer control signal ⁇ TX, discharge control signal ⁇ PDRST, reset control signal ⁇ RST, and selection control signal ⁇ SEL.
  • discharge control signal ⁇ PDRST is locally controlled
  • transfer control signal ⁇ TX, reset control signal ⁇ RST and select control signal ⁇ SEL are globally controlled. ⁇ 1>, ⁇ 2>, .
  • the discharge control signal ⁇ PDRST controls the timing of starting exposure.
  • the exposure start timing corresponds to the fall timing of the discharge control signal ⁇ PDRST (for example, time T1). That is, before the exposure start time T1, the discharge control signal ⁇ PDRST turns on the discharge unit 302 to discharge the charges accumulated in the photoelectric conversion unit 300, and the exposure starts at the fall of the discharge control signal ⁇ PDRST. do. Since the discharge control signal ⁇ PDRST is locally controlled, the exposure time can be adjusted for each pixel block 200 .
  • the transfer control signal ⁇ TX controls the timing of ending exposure.
  • the transfer control signal ⁇ TX turns on the transfer unit 301 to transfer the charge accumulated in the photoelectric conversion unit 300 to the FD 303 .
  • the end timing of exposure corresponds to the falling timing of the transfer control signal ⁇ TX (for example, time T4). Since the transfer control signal ⁇ TX is a globally controlled signal, the timing of ending exposure in each pixel block 200 is the same.
  • the reset control signal ⁇ RST controls the timing of discharge of charges accumulated in the FD 303 .
  • the reset control signal ⁇ RST turns on the reset section 304 to discharge the charge of the FD 303 .
  • a selection control signal ⁇ SEL is a signal for selecting an arbitrary pixel 201 .
  • the selection control signal ⁇ SEL controls on/off of the selection section 352 .
  • the selection control signal ⁇ SEL is set high.
  • the imaging element 100A can change the exposure start timing for each pixel block 200 and control the exposure time for each pixel block 200 by locally controlling the discharge control signal ⁇ PDRST. Further, the imaging device 100A may control the end timing of exposure for each pixel block 200 by locally controlling the transfer control signal ⁇ TX. The imaging element 100A may control both the start timing and the end timing of exposure for each pixel block 200 by locally controlling both the transfer control signal ⁇ TX and the discharge control signal ⁇ PDRST.
  • FIG. 9 is a timing chart showing an imaging operation example 2 of the imaging element 100A.
  • FIG. 9 shows an example of an imaging operation in which driving of the imaging element 100A is controlled by the transfer control signal ⁇ TX, reset control signal ⁇ RST, and selection control signal ⁇ SEL.
  • the imaging element 100A differs from the case of FIG. 8 in that the timing of starting exposure is controlled by the transfer control signal ⁇ TX. Points different from FIG. 8 will be particularly described.
  • the transfer control signal ⁇ TX controls the timing of starting and ending exposure. In frame (n), exposure starts at time T5 and ends at time T7.
  • exposure starts when the transfer control signal ⁇ TX falls. That is, before the exposure start time T5, the transfer control signal ⁇ TX turns on the transfer unit 301 while the reset control signal ⁇ RST is turned on, thereby discharging the charge accumulated in the photoelectric conversion unit 300. Exposure starts at the fall of the transfer control signal ⁇ TX. Since the transfer control signal ⁇ TX is a locally controlled signal, it is possible to change the timing of starting exposure in each pixel block 200 . However, the timing of starting exposure in each pixel block 200 may be matched.
  • the transfer control signal ⁇ TX falls, thereby ending the exposure. That is, before the exposure end time T7, the transfer control signal ⁇ TX turns on the transfer unit 301 while the reset control signal ⁇ RST is turned off, thereby transferring the charge accumulated in the photoelectric conversion unit 300 to the FD 303. Then, the exposure ends when the transfer control signal ⁇ TX falls. Since the transfer control signal ⁇ TX is a locally controlled signal, it is possible to change the timing of ending exposure in each pixel block 200 . However, the timing of ending exposure in each pixel block 200 may be matched.
  • a selection control signal ⁇ SEL is a signal for selecting an arbitrary pixel 201 .
  • the reset control signal ⁇ RST controls the timing of discharge of charges accumulated in the FD 303 .
  • Reset control signal ⁇ RST may be a globally controlled signal. Since the reset control signal ⁇ RST is always on except at the read timing, the FD 303 is not charged. On the other hand, by turning off the reset control signal ⁇ RST and turning on the transfer control signal ⁇ TX at the read timing, charges are transferred from the photoelectric conversion unit 300 to the FD 303 . Since the reset control signal ⁇ RST has the same switching timing during reading, it can be shared with the pulse of the selection control signal ⁇ SEL.
  • the imaging device 100A can change the timing of starting or ending exposure for each pixel block 200 and control the exposure time for each pixel block 200 .
  • the control circuit can be further simplified.
  • FIG. 10 is a timing chart showing the imaging operation of the imaging device according to the comparative example.
  • FIG. 10 shows an imaging operation example in which driving of the imaging device is controlled by the transfer control signal ⁇ TX, reset control signal ⁇ RST, and selection control signal ⁇ SEL, and the exposure time is not controlled for each pixel block 200 .
  • the start of exposure is controlled by the transfer control signal ⁇ TX and the reset control signal ⁇ RST.
  • the exposure start timing is the fall timing (time t1) of the transfer control signal ⁇ TX and the reset control signal ⁇ RST.
  • the end timing of exposure is the fall timing (time t2) of the transfer control signal ⁇ TX.
  • the exposure start timing and end timing are globally controlled, and the exposure time is not controlled for each pixel block 200 .
  • FIG. 11 is an explanatory diagram showing an example of a subject imaged by the imaging device 100A.
  • the imaging device 100A controls the exposure time for each pixel block 200 in a situation where the afternoon sun is shining outside the tunnel.
  • Areas 1 to 5 are five areas divided according to brightness. Regions 1 to 5 are numbered in ascending order of brightness. Area 1 is the brightest area where the afternoon sun is directly visible. Region 2 is the region corresponding to the tunnel exit and is darker than region 1 . Area 3 is an area where the afternoon sun is reflected inside the tunnel and is darker than area 2 . Area 4 is an area in which the afternoon sun from the exit of the tunnel is inserted, and is darker than area 3 . Region 5 is the darkest region in the tunnel that is not exposed to the western sun from the exit.
  • the imaging element 100A controls the exposure time for each pixel block 200 according to the brightness of each area.
  • the image pickup device 100A performs control so that the exposure time of the pixel block 200 in a brighter area becomes shorter.
  • the exposure time for area 1 is set to be the shortest, and the exposure time for area 5 is set to be the longest.
  • the exposure times for regions 1 to 5 are 1/19200 s, 1/1920 s, 1/960 s, 1/240 s and 1/120 s.
  • FIG. 12 is a timing chart showing the exposure time for each of regions 1-5 shown in FIG.
  • the imaging device 100A controls the exposure time for each pixel block 200 of regions 1 to 5 shown in FIG.
  • a section from time T11 to time T19 corresponds to the video frame rate.
  • control block 400A controls driving so that the exposure time in the pixel block 200 is the predetermined exposure time ET1.
  • the control block 400A controls the start of exposure with a discharge control signal ⁇ PDRST and the end of exposure with a transfer control signal ⁇ TX. In region 1, exposure is completed at each of time T12 to time T19.
  • the control block 400A controls driving so that the exposure time in the pixel block 200 is an exposure time ET2 longer than ET1.
  • the control block 400A makes the exposure start time of the area 2 earlier than that of the area 1, and makes the exposure end time of the area 1 match. Therefore, in region 2, exposure is completed at each of time T12 to time T19.
  • the exposure time ET2 of region 2 is shorter than the period of the sensor rate.
  • the control block 400A controls driving so that the exposure time in the pixel block 200 is an exposure time ET3 longer than ET2.
  • the control block 400A makes the exposure start time of the area 3 earlier than that of the area 2, and matches the exposure end time of the area 2.
  • FIG. Therefore, in region 3, exposure is completed at each of time T12 to time T19.
  • the exposure time ET3 of region 3 is set to be the same as the period of the sensor rate.
  • the control block 400A controls driving so that the exposure time in the pixel block 200 is an exposure time ET4 longer than ET3.
  • the control block 400A sets the exposure start time for the area 4 to be the same as that for the area 3, but skips the exposure end time by the transfer selection control signal ⁇ TXSEL.
  • the control block 400A realizes an exposure time four times that of the area 3 by skipping three times with the transfer selection control signal ⁇ TXSEL.
  • the transfer selection control signal ⁇ TXSEL is supplied at each time from time T12 to time T14.
  • the control block 400A controls driving so that the exposure time in the pixel block 200 is an exposure time ET5 longer than ET4.
  • the control block 400A sets the exposure start time for region 5 to be the same as that for region 4, while increasing the number of times the exposure end time is skipped by the transfer selection control signal ⁇ TXSEL.
  • the control block 400A realizes twice the exposure time of the area 4 by skipping seven times with the transfer selection control signal ⁇ TXSEL.
  • the exposure time ET5 of the area 5 is set to be the same as the cycle of the moving picture frame rate.
  • the transfer selection control signal ⁇ TXSEL is supplied at each time from time T12 to time T18.
  • the imaging device 100A realizes short-second exposure by shortening the interval between the transfer control signal ⁇ TX and the ejection control signal ⁇ PDRST. Further, the imaging device 100 realizes long exposure by skipping the control of the transfer control signal ⁇ TX by the transfer selection control signal ⁇ TXSEL. Thereby, the dynamic range can be expanded.
  • FIG. 13 is a plan view showing a layout example of a plurality of control blocks 400A.
  • the plurality of control blocks 400A are reversely arranged with respect to adjacent control blocks 400A.
  • FIG. 13 illustrates 12 control blocks 400A out of the plurality of control blocks 400A provided in the control circuit section 102. As shown in FIG.
  • the reverse arrangement means that the regions in which each component of the control block 400A (for example, the exposure control unit 412, the pixel driving unit 413, the signal input unit 421, the signal conversion unit 422, and the signal output unit 423) are formed are arranged in the control blocks 400A. mirror-inverted arrangement (arranged symmetrically) around the boundary line. Even the circuits of each component of the control block 400A do not have to be reversed. Also, the readout order of each pixel in the control block 400A is not limited to being read out in reverse order.
  • each configuration of the control block 400A is reversed in the row direction.
  • the drive units 413 are arranged adjacent to each other.
  • a plurality of pixel driving units 413 arranged side by side in the row direction can be laid out as one pixel driving unit 413, and the layout efficiency of the control block 400A can be improved.
  • each configuration of the control blocks 400A is reversed in the column direction, so that the boundary between both control blocks 400A is the same.
  • the configurations will be placed side by side.
  • a plurality of signal input sections 421 arranged side by side in the column direction can be laid out as one signal input section 421, and the layout efficiency of the control block 400A can be improved.
  • the control block 400A is reversely arranged with the adjacent control block 400A. All the control blocks 400A are reversed in the row direction and the column direction, but may be reversed in either the row direction or the column direction.
  • the signal conversion section 422 of the control block 400A is reversely arranged with respect to the signal conversion section 422 of the adjacent control block 400A in the row direction.
  • the signal conversion section 422 of the control block 400A is also reversely arranged with the signal conversion section 422 of the control block 400A adjacent in the column direction.
  • the control block 400Aa and the control block 400Ab are arranged side by side in the row direction.
  • the control block 400Aa is reversed from the control block 400Ab.
  • the level shifter 504 of the control block 400Aa is provided in the same well region as the level shifter 504 of the control block 400Ab.
  • the pixel block control section 503, the storage section 502 and the signal output section 423 are provided in the same well region in the control block 400Aa and the control block 400Ab.
  • the control block 400Ab and the control block 400Ac are arranged side by side in the row direction.
  • the control block 400Ab is reversed from the control block 400Ac.
  • the pixel driving section 413 of the control block 400Ab is provided in the same well region as the pixel driving section 413 of the control block 400Ac.
  • the well region of the pixel driver 413 may also be shared with the well region of the level shifter 504 .
  • the control block 400Aa and the control block 400Ad are arranged side by side in the column direction.
  • the control block 400Aa is reversed from the control block 400Ad.
  • the pixel driving section 413 of the control block 400Aa is provided in the same well region as the pixel driving section 413 of the control block 400Ad.
  • the signal conversion section 422 of the control block 400Aa is provided in the same well region as the signal conversion section 422 of the control block 400Ad.
  • the control block 400Ad and the control block 400Ae are provided adjacent to each other in the column direction.
  • the control block 400Ad is reversely arranged with respect to the control block 400Ae.
  • the pixel drive section 413 and the level shift section 504 of the control block 400Ad are provided in the same well region as the pixel drive section 413 and the level shift section 504 of the control block 400Ae.
  • the imaging device 100 can make the layout more efficient even when signal processing is performed in parallel for each control block 400A.
  • adjacent control blocks 400A can share a well region by reversely arranging a plurality of control blocks 400A on the XY plane. This reduces the number of times the well regions are switched and improves area efficiency.
  • FIG. 14 is a circuit diagram showing another example of the circuit configuration of the pixel 201.
  • FIG. In the pixel 201 the same reference numerals are assigned to the same configurations as in FIG. 3, and the description thereof is omitted.
  • the pixel 201 is not provided with the discharge section 302 provided in the pixel 201 .
  • the transfer control signal ⁇ TX is input to the gate terminal of the transfer unit 301 and the reset control signal is applied to the gate terminal of the reset unit 304 .
  • a signal ⁇ RST is input.
  • FIG. 15 is a timing chart showing example 3 of the imaging operation of the imaging element 100A.
  • FIG. 15 shows an image pickup operation example in which the pixel 201 shown in FIG. 14 uses the transfer control signal ⁇ TX, the reset control signal ⁇ RST, and the selection control signal ⁇ SEL to control driving of the image sensor 100A.
  • the imaging element 100A differs from the case of FIG. 12 in that the timing of starting exposure is controlled by the transfer control signal ⁇ TX. Differences from FIG. 12 will be particularly described.
  • the transfer control signal ⁇ TX controls the timing of starting and ending exposure. In frame (n), exposure starts at time T5 and ends at time T7.
  • exposure starts when the transfer control signal ⁇ TX falls. That is, before the exposure start time T5, the transfer control signal ⁇ TX turns on the transfer unit 301 while the reset control signal ⁇ RST is turned on, thereby discharging the charge accumulated in the photoelectric conversion unit 300. Exposure starts at the fall of the transfer control signal ⁇ TX. Since the transfer control signal ⁇ TX is a locally controlled signal, it is possible to change the timing of starting exposure in each pixel block 200 .
  • the transfer control signal ⁇ TX falls, thereby ending the exposure. That is, before the exposure end time T7, the transfer control signal ⁇ TX turns on the transfer unit 301 while the reset control signal ⁇ RST is turned off, thereby transferring the charge accumulated in the photoelectric conversion unit 300 to the FD 303. Then, the exposure ends when the transfer control signal ⁇ TX falls. Since the transfer control signal ⁇ TX is a locally controlled signal, it is possible to change the timing of ending exposure in each pixel block 200 .
  • a selection control signal ⁇ SEL is a signal for selecting an arbitrary pixel 201 .
  • the reset control signal ⁇ RST controls the timing of discharge of charges accumulated in the FD 303 .
  • Reset control signal ⁇ RST may be a globally controlled signal. Since the reset control signal ⁇ RST is always on except at the read timing, the FD 303 is not charged. On the other hand, by turning off the reset control signal ⁇ RST and turning on the transfer control signal ⁇ TX at the read timing, charges are transferred from the photoelectric conversion unit 300 to the FD 303 . Since the reset control signal ⁇ RST has the same switching timing during reading, it can be shared with the pulse of the selection control signal ⁇ SEL.
  • the pixel block 200 composed of a plurality of pixels 201 is exposed, and the control block 400A corresponding to the pixel block 200 is exposed.
  • Pixel signals from 200 can be read out and converted from analog signals to digital signals.
  • the image sensor 100A reads pixel signals in parallel for each pixel block 200 by means of a control block 400A provided for each pixel block 200.
  • FIG. Therefore, the imaging element 100A can set the exposure time for each pixel block 200 according to the intensity of the incident light, so that the dynamic range can be expanded.
  • the configuration of the imaging element 100B that performs exposure in units of pixel blocks 200, sequentially reads out pixel signals for each pixel row, and performs AD conversion for each pixel column will be described.
  • FIG. 16 is an exploded perspective view showing another example of the imaging element.
  • the imaging device 100B includes a first semiconductor substrate 110, a second semiconductor substrate 120 and a third semiconductor substrate . As shown in FIG. 16 , the first semiconductor substrate 110 is laminated on the second semiconductor substrate 120 , and the second semiconductor substrate 120 is laminated on the third semiconductor substrate 130 .
  • the first semiconductor substrate 110 has a pixel portion 101 and a connection region 1601 .
  • the pixel unit 101 outputs pixel signals based on incident light.
  • a connection region 1601 is arranged around the pixel portion 101 .
  • a pair of connection regions 1601 are arranged along two opposite sides of the first semiconductor substrate 110 on the front and back of the pixel portion 101 .
  • the second semiconductor substrate 120 has a control circuit section 102 , a peripheral circuit section 121 and a signal processing section 1602 .
  • the control circuit unit 102 outputs control signals for controlling driving of the pixel unit 101 to the pixel unit 101 .
  • the control circuit section 102 is arranged at a position facing the pixel section 101 on the second semiconductor substrate 120 .
  • the peripheral circuit section 121 controls driving of the control circuit section 102 .
  • the peripheral circuit section 121 is arranged around the control circuit section 102 on the second semiconductor substrate 120 .
  • the peripheral circuit section 121 may be electrically connected to the first semiconductor substrate 110 to control driving of the pixel section 101 .
  • the peripheral circuit section 121 is arranged along two opposite sides of the second semiconductor substrate 120, but the arrangement method of the peripheral circuit section 121 is not limited to this example.
  • An analog pixel signal output from the first semiconductor substrate 110 is input to the signal processing unit 1602 .
  • a signal processing unit 1602 performs signal processing on pixel signals. For example, the signal processing unit 1602 performs processing for converting analog pixel signals into digital signals.
  • the signal processing unit 1602 may perform other signal processing. Examples of other signal processing include noise reduction processing such as analog or digital CDS (Correlated Double Sampling).
  • the signal processing unit 1602 is arranged around the control circuit unit 102, that is, outside. In the example of FIG. 16 , a pair of signal processing units 1602 are arranged along two sides facing each other of the second semiconductor substrate 120 in front and behind the control circuit unit 102 .
  • the signal processing section 1602 may be a circuit included in the peripheral circuit section 121 .
  • the third semiconductor substrate 130 has the data processing section 103 .
  • the data processing unit 103 uses the digital data output from the second semiconductor substrate 120 to perform addition processing, thinning processing, and other image processing.
  • FIG. 17 is an explanatory diagram showing another example of the specific configuration of the control circuit section 102.
  • the control block 400B has the pixel control section 401 (autonomous exposure processing section 411, exposure control section 412, pixel driving section 413) but does not have the signal processing section 402.
  • FIG. 17 is an explanatory diagram showing another example of the specific configuration of the control circuit section 102.
  • the control block 400B has the pixel control section 401 (autonomous exposure processing section 411, exposure control section 412, pixel driving section 413) but does not have the signal processing section 402.
  • FIG. pixel control section 401 autonomous exposure processing section 411, exposure control section 412, pixel driving section 413
  • one control block 400B may be provided for N pixel blocks 200 (N is a natural number equal to or greater than 2).
  • the N pixel blocks 200 corresponding to one pixel block are sometimes called a pixel block group.
  • one control block 400B may be provided with two pixel blocks 200 arranged side by side in the column direction as one pixel block group. In this case, the control block 400B may control the exposure time for each pixel block 200.
  • FIG. 1 is a natural number equal to or greater than 2.
  • control block 400B is electrically connected to at least one pixel block 200 and can be said to be the minimum unit of a circuit that controls exposure of the pixels 201 of the at least one pixel block 200.
  • FIG. 18 is an explanatory diagram showing the connection relationship between the first semiconductor substrate 110 and the second semiconductor substrate 120 in the imaging element 100B.
  • the first semiconductor substrate 110 includes a connection region 1801 and a connection region 1601 provided around the pixel portion 101 and electrically connected to the pixel portion 101 .
  • the second semiconductor substrate 120 includes a connection region 1802 and a connection region 1803 provided around the control circuit section 102 and electrically connected to the control circuit section 102 .
  • connection regions 1801 are connected to a pair of connection regions 1802 located at opposite positions.
  • a connection region 1801 and a connection region 1802 connected to each other input a control signal from the global driving section 600 to the pixel section 101 using a global control line.
  • connection regions 1601 are connected to a pair of connection regions 1803 located at opposite positions.
  • the connection region 1601 and the connection region 1803 connected to each other input pixel signals from the pixel unit 101 to the corresponding ADC units 1820 and 1830 using a common signal line.
  • FIG. 19 is an explanatory diagram showing an example of signal transmission between the first semiconductor substrate 110 and the second semiconductor substrate 120 in the imaging element 100B.
  • the global driver 600 outputs a reset control signal ⁇ RST, a selection control signal ⁇ SEL and a transfer selection control signal ⁇ TXSEL.
  • the global driver 600 is connected to reset control lines 1903 and select control lines 1904 that output signals to the respective pixel blocks 200 .
  • the global driving section 600 supplies a reset control signal ⁇ RST to the plurality of pixel blocks 200 through a reset control line 1903 and supplies a selection control signal ⁇ SEL through a selection control line 1904 .
  • the global driver 600 supplies a transfer selection control signal ⁇ TXSEL to the plurality of control blocks 400B via the transfer selection control line 1905.
  • a transfer selection control signal ⁇ TXSEL is supplied from the global driving section 600 to the control block 400B in order to control the exposure time for each pixel block 200.
  • the control block 400 B supplied with the transfer selection control signal ⁇ TXSEL outputs the transfer selection control signal ⁇ TXSEL to the corresponding pixel block 200 .
  • the pixel block 200 determines whether to input the transfer selection control signal ⁇ TXSEL to the pixel 201 as the transfer control signal ⁇ TX or the discharge control signal ⁇ PDRST. As a result, the input of the transfer control signal ⁇ TX or the discharge control signal ⁇ PDRST to the pixel 201 is skipped.
  • the control block 400B extends the exposure time by skipping the transfer control signal ⁇ TX. Further, when the transfer control signal ⁇ TX determines the exposure start time, the control block 400B can shorten the exposure time by skipping the transfer control signal ⁇ TX. Thus, the exposure time of the pixel block 200 can be adjusted by the transfer selection control signal ⁇ TXSEL. The same is true when the discharge control signal ⁇ PDRST determines the start time or end time of exposure.
  • the reset control line 1903, the selection control line 1904, and the transfer selection control line 1905 are globally wired, that is, provided commonly to the plurality of pixel blocks 200.
  • FIG. A reset control line 1903, a selection control line 1904, and a transfer selection control line 1905 are wired across the pixel portion 101 in the row direction.
  • the reset control line 1903, the selection control line 1904, and the transfer selection control line 1905 may be wired across the pixel portion 101 in the column direction.
  • the reset control line 1903 is connected to the gate terminal of the reset section 304 of the pixel block 200 and supplies the reset control signal ⁇ RST.
  • a selection control line 1904 is connected to the gate terminal of the selection section 352 of the pixel block 200 and supplies a selection control signal ⁇ SEL.
  • the transfer selection control line 1905 is connected to each of the plurality of control blocks 400B to supply the pixel control section 401 with a transfer selection control signal ⁇ TXSEL.
  • the global driver 600 outputs the transfer selection control signal ⁇ TXSEL from the second semiconductor substrate 120 to the first semiconductor substrate 110
  • the transfer selection control signal ⁇ TXSEL is not supplied to the first semiconductor substrate 110 and is sent to the control block 400B.
  • ⁇ TXSEL may be output.
  • the transfer selection control line 1905 is provided on the second semiconductor substrate 120 .
  • the transfer control line 1901a and the discharge control line 1902a are connected to the pixel block 200a.
  • the transfer control line 1901a is connected to the gate terminal of the transfer section 301 provided in the pixel block 200a.
  • the transfer control line 1901a supplies the transfer control signal ⁇ TX output from the control block 400Ba to the pixel block 200a.
  • the discharge control line 1902a is connected to the gate terminal of the discharge section 302 provided in the pixel block 200a.
  • the discharge control line 1902a supplies the discharge control signal ⁇ PDRST output from the control block 400Ba to the pixel block 200a.
  • the transfer control line 1901b and the discharge control line 1902b are connected to the pixel block 200b.
  • the transfer control line 1901b is connected to the gate terminal of the transfer section 301 provided in the pixel block 200b.
  • the transfer control line 1901b supplies the transfer control signal ⁇ TX output from the control block 400Bb to the pixel block 200b.
  • the discharge control line 1902b is connected to the gate terminal of the discharge section 302 provided in the pixel block 200b.
  • the discharge control line 1902b supplies the discharge control signal ⁇ PDRST output from the control block 400Bb to the pixel block 200b.
  • a plurality of bonding portions 610 are provided on bonding surfaces where the first semiconductor substrate 110 and the second semiconductor substrate 120 are bonded to each other.
  • the bonding portion 610 of the first semiconductor substrate 110 is aligned with the bonding portion 610 of the second semiconductor substrate 120 .
  • a plurality of bonding portions 610 that face each other are electrically connected by being bonded by pressure treatment or the like of the first semiconductor substrate 110 and the second semiconductor substrate 120 .
  • the global control line junction 610 may be under the corresponding pixel block 200 or in the connection regions 1801 and 1802 .
  • the local control line junction 610 is provided below the corresponding pixel block 200 (also above the control block 400B).
  • the imaging element 100B controls the exposure time for each pixel block 200 by changing the timing of at least one of the transfer section 301 and the discharge section 302 using local control lines. By combining local control lines and global control lines, the imaging device 100B can realize exposure time control with fewer control lines.
  • FIG. 20 is an explanatory diagram showing the connection relationship between the ADC section and the pixel blocks.
  • a common signal line 202 extending in the column direction is arranged for each column inside the pixel block 200c. Further, this signal line 202 is also common to a plurality of pixel blocks 200c and 200d arranged in the column direction. Therefore, in this example, one signal line 202 is connected to m ⁇ M pixels 201 arranged in one column, and pixel signals from these pixels 201 are output.
  • An ADC 2000 is connected to each of the signal lines 202 on the second semiconductor substrate 120 side via a joint 610 .
  • a plurality of ADCs 2000 corresponding to a plurality of signal lines 202 constitute ADC section 1820 .
  • the ADC section 1820 is provided with the ADCs 2000 corresponding to the pixel blocks 200c and 200d in the odd columns, and the ADC section 1830 is provided with the ADCs 2000 corresponding to the pixel blocks 200e and 200f in the even columns.
  • the arrangement relationship between the pixel block 200c etc. and the corresponding ADC unit 1820 etc. is not limited to this.
  • each ADC 2000 converts pixel signals sequentially output from the connected m ⁇ M pixels 201 in one column into digital signals and outputs the digital signals.
  • the ADC units 1820 and 1830 as a whole convert pixel signals from the pixels 201 arranged in n ⁇ N columns in the row direction into digital signals in parallel. From this point of view, this digital conversion can be said to be a kind of so-called column ADC. Note that although a single-slope ADC is given as an example of the ADC, other digital conversion methods may be used. Also, the connection position of each pixel 201 and the signal line 202 is not limited to the form shown in FIG. 20, and may be in each pixel block 200c or the like as another example.
  • FIG. 21 is a timing chart showing imaging operations in the pixel block 200 of the imaging device 100B. Driving of the pixel block 200 is controlled by a transfer control signal ⁇ TX, a discharge control signal ⁇ PDRST, a reset control signal ⁇ RST and a selection control signal ⁇ SEL.
  • the discharge control signal ⁇ PDRST controls the timing of starting exposure.
  • the exposure start timing corresponds to the fall timing of the discharge control signal ⁇ PDRST (for example, time T1). That is, before the exposure start time T1, the discharge control signal ⁇ PDRST turns on the discharge unit 302 to discharge the charges accumulated in the photoelectric conversion unit 300, and the exposure starts at the fall of the discharge control signal ⁇ PDRST. do. Since the discharge control signal ⁇ PDRST is locally controlled, the exposure time can be adjusted for each pixel block 200 .
  • the transfer control signal ⁇ TX controls the timing of ending exposure.
  • the transfer control signal ⁇ TX turns on the transfer unit 301 to transfer the charge accumulated in the photoelectric conversion unit 300 to the FD 303 .
  • the end timing of exposure corresponds to the falling timing of the transfer control signal ⁇ TX (for example, time T4).
  • the reset control signal ⁇ RST controls the timing of discharge of charges accumulated in the FD 303 .
  • the reset control signal ⁇ RST turns on the reset section 304 to discharge the charge of the FD 303 .
  • a selection control signal ⁇ SEL is a signal for selecting an arbitrary pixel 201 .
  • the selection control signal ⁇ SEL controls on/off of the selection section 352 .
  • the selection control signal ⁇ SEL is set high.
  • the imaging device 100B can change the exposure start timing for each pixel block 200 and control the exposure time for each pixel block 200 by locally controlling the discharge control signal ⁇ PDRST. Further, the imaging device 100B may control the end timing of exposure for each pixel block 200 by locally controlling the transfer control signal ⁇ TX. The imaging element 100B may control both the start timing and end timing of exposure for each pixel block 200 by locally controlling both the transfer control signal ⁇ TX and the discharge control signal ⁇ PDRST.
  • a pixel signal of each pixel 201 corresponds to the charge amount accumulated in the photoelectric conversion unit 300 . Therefore, controlling the timing of exposure of the pixels 201 can be said to control the timing of charge accumulation in the photoelectric conversion unit 300 . More specifically, controlling the timing of exposure of the pixels 201 can be said to control the timing and length of the charge accumulation time from charge discharge to charge transfer.
  • FIG. 22 is an explanatory diagram showing an example of exposure timing for each pixel block 200.
  • the exposure time is controlled for each of the three pixel blocks 200 arranged in one row.
  • the image pickup device 100B changes the exposure amount by shifting the pixel reset time for each pixel block 200 .
  • the timing of reading pixel signals is in order from the pixel block 200 on the top. That is, the pixel signal is read from the pixel 201 of "pixel block 1", then the pixel signal is read from the pixel 201 of "pixel block 2", and then the pixel signal is read from the pixel 201 of "pixel block 3".
  • the global driving section 600 sets the selection control signal ⁇ SEL to high row by row across the plurality of pixel blocks 200 arranged in one column from the first row to the m ⁇ Mth row.
  • a common selection control line 1904 is connected to n ⁇ N pixels arranged in the same row. Therefore, pixel signals are read out in parallel from the n ⁇ N pixels 201 connected to the row in which the selection control signal ⁇ SEL is set to high. Accordingly, pixel signals for one frame can be output.
  • pixel signals are digitally converted by ADC units 1820 and 252 as described in FIG.
  • the digital-converted pixel signals are output to subsequent image processing to form an image for one frame.
  • the readout method of the present embodiment is the so-called rolling shutter method for the entire pixel unit 101. It can also be said that However, even in that case, it is possible to set a different exposure time for each pixel block 200 .
  • the imaging device 100B shown in FIGS. 16 to 22 performs exposure in units of pixel blocks 200, but sequentially reads out pixel signals for each pixel row and performs AD conversion for each pixel column. Specifically, the image sensor 100B reads pixel signals from the pixels 201 of the upper pixel block 200 among the plurality of pixel blocks 200 arranged in a row, and then reads the pixel signals from the pixels 201 of the lower pixel block 200. Read out the signal. Therefore, when a moving subject is captured, the distortion of the image due to the readout order is smoothed, and the viewer's discomfort with the image can be reduced.
  • the pixel blocks 200 correspond to the vertical direction of the image (that is, the pixel column direction).
  • a plurality of saw-toothed steps appear to cause discomfort to the observer.
  • the plurality of steps do not appear in the image.
  • the image sensor 100B shown in FIGS. 16 to 22 does not include an ADC section for converting analog signals into digital signals in the control block 400B, and the signal processing section 1602 is arranged outside the control circuit section . Therefore, the area of the control block 400B can be reduced, and the size of the pixel block 200 arranged at the position corresponding to the control block 400B can be reduced. can be done. As a result, it is possible to finely control the exposure time within the image, and to make the boundaries of the pixel blocks 200 inconspicuous on the image. Furthermore, since digital conversion is not performed immediately below the pixel 201, the influence of noise on the pixel 201 due to heat generation can be suppressed.
  • the signal processing unit 1602 does not have to be provided in a plurality of separate regions, and may be provided in one region for the entire pixel unit 101 .
  • the readout method of the image pickup device 100B is also As a whole, it can be said that it is a so-called rolling shutter system.
  • different exposure times can be set for each pixel block 200, as in the image sensor 100A.
  • the image pickup device 100B similarly to the image pickup device 100A, the image distortion due to the readout order when capturing an image of a moving subject is smoothed, and the viewer's sense of discomfort in the image can be reduced.
  • the autonomous exposure processing unit 411 is implemented within the control block 400 as shown in FIGS. Also, the autonomous exposure processing unit 411 can be mounted in the peripheral circuit unit 121 instead of the control block 400, or can be mounted in both the control block 400 and the peripheral circuit unit 121. is. These three patterns will be described below with reference to FIGS. 23 to 25. FIG.
  • FIG. 23 is a block diagram showing a configuration example of the autonomous exposure control method 1.
  • Autonomous exposure control method 1 is a configuration example in which the autonomous exposure processing unit 411 is implemented in the control block 400 .
  • the addition of the autonomous exposure processing unit 411 to the control block 400 increases the circuit scale of the control block 400, but each pixel 201 of the pixel block 200 may increase accordingly, so the light receiving area is increased. Is possible.
  • control block 400A will be described as an example (the same applies to FIG. 25).
  • the control block 400A has a signal conversion section 422, a signal output section 423, an autonomous exposure processing section 411, an exposure control section 412, and a pixel driving section 413.
  • the signal input unit 421 is omitted.
  • the signal input section 421, the signal conversion section 422 and the signal output section 423 are not included in the control block 400B, but are arranged on the second semiconductor substrate 120 as the signal processing section 1602 (FIG. 25). as well).
  • the signal conversion unit 422 has n ADCs 500 .
  • Each of the n ADCs 500 converts analog pixel signals from m pixels 201 connected in the column direction into digital signals.
  • the ADC 500 is composed of a comparator 501 and a storage section 502 .
  • a column selection circuit 2301 is included in the signal output section 423 .
  • the column selection circuit 2301 sequentially selects columns of the pixel block 200 each time a readout column selection signal is input from the external K. Each time a horizontal transfer clock is input from the outside, the column selection circuit 2301 outputs digital pixel signals from the m pixels 201 in the selected column to the peripheral circuit section 121 via the horizontal transfer line 2300. Output to the autonomous exposure processing unit 411 .
  • the autonomous exposure processing unit 411 calculates an exposure value indicating the exposure time of the pixel block 200 .
  • the autonomous exposure processing section 411 has a preprocessing section 2311 , a controller 2312 , and an exposure value calculation section 2313 .
  • a preprocessing unit 2311 acquires a digital pixel signal for each pixel column of the pixel block 200 from the column selection circuit 2301 . Then, the preprocessing unit 2311 calculates a statistical value (for example, average value, median value, maximum value, or minimum value) of the acquired pixel signals. The preprocessing unit 2311 outputs this calculation result to the exposure value calculation unit 2313 .
  • a statistical value for example, average value, median value, maximum value, or minimum value
  • the controller 2312 inputs a reset signal to the preprocessing unit 2311 to reset preprocessing by the preprocessing unit 2311 .
  • the preprocessing unit 2311 calculates the statistic value of the pixel signals from the pixel block 200 each time reset is performed, that is, for each frame.
  • the exposure value calculation unit 2313 determines the next exposure value based on the calculation result (statistical value of pixel signals) from the preprocessing unit 2311 . Specifically, for example, the exposure value calculator determines the next exposure value based on the calculation result so as not to cause underexposure or overexposure. For example, exposure value calculator 2313 holds a first threshold value and a second threshold value.
  • the first threshold is a threshold for determining whether or not the calculation result is underexposure.
  • the second threshold is a threshold larger than the first threshold, and is a threshold for determining whether the calculation result is overexposure.
  • the exposure value calculator 2313 determines whether the calculation result is equal to or greater than the first threshold value and equal to or less than the second threshold value. If the calculation result is greater than or equal to the first threshold value and less than or equal to the second threshold value, the exposure value calculation section outputs the calculation result to the latch circuit 2321 of the exposure control section 412 as an exposure value. If the calculation result is less than the first threshold, the exposure value calculator 2313 outputs the first threshold to the latch circuit 2321 of the exposure controller 412 as the exposure value. If the calculation result exceeds the second threshold, the exposure value calculator outputs the second threshold to the latch circuit 2321 of the exposure controller 412 as the exposure value.
  • the exposure value calculation unit 2313 may hold a plurality of exposure value ranges. In this case, if the calculation result is greater than or equal to the first threshold value and less than or equal to the second threshold value, the exposure value calculation unit 2313 sets the number of steps in the exposure value range that includes the calculation result as the exposure value, and latches the exposure control unit 412. Output to circuit 2321 .
  • the exposure value calculation unit 2313 sets the number of steps that is one or more steps higher than the number of steps in the exposure value range that includes the calculation result as the exposure value of the exposure control unit 412. Output to latch circuit 2321 . Further, if the calculation result exceeds the second threshold, the exposure value calculation unit 2313 sets the number of steps lower than the number of steps of the exposure value range including the calculation result by one step or more as the exposure value. 412 latch circuit 2321.
  • the exposure control section 412 has, for example, a latch circuit 2321, a shift register 2322, a pixel block control section, and a level shift section.
  • a latch circuit 2321 holds the exposure value from the autonomous exposure processing unit.
  • the latch circuit 2321 outputs the held exposure value to the pixel block control section and the shift register 2322 each time a latch pulse is input from the outside.
  • the shift register 2322 parallel-serial converts the exposure value from the latch circuit 2321 and outputs it as a serial signal to the data processing section.
  • the exposure time is calculated by an external system outside the image pickup device 100 and the calculated result is fed back to the image pickup device 100, it takes time to reflect the exposure time to the image pickup device 100, increasing power consumption.
  • the autonomous exposure processing unit 411 in the control block 400 it is possible to improve the reflection speed of the exposure time to the pixel block 200 and reduce the power consumption.
  • one pixel block 200 may be sequentially selected from a plurality of pixel blocks 200 in synchronization with , and the exposure value calculated.
  • a selector is provided on the output side of the exposure value calculation unit 2313 , and the controller 2312 outputs a selection signal for selecting one pixel block 200 from a plurality of pixel blocks 200 to the selector.
  • the exposure control unit 412 has a latch circuit 2321 and a shift register 2322 for each pixel block 200 .
  • Each of the latch circuits 2321 is connected to a selector (not shown) in the autonomous exposure processing unit 411, and when an exposure value is input from the selector, the held exposure value is transferred to the pixel block control unit 503 each time a latch pulse is input. and output to the shift register 2322 .
  • autonomous exposure can be realized even when exposure control is performed for a plurality of pixel blocks 200 by one control block 400 .
  • FIG. 24 is a block diagram showing a configuration example of the autonomous exposure control method 2.
  • Autonomous exposure control method 2 is a configuration example in which the autonomous exposure processing unit 411 is implemented in the peripheral circuit unit 121 .
  • the autonomous exposure processing section 411 is mounted in the peripheral circuit section 121 instead of within the control block. Therefore, the circuit scale of the control block 400 can be made smaller than in the case of FIG.
  • the peripheral circuit section 121 is connected to the pixel section 101 via the horizontal transfer section 2410 .
  • the horizontal transfer section 2410 is connected to each pixel block 200 arranged in the row direction (hereinafter referred to as pixel block row), and transfers pixel signals to the peripheral circuit section 121 for each pixel block row. Since the pixel unit 101 is a set of pixel blocks 200 of M rows and N columns, the horizontal transfer unit 2410 transfers pixel signals to the peripheral circuit unit 121 for each M pixel block rows.
  • the peripheral circuit section 121 has row-direction autonomous exposure processing section groups 2400-1 to 2400-M for each pixel block row (simply referred to as row-direction autonomous exposure processing section group 2400 when these are not distinguished).
  • the data sampling unit 2411 equally divides the pixel signal columns of the pixel block rows from the horizontal transfer unit 2410 into N and samples them.
  • the data sampling section 2411 outputs each sampled pixel signal sequence to the corresponding preprocessing section 2311 .
  • the preprocessing unit 2311 calculates statistical values of pixel signals from the corresponding pixel block 200 as described above. Further, since the peripheral circuit unit 121 can have a circuit scale larger than that of the control block 400, the preprocessing unit 2311 can execute processing other than the calculation of the statistical value of the pixel signal.
  • the preprocessing unit 2311 has a memory for storing the pixel number of the defective pixel in the corresponding pixel block 200 at the time of manufacture, and when the data sampling unit 2411 samples the pixel signal of the pixel number, the preprocessing unit 2311 The unit 2311 is not used for calculating the statistical value of the pixel signal. As a result, it is possible to improve the accuracy of calculating the statistical value of the pixel signal.
  • the preprocessing unit 2311 obtains the calculation result from another preprocessing unit 2311 in charge of the pixel block 200 adjacent to the corresponding pixel block 200, and based on the calculation result obtained from the other preprocessing unit 2311, performs the corresponding processing. Statistics of pixel signals from pixel block 200 may be calculated. As a result, the exposure step between adjacent pixel blocks 200 can be smoothed.
  • a first threshold value and a second threshold value are set in the exposure value calculation unit 2313, and the first threshold value and the second threshold value are set according to the imaging mode of the imaging apparatus in which the imaging element 100 is mounted. At least one of the second thresholds may be changeable. This makes it possible to calculate the optimum exposure according to the shooting mode.
  • the peripheral circuit section 121 has a latch circuit 2321 and a shift register 2322 for each exposure value calculation section 2313 .
  • the shift register 2322 parallel-serial converts the exposure value from the latch circuit 2321, outputs the serial signal to the data processing unit 103, Output the exposure value.
  • the circuit scale of the control block 400 can be reduced compared to the case of FIG. 23, and the size of the corresponding pixel block 200 can be reduced. Therefore, the number of pixel blocks is increased, and fine autonomous exposure control becomes possible. Also, the exposure control section 412 and the pixel driving section 413 may be mounted in the peripheral circuit section 121 . Thereby, the circuit scale of the control block 400 can be further reduced, and the size of the corresponding pixel block 200 can be reduced.
  • FIG. 25 is a block diagram showing a configuration example of the autonomous exposure control method 3.
  • Autonomous exposure control method 3 is a configuration example in which the autonomous exposure processing unit 411 is implemented in both the control block 400A and the peripheral circuit unit 121 .
  • data transmission such as sending pixel signals from the control block 400A to the peripheral circuit section 121 and sending exposure values from the peripheral circuit section 121 to the pixel block 200 is unnecessary.
  • Become. Therefore, the feedback to the corresponding pixel block 200 is faster than when it is executed in the peripheral circuit section 121 .
  • the circuit scale of the autonomous exposure processing section 411 is increased by mounting it in the peripheral circuit section 121 rather than mounting it in the control block 400A. can do. For this reason, it is better to implement more advanced functions for autonomous exposure control in the peripheral circuit section 121 (for example, removal of pixel signals of defective pixels described in FIG. 24, exposure step control with the adjacent pixel block 200, Calculation of optimum exposure according to the exposure) can be implemented.
  • the imaging device 100 uses the peripheral circuit unit 121 when performing highly functional calculations related to autonomous exposure control, and the control unit 121 when performing feedback of the exposure value at high speed, depending on the situation.
  • autonomous exposure control is performed.
  • autonomous exposure control is executed by the row direction autonomous exposure processing unit group 2400 in the peripheral circuit unit 121. If given, perform autonomous exposure control for each control block 400A.
  • the image pickup device 100 operates in the peripheral circuit unit 121 when high-performance calculation related to autonomous exposure control is selected by user operation, and in the control block 400A when high-speed execution of exposure value feedback is selected. , to perform autonomous exposure control. Further, when the remaining battery level becomes equal to or less than a predetermined amount, the imaging device 100 may select and execute low power consumption processing among high-speed execution of highly functional calculations related to autonomous exposure control and exposure value feedback. good.
  • a row-direction autonomous exposure processing unit group 2400 mounted in the peripheral circuit unit 121 has the same configuration as that shown in FIG. 24, so it is omitted in FIG.
  • the column selection circuit 2301 outputs n-bit digital pixel signals to n OR circuits 2501 .
  • An autonomous exposure processing unit 2500 in the control block 400A has a controller 2312, n OR circuits 2501, an output data latch circuit 2502, and an n-bit AND circuit 2503.
  • the controller 2312 inputs a reset signal to the output data latch circuit 2502 when the n-bit signal is output from the output data latch circuit 2502 .
  • the OR circuit 2501 is a logic circuit with two inputs and one output. One input of OR circuit 2501 is connected to the column selection circuit and the other input is connected to the output of n-bit AND circuit 2503 .
  • the n OR circuits 2501 are connected to the input of the output data latch circuit 2502 .
  • Output data latch circuit 2502 holds n-bit signals from n OR circuits 2501 .
  • the output data latch circuit 2502 outputs an n-bit signal to the n-bit AND circuit 2503 when the horizontal transfer clock is input. Further, when a reset signal is input from the controller 2312, the output data latch circuit 2502 resets the held n-bit signal, and converts the n-bit signal having at least one bit of 0 out of the n bits to an n-bit AND circuit. 2503 for output.
  • the n-bit AND circuit 2503 is an n-input, 1-output AND circuit, and the output of the output data latch circuit 2502 is connected to the input of the n-bit AND circuit 2503 .
  • the output of the n-bit AND circuit 2503 is connected to the selector 2512 of the exposure control section 412 and the input of each OR circuit 2501 . If the output from the n-bit AND circuit 2503 is "0", it indicates that the pixel column outputting the n-bit digital pixel signal is not saturated. If the output from the n-bit AND circuit 2503 is "1", it indicates that the pixel column outputting the n-bit digital pixel signal is saturated.
  • a 1-bit signal of "1" output from the n-bit AND circuit 2503 is hereinafter referred to as a saturation detection signal.
  • each OR circuit 2501 If the value of the digital pixel signal from the pixel 201 in the pixel column is "1", it indicates that the pixel 201 is saturated. If the value of the n-bit signal from the column selection circuit 2301 is all “1”, it indicates that the entire pixel column is saturated. In this case, since "1" is input to one input of each OR circuit 2501, each OR circuit 2501 outputs a 1-bit signal whose value is "1" to the output data latch circuit 2502. FIG.
  • the output data latch circuit 2502 holds these n bit signals whose values are all "1", and outputs the held n bit signals to the n bit AND circuit 2503 when the horizontal transfer clock is input. do.
  • the n-bit AND circuit 2503 outputs a saturation detection signal with a value of "1" to the selector 2512 and each OR circuit 2501 when an n-bit signal whose value is all "1" is input.
  • the output data latch circuit 2502 outputs an n-bit signal whose value is all "1” to the n-bit AND circuit 2503 until the reset signal is input. Therefore, n-bit AND circuit 2503 outputs the saturation detection signal until output data latch circuit 2502 receives a reset signal from controller 2312 .
  • the exposure control unit 412 has a shift register 2511 and a selector 2512 in addition to the configuration shown in FIG.
  • the shift register 2511 serial-parallel converts the exposure value from the peripheral circuit section 121 and outputs it to the level shift section 504 and the selector 2512 .
  • a selector 2512 inputs the exposure value and the set exposure value from the shift register 2511 .
  • Selector 2512 selects either the exposure value from shift register 2511 or the set exposure value based on the output signal from n-bit AND circuit 2503 and outputs the selected exposure value to latch circuit 2321 .
  • the set exposure value is an exposure value corresponding to an exposure time that does not saturate the pixels 201, for example, an exposure value that is set so that the exposure time is the shortest.
  • the set exposure value is calculated and set by an external system outside the control block 400A, for example.
  • the set exposure value may be a fixed value or may be selected from an external system.
  • the external system is, for example, the peripheral circuit unit 121 in the image pickup device 100, the data processing unit 103 in the third semiconductor substrate 130, or the image processing unit connected to the image pickup device 100 in an image pickup apparatus having the image pickup device 100. be.
  • the selector 2512 selects the exposure value from the shift register 2511 and outputs it to the latch circuit 2321 when the output signal from the n-bit AND circuit 2503 is not the saturation detection signal.
  • the selector 2512 selects the set exposure value and outputs it to the latch circuit 2321 .
  • the autonomous exposure processing unit 2500 and the exposure control unit 412 in the control block 400A perform autonomous exposure control using the exposure value from the peripheral circuit unit 121 until saturation is detected in the control block 400A.
  • autonomous exposure control is executed using the set exposure value in the exposure control section 412.
  • the autonomous exposure processing section 2500 in the control block 400 may be the autonomous exposure processing section 411 shown in FIG.
  • the autonomous exposure processing section 411 in the peripheral circuit section 121 and the autonomous exposure processing section 411 in the control block 400 may be selectable by user setting.
  • an imaging device equipped with the imaging device 100 may be made selectable between the autonomous exposure processing unit 411 in the peripheral circuit unit 121 and the autonomous exposure processing unit 411 in the control block 400 based on the remaining battery power.
  • the imaging apparatus selects autonomous exposure control by the autonomous exposure processing section 411 in the peripheral circuit section 121 if the remaining battery level is equal to or greater than a predetermined value, and if not equal to or greater than the predetermined value, the autonomous exposure control in the control block 400 is performed. Autonomous exposure control by the exposure processing unit 411 may be selected.
  • the user selects the autonomous exposure processing unit 411 in the peripheral circuit unit 121 to perform high-quality imaging, and selects the autonomous exposure processing unit 411 in the control block 400 to reduce power consumption. do it.
  • the imaging device 100 can perform exposure control by the control block 400 corresponding to each pixel block 200 .
  • the imaging device 100 has a frame skip function that realizes long exposure by skipping control of the transfer control signal ⁇ TX by the transfer selection control signal ⁇ TXSEL.
  • the image pickup device 100 is capable of long-time exposure exceeding the exposure time for one frame (1 frame exposure) by the frame skip function, and can also be used for low frame rate operation (60 fps) like live view.
  • the control block 400 during frame skipping performs AD conversion for each frame, but does not read the optical signal, and outputs a pseudo signal. By stopping the output operation of the pseudo signal, it is possible to reduce the noise generated by the pseudo signal and to save the power consumption of the control block 400 .
  • FIG. 26 is an explanatory diagram showing a circuit configuration example inside the control block 400.
  • the control block 400A will be described as an example.
  • the signal input section 421, the signal conversion section 422 and the signal output section 423 are not included in the control block 400B, but are arranged on the second semiconductor substrate 120 as the signal processing section 1602 (FIG. 27). to FIG. 29).
  • the pixel control unit 401 has a pixel block control unit 503 and a level shift unit 504 within the exposure control unit 412 .
  • the level shifter 504 has a level shifter 2601 for each pixel row in the pixel block 200 .
  • the pixel driving section 413 has a pixel driver 2602 for each pixel row in the pixel block 200 .
  • the pixel block control section 503 outputs the transfer control signal ⁇ TX or the discharge control signal ⁇ PDRST to the level shift section 504 .
  • the pixel block control unit 503 outputs the transfer selection control signal ⁇ TXSEL to the level shift unit 504 when the transfer selection control signal ⁇ TXSEL is input from the global drive unit 600 in the peripheral circuit unit 121, that is, when the frame skip operation is performed. do.
  • Each level shifter 2601 boosts the transfer control signal ⁇ TX or the discharge control signal ⁇ PDRST to the voltage level of the pixel block 200 and outputs it to the pixel driving section 413 .
  • Each level shifter 2601 boosts the transfer selection control signal ⁇ TXSEL to the voltage level of the pixel block 200 and outputs it to the pixel driving section 413 .
  • Each pixel driver 2602 shifts the pixels 201 in the pixel column as shown in FIG. 12 based on the transfer control signal ⁇ TX or the discharge control signal ⁇ PDRST from the level shifter 2601 in the same pixel row and the transfer selection control signal ⁇ TXSEL. Drive control.
  • Counter latches 502 Digital pixel signals from each of the counter latches (hereinafter referred to as counter latches 502 ), which is an example of the storage unit 502 , are held in the SRAM 2604 for each pixel column in the signal output unit 423 and horizontally transferred by the column selection circuit 2401 . It is output to the peripheral circuit section 121 via the line 2300 and output to the autonomous exposure processing section 411 .
  • Any one level shifter 2601 (for example, level shifter 2601A) is connected to the load current source 306 for each pixel column in the pixel block 200 via an inverter 2610 .
  • This level shifter 2601A outputs an inverted signal ⁇ TXSEL_N of the boosted transfer selection control signal ⁇ TXSEL to each load current source 306 in order to stop the circuit operation of the load current source 306 for each pixel column in the pixel block 200 (FIG. 27). later.).
  • this level shifter 2601A is connected to an ADC current source 2603 for each pixel column in the pixel block 200 via an inverter 2610 .
  • the level shifter 2601A outputs an inverted signal ⁇ TXSEL_N of the boosted transfer selection control signal ⁇ TXSEL to each ADC current source 2603 in order to stop the circuit operation of the ADC current source 2603 for each pixel column in the pixel block 200 (FIG. 28). later.).
  • the pixel block control unit 503 is connected to each counter latch 502 .
  • the pixel block control unit 503 outputs a transfer selection control signal ⁇ TXSEL to each counter latch 502 in order to stop the circuit operation of the counter latch 502 for each pixel column in the pixel block 200 (described later in FIG. 29).
  • FIG. 27 is an explanatory diagram showing an example 1 of stopping circuit operation in units of control blocks 400. As shown in FIG. Example 1 of stopping circuit operation in units of control blocks 400 is an example of stopping circuit operation of the load current source 306 for each pixel column.
  • the signal input section 421 has a load current source 306 and an adjustment section 2700 for each pixel column of the pixel block 200 .
  • the load current source 306 is composed of, for example, an n-type MOS transistor, and supplies the signal line 202 with a bias current input from the gate terminal.
  • the adjustment unit 2700 is configured with, for example, an n-type MOS transistor, and adjusts the current supplied from the load current source 306 to the pixel column.
  • a gate terminal of the adjustment section 2700 is connected to a level shifter 2601A in the pixel control section 401 via an inverter 2610 .
  • Inverter 2610 outputs inverted signal ⁇ TXSEL_N when transfer selection control signal ⁇ TXSEL indicating a frame skip operation is output from level shifter 2601A.
  • the peripheral circuit section 121 has a pixel current bias circuit 2701 .
  • a pixel current bias circuit 2701 is connected to the gate terminal of the load current source 306 for each pixel column in the pixel block 200 and supplies a bias current.
  • the load current source 306 thereby supplies the bias current to the signal line 202 .
  • the pixel control unit 401 controls the current supply to the pixel columns by the load current source 306 according to the transfer selection control signal ⁇ TXSEL from the level shifter 2601A. Specifically, the pixel control unit 401 controls connection between the pixel column and the load current source 306 . For example, when the transfer selection control signal ⁇ TXSEL is input to the gate terminal of the adjustment unit 2700, the current value of the adjustment unit 2700 becomes larger than when the inverted signal ⁇ TXSEL_N is input, and the pixel columns and the load current source 306 are connected (ON state), and a current is supplied from the load current source 306 to the pixel column.
  • the inversion signal ⁇ TXSEL_N is input to the gate terminal of the adjustment unit 2700
  • the current value of the adjustment unit 2700 becomes smaller than when the transfer selection control signal ⁇ TXSEL is input. is disconnected (OFF state), and the current supply from the load current source 306 to the pixel column is stopped.
  • the power consumption of the load current source 306 can be reduced for each control block 400 . Further, by stopping the current supply from the load current source 306 to the pixel column during frame skipping, the pseudo signal from the pixel 201 is not output. Therefore, a pseudo signal is not superimposed on the output image data, and noise can be reduced.
  • FIG. 28 is an explanatory diagram showing Example 2 of circuit operation stop in units of control blocks 400.
  • Example 2 of stopping the circuit operation in units of control blocks 400 is an example of stopping the circuit operation of the comparator 501 for each pixel column.
  • the ADC current source 2603 for each pixel column of the pixel block 200 has an ADC current source 2603 and an adjustment section 2800 .
  • ADC current source 2603 is composed of, for example, an n-channel MOSFET, and supplies bias current input from the gate terminal to comparator 501 .
  • the adjustment unit 2800 is configured with, for example, an n-channel MOSFET and adjusts the current supplied from the ADC current source 2603 to the comparator 501 .
  • a gate terminal of the adjustment section 2800 is connected to a level shifter 2601A in the pixel control section 401 via an inverter 2610 .
  • the peripheral circuit section 121 has an ADC current bias circuit 2801 .
  • ADC current bias circuit 2801 is connected to the gate terminal of ADC current source 2603 and provides a bias current. This causes ADC current source 2603 to supply a bias current to comparator 501 .
  • the pixel control unit 401 controls current supply from the ADC current source 2603 to the comparator 501 by the transfer selection control signal ⁇ TXSEL from the level shifter 2601A. Specifically, the pixel control unit 401 controls connection between the comparator 501 and the ADC current source 2603 . For example, when the transfer selection control signal ⁇ TXSEL is input to the gate terminal of the adjustment unit 2800, the current value of the adjustment unit 2800 becomes larger than when the inverted signal ⁇ TXSEL_N is input, and the comparator 501 and the ADC current source 2603 are connected (ON state), and a current is supplied from the ADC current source 2603 to the comparator 501 .
  • the power consumption of the load current source 306 can be reduced for each control block 400 . Further, by stopping current supply from the ADC current source 2603 to the comparator 501 during frame skipping, no pseudo signal is output from the pixel 201 . Therefore, a pseudo signal is not superimposed on the output image data, and noise can be reduced.
  • FIG. 29 is an explanatory diagram showing Example 3 of circuit operation stop in units of control blocks 400.
  • Example 3 of stopping the circuit operation for each control block 400 is an example of stopping the circuit operation of the counter latch 502 for each pixel column.
  • the control block 400A has a NAND circuit 2901, an inverter 2902 and a transfer circuit 2903 between the comparator 501 and the counter latch 502 in the ADC 500 of the signal line 202 for each pixel column.
  • a NAND circuit 2901 receives the output signal from the comparator 501 .
  • the NAND circuit 2901 receives an inverted signal ⁇ TXSEL_N obtained by inverting the transfer selection control signal ⁇ TXSEL from the pixel block control unit 503 by the inverter 2900 .
  • Transfer selection control signal ⁇ TXSEL serves as an enable signal for controlling the output of NAND circuit 2901 .
  • Inverter 2902 inverts the output signal from NAND circuit 2901 and outputs an inverted signal.
  • the transfer circuit 2903 has a circuit configuration in which an n-type MOS transistor and a p-type MOS transistor are connected in parallel. Also, the transfer circuit 2903 connects between the ADC counter signal generation section 2904 of the peripheral circuit section 121 and the counter latch 502 .
  • the ADC counter signal generation section 2904 outputs the ADC counter signal 2905 to the counter latch 502 .
  • the counter latch 502 holds the digital pixel signal according to the ADC counter signal 2905 and outputs it to the SRAM 2604 .
  • Transfer circuit 2903 supplies or stops supplying ADC counter signal 2905 to counter latch 502 based on the output value of inverter 2902 .
  • FIG. 30 is a truth table of the NAND circuit 2901.
  • FIG. 30 When the output value of NAND circuit 2901 is "0", the output value of inverter 2902 becomes “1", and transfer circuit 2903 keeps the output of counter latch 502 until the output value of inverter 2902 is inverted to "0". It feeds the ADC counter signal 2905 .
  • the counter latch 502 operates (transfers to the SRAM 2404 ) or stops (holds in the counter latch 502 ) depending on the output of the comparator 501 .
  • the enable signal transfer selection control signal ⁇ TXSEL
  • the counter latch 502 stops operating (holds in the counter latch 502) regardless of the output of the comparator 501 .
  • power consumption can be reduced by stopping the circuit operation when pixel signals are not read.
  • power consumption can be reduced by stopping the current of the control block 400 during the exposure time exceeding one frame exposure.
  • the exposure time is within one frame exposure, in the case of so-called “window readout" in which only the target pixel block 200 is read out, by stopping the current of the control block 400 that controls the non-target pixel block 200, Low power consumption can be achieved.
  • each control block 400 executes a frame skip operation and circuit operation stop for the corresponding pixel block 200 when the transfer selection control signal ⁇ TXSEL is input.
  • the transfer selection control signal ⁇ TXSEL is input to the plurality of control blocks 400 in the same block row at the same timing. Therefore, for a plurality of pixel blocks 200 in the same corresponding block row, the frame skip operation and circuit operation stop are performed collectively.
  • FIG. 31 is a block diagram showing a configuration example of an imaging device 3100 according to the embodiment.
  • the image capturing apparatus 3100 includes an image sensor 100, a system control unit 3101, a driving unit 3102, a photometry unit 3103, a work memory 3104, a recording unit 3105, a display unit 3106, an operation unit 3108, and a driving unit 3114. , and a photographing lens 3120 .
  • the photographing lens 3120 guides the subject light flux incident along the optical axis OA to the image sensor 100 .
  • the photographing lens 3120 is composed of a plurality of optical lens groups, and forms an image of subject light flux from a scene in the vicinity of its focal plane.
  • the imaging lens 3120 may be an interchangeable lens that can be attached to and detached from the imaging device 3100 .
  • one virtual lens arranged near the pupil represents the photographing lens 3120 .
  • a driving unit 3114 drives a photographing lens 3120 .
  • the driving section 3114 moves the optical lens group of the photographing lens 3120 to change the focus position.
  • the driving section 3114 may drive the iris diaphragm in the photographing lens 3120 to control the light amount of the subject light flux incident on the imaging device 100 .
  • the drive unit 3102 has a control circuit that executes charge accumulation control such as timing control and area control of the image sensor 100 according to instructions from the system control unit 3101 .
  • the operation unit 3108 also receives instructions from the photographer using a release button or the like.
  • the imaging device 100 delivers the pixel signal to the image processing section 3111 of the system control section 3101 .
  • the image processing unit 3111 generates image data by performing various image processing using the work memory 3104 as a work space. For example, when generating image data in the JPEG file format, compression processing is performed after generating a color video signal from the signal obtained in the Bayer array.
  • the generated image data is recorded in the recording unit 3105, converted into a display signal, and displayed on the display unit 3106 for a preset time.
  • the photometry unit 3103 detects the luminance distribution of the scene prior to a series of shooting sequences for generating image data.
  • a photometry unit 3103 includes an AE sensor of about one million pixels, for example.
  • a calculation unit 3112 of the system control unit 3101 receives the output of the photometry unit 3103 and calculates the brightness for each area of the scene.
  • the calculation unit 3112 determines the shutter speed, aperture value, and ISO sensitivity according to the calculated luminance distribution.
  • the photometry unit 3103 may also be used by the image sensor 100 . Note that the calculation unit 3112 also executes various calculations for operating the imaging device 3100 .
  • the drive unit 3102 may be partially or wholly mounted on the image sensor 100 . A part of the system control unit 3101 may be mounted on the imaging device 100 .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

撮像素子は、行方向に並んで配置される複数の画素を有する第1半導体基板と、前記複数の画素のうち第1画素に電流を供給する第1負荷電流源と、前記複数の画素のうち第2画素に電流を供給する第2負荷電流源と、前記第1負荷電流源による前記第1画素への電流供給を制御する第1画素制御部と、前記第2負荷電流源による前記第2画素への電流供給を制御する第2画素制御部とを有する第2半導体基板と、を備える。

Description

撮像素子および撮像装置 参照による取り込み
 本出願は、令和3年(2021年)8月25日に出願された日本出願である特願2021-137559の優先権を主張し、その内容を参照することにより、本出願に取り込む。
 本発明は、撮像素子および撮像装置に関する。
 複数の画素が行方向および列方向に2次元配置された撮像素子が知られている(例えば、特許文献1)。従来より撮像素子の消費電力増大が問題となっている。
特開2013-162148号公報
 第1開示技術の撮像素子は、行方向に並んで配置される複数の画素を有する第1半導体基板と、前記複数の画素のうち第1画素に電流を供給する第1負荷電流源と、前記複数の画素のうち第2画素に電流を供給する第2負荷電流源と、前記第1負荷電流源による前記第1画素への電流供給を制御する第1画素制御部と、前記第2負荷電流源による前記第2画素への電流供給を制御する第2画素制御部とを有する第2半導体基板と、を備える。第2開示技術の撮像素子は、少なくとも1つの画素を含む複数の画素ブロックを有する第1半導体基板と、前記画素ブロック毎に配置される制御ブロックを有する第2半導体基板とを備え、前記制御ブロックは、前記複数の画素ブロックのうち対応する画素ブロックに含まれる前記画素に電流を供給する負荷電流源を制御する画素制御部を有する。
 第3開示技術の撮像装置は、第1開示技術または第2開示技術の撮像素子を備える。
図1は、撮像素子の一例を示す分解斜視図である。 図2は、画素部の具体的な構成の一例を示す説明図である。 図3は、画素の回路構成の一例を示す回路図である。 図4は、制御回路部の具体的な構成の一例を示す説明図である。 図5は、制御ブロックの内部構成の一例を示す説明図である。 図6は、撮像素子における第1半導体基板と第2半導体基板との信号の伝送例を示す説明図である。 図7は、本実施形態に係る撮像素子のX-Z方向断面の一例を示す説明図である。 図8は、撮像素子の撮像動作例1を示すタイミングチャートである。 図9は、撮像素子の撮像動作例2を示すタイミングチャートである。 図10は、比較例に係る撮像素子の撮像動作を示すタイミングチャートである。 図11は、撮像素子が撮像する被写体の一例を示す説明図である。 図12は、図11に示した領域1~5ごとの露光時間を示すタイミングチャートである。 図13は、複数の制御ブロックのレイアウト例を示す平面図である。 図14は、画素の回路構成の他の例を示す回路図である。 図15は、撮像素子の撮像動作例3を示すタイミングチャートである。 図16は、撮像素子の他の例を示す分解斜視図である。 図17は、制御回路部の具体的な構成の他の例を示す説明図である。 図18は、撮像素子における第1半導体基板および第2半導体基板の接続関係を示す説明図である。 図19は、撮像素子における第1半導体基板と第2半導体基板との信号の伝送例を示す説明図である。 図20は、ADC部と画素ブロックとの接続関係を示す説明図である。 図21は、撮像素子の画素ブロック内での撮像動作を示すタイミングチャートである。 図22は、画素ブロック毎の露光タイミングの一例を示す説明図である。 図23は、自律露光制御方式1の構成例を示すブロック図である。 図24は、自律露光制御方式2の構成例を示すブロック図である。 図25は、自律露光制御方式3の構成例を示すブロック図である。 図26は、制御ブロック内部の回路構成例を示す説明図である。 図27は、制御ブロック単位での回路動作停止例1を示す説明図である。 図28は、制御ブロック単位での回路動作停止例2を示す説明図である。 図29は、制御ブロック単位での回路動作停止例3を示す説明図である。 図30は、NAND回路の真理値表である。 図31は、実施例に係る撮像装置の構成例を示すブロック図である。
 以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
 本明細書において、X軸とY軸とは互いに直交し、Z軸はXY平面に直交する。XYZ軸は右手系を構成する。Z軸と平行な方向を撮像素子100の積層方向と称する場合がある。本明細書において、「上」および「下」の用語は、重力方向における上下方向に限定されない。これらの用語は、Z軸方向における相対的な方向を指すに過ぎない。なお、本明細書では、X軸方向の配列を「行」とし、Y軸方向の配列を「列」として説明するが、行列方向はこれに限定されない。
 <撮像素子の構成>
 まず、図1~図22を用いて、撮像素子の構成について説明する。撮像素子の構造は、裏面照射型であっても、表面照射型であってもよい。
 図1は、撮像素子100Aの一例を示す分解斜視図である。撮像素子100Aは、被写体を撮像する。撮像素子100Aは、撮像された被写体の画像データを生成する。撮像素子100Aは、第1半導体基板110、第2半導体基板120および第3半導体基板130を備える。図1に示すように、第1半導体基板110は、第2半導体基板120に積層されており、第2半導体基板120は、第3半導体基板130に積層されている。
 第1半導体基板110は、画素部101を有する。画素部101は、入射された光に基づく画素信号を出力する。
 第2半導体基板120は、制御回路部102および周辺回路部121を有する。
 制御回路部102は、第1半導体基板110から出力された画素信号を入力する。制御回路部102は、入力された画素信号を処理する。制御回路部102は、第2半導体基板120において、画素部101と対向する位置に配置されている。たとえば、制御回路部102は、第1半導体基板110と第2半導体基板120とが積層される方向において画素部101と重なるように配置されている。制御回路部102は、画素部101の駆動を制御するための制御信号を画素部101に出力してもよい。
 周辺回路部121は、制御回路部102の駆動を制御する。周辺回路部121は、第2半導体基板120において、制御回路部102の周辺に配置される。具体的には、周辺回路部121は、第2半導体基板120において、制御回路部102が配置される領域の外側に配置された領域に配置されている。また、周辺回路部121は、第1半導体基板110と電気的に接続され、画素部101の駆動を制御してもよい。周辺回路部121は、第2半導体基板120の2辺に沿って配置されているが、周辺回路部121の配置方法は本例に限られない。
 第3半導体基板130は、データ処理部103を有する。データ処理部103は、第2半導体基板120から出力されるデジタルデータを用いて、加算処理や間引き処理、その他画像処理を行う。
 図2は、画素部101の具体的な構成の一例を示す説明図である。画素部101は、複数の画素ブロック200を有する。複数の画素ブロック200は、画素部101において行方向および列方向に並んで配置される。具体的には、複数の画素ブロック200は、画素部101において行方向および列方向に並ぶM×N個(M,Nは、自然数)の画素ブロック200を有する。MがNと等しい場合を図示しているが、MとNは異なっていてもよい。
 画素ブロック200は、複数の画素201を有する。複数の画素201は、画素ブロック200において行方向および列方向に並んで配置される。画素ブロック200は、行方向および列方向に並ぶm×n個(m,nは、自然数)の画素201を有する。たとえば、画素ブロック200は、行方向および列方向に並ぶ16×16個の画素201を有する。画素ブロック200に対応する画素201の個数はこれに限定されない。mがnと等しい場合を図示しているが、mはnと異なっていてもよい。
 画素ブロック200は、行方向において共通の制御線(たとえば、後述する転送制御線311、排出制御線312)に接続された複数の画素201を有する。たとえば、画素ブロック200のそれぞれの画素201は、同一の露光時間に設定されるように上記共通の制御線に接続されている。具体的には、たとえば、行方向に並ぶn個の画素201毎に上記共通の制御線によって接続される。
 一方、異なる画素ブロック200間において、一方の画素ブロック200は、他方の画素ブロック200とは異なる露光時間に設定されてよい。たとえば、一方の画素ブロック200と他方の画素ブロック200が行方向に並んで配置されている場合、一方の画素ブロック200が有する複数の画素201と他方の画素ブロック200が有する複数の画素201は異なる制御線により接続される。一方の画素ブロック200が有するm行目の複数の画素201は、他方の画素ブロック200のm行目の複数の画素201が接続される共通の制御線とは異なる制御線で共通に接続される。また、一方の画素ブロック200と他方の画素ブロック200が列方向に並んで配置されている場合、一方の画素ブロック200が有する複数の画素201と他方の画素ブロック200が有する複数の画素201は異なる制御線により接続される。一方の画素ブロック200が有するm行目の複数の画素201は、他方の画素ブロック200のm行目の複数の画素201が接続される共通の制御線とは異なる制御線で共通に接続される。
 また、たとえば、一方の画素ブロック200と他方の画素ブロック200が行方向に並んで配置されている場合、一方の画素ブロック200が有する複数の画素201と他方の画素ブロック200が有する複数の画素201は異なる信号線202により接続される。一方の画素ブロック200のn列目の複数の画素201は、他方の画素ブロック200のn列目の複数の画素201が接続される共通の信号線202とは異なる信号線202で共通に接続される。また、一方の画素ブロック200と他方の画素ブロック200が列方向に並んで配置されている場合、一方の画素ブロック200が有する複数の画素201と他方の画素ブロック200が有する複数の画素201は異なる信号線202により接続される。一方の画素ブロック200が有するn列目の複数の画素201は、他方の画素ブロック200のn列目の複数の画素201が接続される共通の信号線202とは異なる信号線202で共通に接続される。
 画素ブロック200は、後述する制御ブロック400A、400B(図4および図17参照)に対応して配置される。即ち、1つの制御ブロック400A、400Bに対して、1つの画素ブロック200が配置されている。
 また、1つの制御ブロック400A、400Bに対して、複数の画素ブロック200が配置されてもよい。1つの制御ブロック400A、400Bに対して、複数の画素ブロック200が配置される場合であっても、それぞれの画素ブロック200が異なる露光時間に設定されてよい。1つの制御ブロックに対して、列方向に並ぶ2つの画素ブロック200が配置される場合、制御ブロック400A、400Bは、2m×n個の画素201を制御する。具体的には、たとえば、制御ブロック400A、400Bは、32×16個の画素201を制御する。制御ブロック400A、400Bに対応する画素201の個数はこれに限定されない。
 図3は、画素201の回路構成の一例を示す回路図である。画素201は、光電変換部300と、読出部310とを備える。読出部310は、転送部301と、排出部302と、FD(フローティングディフージョン)303と、リセット部304と、画素出力部305とを有し、光電変換部300で変換された電荷に基づく画素信号を信号線202に読み出す。画素出力部305は、増幅部351および選択部352を有する。転送部301、排出部302、FD303、リセット部304、増幅部351および選択部352を読出部310と称す。読出部310は、Nチャンネル型FETとして説明するが、トランジスタの種類はこれに限られない。
 光電変換部300は、光を電荷に変換する光電変換機能を有する。光電変換部300は、光電変換された電荷を蓄積する。光電変換部300は、たとえば、フォトダイオードにより構成される。
 転送部301は、光電変換部300の電荷をFD303に転送する。転送部301は、光電変換部300とFD303との間の電気的な接続を制御する。転送部301は、たとえば、トランジスタにより構成される。また、転送部301は、少なくともゲート端子を有し、光電変換部300の一部をソース端子、FD303の一部をドレイン端子とするトランジスタの一部を構成する素子であってもよい。転送部301のゲート端子は、転送制御信号φTXを入力するための転送制御線311に接続される。転送制御線311については後述する。
 排出部302は、光電変換部300に蓄積された電荷を電源電圧VDDが供給される電源配線に排出する。排出部302は、光電変換部300と電源配線との間の接続を制御する。排出部302は、たとえば、トランジスタにより構成される。また、排出部302は、少なくともゲート端子を有し、光電変換部300の一部をソース端子、電源配線に接続される拡散領域の一部をドレイン端子とするトランジスタの一部を構成する素子であってもよい。排出部302のゲート端子は、排出制御信号φPDRSTを入力するための排出制御線312に接続される。なお、排出部302は、光電変換部300の電荷を電源電圧VDDが供給される電源配線に排出するとして説明したが、電源電圧VDDとは異なる電源電圧が供給される電源配線に排出してもよい。
 FD303は、転送部301により光電変換部300から転送される。FD303は、光電変換部300から転送された電荷を蓄積する。
 リセット部304は、FD303に蓄積された電荷を電源電圧VDDが供給される電源配線に排出する。リセット部304は、FD303の電位を基準電位である電源電圧VDDにリセットする。リセット部304は、FD303と電源配線との間の電気的な接続を制御する。リセット部304は、たとえば、トランジスタにより構成される。また、リセット部304は、少なくともゲート端子を有し、FD303の一部をソース端子、電源配線に接続される拡散領域の一部をドレイン端子とするトランジスタの一部を構成する素子であってもよい。リセット部304のゲート端子は、リセット制御信号φRSTを入力するためのリセット制御線313に接続される。リセット制御線313については後述する。
 画素出力部305は、FD303の電位に基づく画素信号を信号線202に出力する。画素出力部305は、増幅部351および選択部352を有する。増幅部351は、トランジスタにより構成される。増幅部351は、ゲート端子がFD303に接続され、ドレイン端子が電源電圧VDDの供給される電源配線に接続され、ソース端子が選択部352のドレイン端子に接続される。
 選択部352は、画素201と信号線202の間の電気的な接続を制御する。選択部352により画素201と信号線202が電気的に接続されると、画素201から信号線202に画素信号が出力される。選択部352は、トランジスタにより構成される。また、選択部352は、少なくともゲート端子を有し、増幅部351の一部をソース端子、信号線202に接続される拡散領域の一部をドレイン端子とするトランジスタの一部を構成する素子であってもよい。選択部352のゲート端子は、選択制御信号φSELを入力するための複数の画素ブロック200にわたる選択制御線314に接続される。選択部352のソース端子は負荷電流源306に接続されている。
 負荷電流源306は、信号線202に接続され、画素201から画素信号を読み出すための電流を供給する。これにより、増幅部351の動作を安定させることができる。また、負荷電流源306は、信号線202に接続されている。負荷電流源306は、第1半導体基板110に設けられてもよいし、第2半導体基板120に設けられてもよい。
 また、FD303、画素出力部305を他の画素201と共有してもよい。たとえば、行方向または列方向に並んで配置される複数の画素201においてFD303、画素出力部305を共有してもよい。また、画素201は複数の光電変換部300、転送部301で構成してもよい。
 図4は、制御回路部102の具体的な構成の一例を示す説明図である。制御回路部102は、複数の制御ブロック400Aを有する。複数の制御ブロック400Aは、制御回路部102において行方向および列方向に並んで配置される。具体的には、制御回路部102は、M×N個の制御ブロック400Aを有する。制御回路部102は、1つの制御ブロック400Aに対して、1つの画素ブロック200が配置される場合、画素ブロック200の直下に制御ブロック400Aを有する。1つの画素ブロック200と1つの制御ブロック400Aとは、ほぼ同一形状および同一サイズである。また、制御回路部102は、1つの制御ブロック400Aに対して、列方向に並ぶ複数の画素ブロック200が配置される場合、列方向に並んで配置された複数の画素ブロック200の直下に1つの制御ブロック400Aを有する。
 制御ブロック400Aは、画素ブロック200に対応して設けられる。制御ブロックと画素ブロックとの対応関係の一例として、たとえば、制御ブロック400Aは、第1半導体基板110と第2半導体基板120とが積層される方向(積層方向)において画素ブロック200の直下に位置する。また、制御ブロック400Aは、信号線202、転送制御線311および排出制御線312により画素ブロック200と電気的に接続される。具体的には、積層方向において画素ブロック200の直下に位置する制御ブロック400Aは、転送制御線311や排出制御線312のようなローカル制御線により、積層方向において直上の画素ブロック200(以下、対応画素ブロック200)と電気的に接続されている。また、制御ブロック400Aは、対応画素ブロック200の画素201から出力された画素信号を信号線202を介して入力する。
 制御ブロック400Aは、対応画素ブロック200の駆動を制御する。たとえば、制御ブロック400Aは、対応画素ブロック200に含まれる画素201の露光時間を制御する。また、制御ブロック400Aは、入力された信号を処理する信号処理部402を有し、対応画素ブロック200に含まれる画素201から出力された画素信号を処理する。たとえば、制御ブロック400Aは、対応画素ブロック200に含まれる画素201から出力されたアナログの画素信号をデジタル信号に変換する。
 制御ブロック400Aは、画素制御部401と信号処理部402とを有する。画素制御部401は、自律露光処理部411と、露光制御部412と、画素駆動部413と、を有し、画素部101の画素201を制御する。信号処理部402は、信号入力部421と、信号変換部422と、信号出力部423とを有し、画素部101からのアナログの画素信号をデジタル信号に変換して画素制御部401およびデータ処理部103に転送する。
 自律露光処理部411は、信号処理部402によりデジタル信号に変換された画素信号に基づいて、対応画素ブロック200に含まれる画素201の露光時間を算出する回路である。自律露光処理部411の詳細については後述する。
 露光制御部412は、自律露光処理部411によって算出された露光時間に基づいて、対応画素ブロック200に含まれる画素201の露光を制御する回路である。具体的には、露光制御部412は、対応画素ブロック200に含まれる画素201の露光時間(光電変換部300の電荷蓄積時間)を制御するための制御信号を生成する。たとえば、露光制御部412は、対応画素ブロック200に含まれる画素201の露光の開始タイミングまたは終了タイミングを調整して、画素ブロック200毎の露光時間を制御する。露光制御部412は、制御ブロック400Aにおいて行方向に延伸して設けられる。
 画素駆動部413は、露光制御部412によって生成された制御信号を対応画素ブロック200に含まれる画素201に出力する。画素駆動部413は、対応する画素ブロック200に含まれる画素201を駆動させる駆動回路である。画素駆動部413は、対応する画素ブロック200に含まれる画素201のうちから選択された画素行の画素201を駆動する。画素駆動部413は、列方向に延伸して設けられる。これにより、画素駆動部413は、列方向に配置されたm個の画素201と対応した位置に配置されている。自律露光処理部411、露光制御部412および画素駆動部413は、制御ブロック400Aにおいて、画素駆動部413が列方向に延伸して、自律露光処理部411および露光制御部412が行方向に延伸することにより、L字型に配置されている。
 信号入力部421は、対応する画素ブロック200に含まれる画素201から出力された画素信号を入力する。信号入力部421は、入力された画素信号を信号変換部422に出力する。信号入力部421は、対応画素ブロック200において行方向に配置されたn個の画素201毎に設けられてもよい。信号入力部421は、第1半導体基板110から出力された画素信号に対してノイズ除去処理等の信号処理を行う処理回路を有してもよい。また、信号入力部421は、対応する画素ブロック200に含まれる画素201に接続される信号線202の電圧が所定値以下にならないように調整を行う電圧調整回路を有してもよい。負荷電流源306は、第2半導体基板に配置される場合、対応する制御ブロック400Aに含まれる信号入力部421に配置されていてもよい。
 信号変換部422は、信号入力部421から出力された画素信号をデジタル信号に変換する。信号変換部422は、対応画素ブロック200において列方向に配列されたm個の画素201からそれぞれ出力された画素信号を順次デジタル信号に変換する。信号変換部422は、対応する画素ブロック200において行方向にn列に並んだ画素201から出力された画素信号を並列にデジタル信号に変換する。
 信号出力部423は、信号変換部422でデジタル信号に変換された画素信号を記憶する。信号出力部423は、デジタル信号を記憶するためのラッチ回路を有してよい。信号出力部423は、列方向において、信号変換部422と自律露光処理部411との間に配置される。信号出力部423は、デジタル信号に変換された画素信号を制御回路部102の外部に出力する。信号出力部423は、制御ブロック400Aにおいて行方向に延伸して設けられる。信号出力部423は、列方向において信号変換部422および自律露光処理部411の間に配置される。
 図5は、制御ブロック400Aの内部構成の一例を示す説明図である。信号変換部422は、n個のコンパレータ501とn個の記憶部502とを備える。露光制御部412は、画素ブロック制御部503およびレベルシフト部504を備える。1個のコンパレータ501とそのコンパレータ501に接続される記憶部502との組み合わせが1つのADC(Analog-to-Digital Converter)500となる。
 コンパレータ501は、制御ブロック400Aにおいて列方向に延伸して設けられる。n個のコンパレータ501は、行方向に並んで配置されている。コンパレータ501は、対応する画素ブロック200において列方向に並ぶm個の画素201毎に配置されている。コンパレータ501は、対応画素ブロック200において列方向に並ぶm個の画素201の画素信号を順次読み出してデジタル信号に変換する。
 記憶部502は、コンパレータ501を用いてデジタル信号に変換された画素信号を記憶する。記憶部502は、信号変換部422において、コンパレータ501よりもY軸方向の負側に設けられる。たとえば、記憶部502は、ラッチ回路を有する。記憶部502は、SRAM等で構成されたメモリを有してよい。
 画素ブロック制御部503は、対応する画素ブロック200に含まれる画素201が有する転送部301および排出部302の動作を制御する。具体的には、画素ブロック制御部503は、対応画素ブロック200に含まれる画素201が有する転送部301を制御するための転送制御信号φTXと、対応画素ブロック200に含まれる画素201が有する排出部302を制御するための排出制御信号φPDRSTとを出力する。画素ブロック制御部503は、制御ブロック400Aにおいて行方向に延伸して設けられている。画素ブロック制御部503は、列方向においてレベルシフト部504と自律露光処理部411との間に配置される。
 レベルシフト部504は、画素ブロック制御部503から出力された制御信号の電圧レベルを調整する。具体的には、レベルシフト部504は、画素ブロック制御部503から出力された転送制御信号φTXの電圧レベルを昇圧する。また、レベルシフト部504は、画素ブロック制御部503から出力された排出制御信号φPDRSTの電圧レベルを昇圧する。
 転送部301は、画素ブロック制御部503により昇圧された転送制御信号φTXを転送制御線311を介して入力する。排出部302は、画素ブロック制御部503により昇圧された排出制御信号φPDRSTを排出制御線312を介して入力する。
 このように、画素ブロック制御部503は、画素201が有する読出部310の転送部301および排出部302において用いられる電圧レベルとなるように転送制御信号φTXおよび排出制御信号φPDRSTを昇圧する。レベルシフト部504は、制御ブロック400Aにおいて行方向に延伸して設けられる。
 レベルシフト部504は、画素ブロック制御部503よりも制御ブロック400Aの外周側に設けられている。レベルシフト部504のX軸方向正側の端部と、Y軸方向負側の端部とが制御ブロック400Aの最も外側に位置している。レベルシフト部504のX軸方向負側の端部は、画素駆動部413と接している。
 レベルシフト部504および画素駆動部413は、レベルシフト後の信号を扱う。一方、自律露光処理部411、画素ブロック制御部503、レベルシフト部504および画素駆動部413は、第1半導体基板110から出力された画素信号を扱う。
 ここで、制御ブロック400Aの各構成は、第2半導体基板120に設けられたウェル領域に形成される。ウェル領域は、取り扱う信号の電圧レベルに応じて分離して設けられる。ウェル領域は、使用される電源が、デジタル用電源かアナログ用電源かによって分離される。また、信号変換部422は、同じアナログ電源を使用する場合であっても、ノイズの観点から他のアナログ電源を用いる領域と分離される場合がある。ウェル領域の分離には、製造プロセスルールに応じた間隔のウェル分離領域が必要となる。
 制御ブロック400Aは、レベルシフト部504および画素駆動部413を形成するためのウェル領域を、他のウェル領域と分離している。たとえば、レベルシフト部504および画素駆動部413は、L字型に設けられることにより、レベルシフト部504および画素駆動部413のウェル領域を共有することができる。ウェル領域の共有により、ウェル分離領域を省略することができるので、レイアウト効率が向上する。
 L字型の画素制御部401は、制御ブロック400Aの外周の一部を構成する。これにより、行方向および列方向に隣り合う他の制御ブロック400Aともウェル領域を共有することができる。
 図6は、撮像素子100Aにおける第1半導体基板110と第2半導体基板120との信号の伝送例を示す説明図である。グローバル駆動部600は、制御回路部102の両端を挟んで配置された周辺回路部121に設けられている。
 転送制御線311aおよび排出制御線312aはそれぞれ、画素ブロック200aに含まれる画素201に接続される。転送制御線311aは、画素ブロック200aに含まれる画素201が有する転送部301のゲート端子に接続され、排出制御線312aは、画素ブロック200aに含まれる画素201が有する排出部302のゲート端子に接続される。転送制御線311aは、制御ブロック400Aaから出力された転送制御信号φTXを画素ブロック200aに含まれる画素201が有する転送部301に供給する。排出制御線312aは、制御ブロック400Aaから出力された排出制御信号φPDRSTを画素ブロック200aに含まれる画素201が有する排出部302に供給する。
 同様に、転送制御線311bおよび排出制御線312bはそれぞれ、画素ブロック200bに含まれる画素201に接続される。転送制御線311bは、画素ブロック200bに含まれる画素201が有する転送部301のゲート端子に接続され、排出制御線312bは、画素ブロック200bに含まれる画素201が有する排出部302のゲート端子に接続される。転送制御線311bは、制御ブロック400Abから出力された転送制御信号φTXを画素ブロック200bに含まれる画素201が有する転送部301に供給する。排出制御線312bは、制御ブロック400Abから出力された排出制御信号φPDRSTを画素ブロック200bに含まれる画素201が有する排出部302に供給する。
 転送制御線311a,311bを区別しない場合は、転送制御線311と称す。排出制御線312a,排出制御線312bを区別しない場合は、排出制御線312と称す。
 転送制御線311および排出制御線312は、画素ブロック200の第1画素に接続されるローカル制御線の一例である。なお、転送制御線311および排出制御線312は、画素ブロック200において、行方向に並ぶn個の画素201に対して共通接続される。
 グローバル駆動部600は、リセット制御信号φRST、選択制御信号φSELおよび転送選択制御信号φTXSELを出力する。グローバル駆動部600は、それぞれの画素ブロック200に制御信号を出力するリセット制御線313、選択制御線314、および転送選択制御線603に接続されている。
 グローバル駆動部600は、リセット制御線313および選択制御線314を介して複数の画素ブロック200に、リセット制御信号φRSTおよび選択制御信号φSELを供給する。グローバル駆動部600は、転送選択制御線603を介して複数の制御ブロック400Aに転送選択制御信号φTXSELを供給する。
 転送選択制御信号φTXSELは、画素ブロック200毎の露光時間を制御するために、グローバル駆動部600から制御ブロック400Aに供給される。転送選択制御信号φTXSELが供給された制御ブロック400Aは、転送選択制御信号φTXSELを対応する画素ブロック200に出力する。制御ブロック400Aは、転送選択制御信号φTXSELを、転送制御信号φTXまたは排出制御信号φPDRSTとして画素201に入力するか否かを決定する。これにより、画素201への転送制御信号φTXまたは排出制御信号φPDRSTの入力がスキップされる。
 たとえば、制御ブロック400Aは、転送制御信号φTXが露光の終了時刻を決定する場合、転送制御信号φTXをスキップさせることによって露光時間を延長する。また、制御ブロック400Aは、転送制御信号φTXが露光の開始時刻を決定する場合、転送制御信号φTXをスキップさせることによって露光時間を短縮できる。このように、転送選択制御信号φTXSELによって、画素ブロック200の露光時間を調整することができる。排出制御信号φPDRSTが露光の開始時刻または終了時刻を決定する場合も同様である。
 リセット制御線313、選択制御線314、および転送選択制御線603は、複数の画素ブロック200に共通して設けられる。リセット制御線313、選択制御線314、および転送選択制御線603は、行方向に第1半導体基板110を横断するように配線されている。リセット制御線313、選択制御線314、および転送選択制御線603は、列方向に第1半導体基板110を横断するように配線されてもよい。
 たとえば、リセット制御線313は、画素ブロック200内の画素201のリセット部304のゲート端子に接続され、リセット制御信号φRSTを供給する。選択制御線314は、画素ブロック200内の画素201の選択部352のゲート端子に接続され、選択制御信号φSELを供給する。転送選択制御線603は、複数の制御ブロック400Aのそれぞれに接続され、画素制御部401に転送選択制御信号φTXSELを供給する。
 なお、グローバル駆動部600は、第2半導体基板120から第1半導体基板110を経由して転送選択制御信号φTXSELを制御ブロック400Aに出力しているが、第1半導体基板110を経由せずに制御ブロック400Aに転送選択制御信号φTXSELを出力してもよい。この場合、転送選択制御線603は、第2半導体基板120に設けられる。
 接合部610は、第1半導体基板110および第2半導体基板120が互いに接合する接合面に設けられる。接合部610は、第1半導体基板110と第2半導体基板120との間において、転送制御線311,排出制御線312,転送選択制御線603を位置合わせする。接合部610の各々は1対の導電性の接合パッドで構成され、第1半導体基板110および第2半導体基板120の加圧処理等により接合されて、電気的に接続される。
 撮像素子100Aは、転送制御線311および排出制御線312のようなローカル制御線によって、転送部301および排出部302の少なくとも1つのタイミングを変化させることにより、画素ブロック200毎に露光時間を制御する。撮像素子100Aは、転送制御線311および排出制御線312のようなローカル制御線と、リセット制御線313、選択制御線314、および転送選択制御線603のようなグローバル制御線を組み合わせることにより、より少ない制御線で露光時間の制御を実現することができる。
 図7は、本実施形態に係る撮像素子100AのX-Z方向断面の一例を示す説明図である。図7では、裏面照射型の撮像素子100Aを示すが、撮像素子100Aは裏面照射型に限定されない。撮像素子100Aは、マイクロレンズ層700と、カラーフィルタ層702と、第1半導体基板110と、第2半導体基板120と、第3半導体基板130とを備える。なお、図示するように、被写体からの光は白抜き矢印で示す方向(図中においてZ軸負方向)へ入射する。第1半導体基板110において光が入射してくる側(図中においてZ軸正側)の面を表面と称し、その反対側(図中においてZ軸負側)の面を裏面と称する場合がある。
 マイクロレンズ層700は、複数のマイクロレンズ701を有する。複数のマイクロレンズ701は、カラーフィルタ層702よりもZ軸正側に積層される。マイクロレンズ701は、光が入射される。マイクロレンズ701は、入射した光を光電変換部300に集光する。マイクロレンズ701は、光電変換部300毎に設けられてもよい。マイクロレンズ701の光軸Lは、第1半導体基板110、第2半導体基板120および第3半導体基板130の積層方向(Z軸と平行な方向)となる。
 カラーフィルタ層702は、複数のカラーフィルタ703と、パッシベーション膜704と、を有する。カラーフィルタ層702は、第1半導体層711よりもZ軸正側に積層される。カラーフィルタ703は、特定の波長領域の光を透過する光学フィルタである。カラーフィルタ703は、特定の分光特性を有する光学フィルタである。複数のカラーフィルタ703は、分光特性が異なる複数の光学フィルタを有し、互いに異なる波長領域の光を透過する。複数のカラーフィルタ703は、特定の配列(たとえば、ベイヤー配列)で設けられる。
 第1半導体基板110の一例は、裏面照射型のCMOSイメージセンサである。第1半導体基板110は、第1半導体層711と、第1配線層712とを有する。第1半導体層711は、第1配線層712よりもZ軸正側に設けられている。第1半導体層711は、行方向と列方向とに二次元的に配置される複数の画素ブロック200を有する。第1半導体層711は、行方向と列方向とに二次元的に配置される複数の画素201を有する。複数の画素201は、入射した光に基づいて電荷を蓄積する複数の光電変換部300と、複数の読出部310とをそれぞれ有する。
 第1配線層712は、第1半導体層711よりも第2半導体基板120側(図中においてZ軸負側)に設けられている。第1配線層712は、導体膜(金属膜)からなる複数の配線713と、複数の接合パッド714と、絶縁膜(絶縁層)とを有する。
 第1配線層712は、電源または回路等と電気的に接続される複数の配線713を有する。第1半導体基板110において、配線713は、具体的には、たとえば、所定の電源電圧が供給される電源配線、第1半導体基板110(画素)からの画素信号を第2半導体基板120に伝送する信号線202、第2半導体基板120からの制御信号を第1半導体基板110(画素)に伝送する転送制御線311、排出制御線312、リセット制御線313、選択制御線314、および転送選択制御線603である。第1配線層712は多層であってよく、また、受動素子および能動素子が設けられてもよい。
 接合パッド714は、第1配線層712の表面(Z軸負側の面)に設けられ、配線713と接続される。また後述するように、接合パッド714は、層同士の接続を補助にも用いられる。接合パッド714は、たとえば、銅等の導電性材料で形成される。なお、接合パッド714は金または銀、アルミから形成されてもよい。複数の配線713の間および複数の接合パッド714の間には絶縁層(絶縁膜)が形成される。
 第2半導体基板120は、第2半導体層721と、第2配線層722と配線層723とを有する。第2配線層722は、第2半導体層721よりも第1半導体基板110側(図中においてZ軸正側)に設けられている。配線層723は、第2半導体層721よりも第3半導体基板130側(図中においてZ軸負側)に設けられ、第2半導体層721と第3半導体基板130との間に設けられている。第2半導体層721は、制御回路部102および周辺回路部121を有する。制御回路部102は、行方向と列方向とに二次元的に配置される複数の制御ブロック400Aを有する。
 第2半導体基板120は、第1半導体基板110と同様に、第2配線層722に設けられた複数の配線713と、第2配線層722および配線層723に設けられた複数の接合パッド714と、第2配線層722および配線層723に設けられた絶縁膜(絶縁層)とを有する。
 第2配線層722は、電源または回路等と電気的に接続するため、画素部101からの信号を制御回路部102に伝送するため、制御回路部102からの信号を画素部101に伝送するための、複数の配線713および接合パッド714を有する。第2半導体基板120において、配線713は、具体的には、たとえば、所定の電源電圧が供給される電源配線、第1半導体基板110(画素)からの画素信号を第2半導体基板120に伝送する信号線202、第2半導体基板120からの制御信号を第1半導体基板110(画素)に伝送する転送制御線311、排出制御線312、リセット制御線313、選択制御線314、および転送選択制御線603である。第2配線層722は多層であってよく、また、受動素子および能動素子が設けられてもよい。配線713および接合パッド714は、配線層723にさらに設けられてもよい。
 第2半導体基板120は、表裏面にそれぞれ設けられた回路を互いに接続するTSV(シリコン貫通電極)724をさらに有する。TSV724は、周辺領域に設けられることが好ましい。TSV724は、データ処理部103で生成された画像データ等を第1半導体基板110に伝送する。TSV724は、第1半導体基板110および第3半導体基板130にも設けられてよい。
 第3半導体基板130は、データ処理部103が設けられた第3半導体層731と、第3配線層732とを有する。第3配線層732は、第3半導体層731と第2半導体基板120との間に設けられている。
 第3半導体基板130は、第1半導体基板110と同様に、第3配線層732に設けられた配線713および複数の接合パッド714を有する。第3配線層732は、電源または回路等と電気的に接続するため、制御回路部102からの信号をデータ処理部103に伝送するため、および、データ処理部103からの信号を第2半導体基板120の制御回路部102に伝送するための、複数の配線713および接合パッド714を有する。
 なお、第1半導体基板110、第2半導体基板120および第3半導体基板130は、各層に設けられた接合パッド714同士の電気的接続と、各層の配線層(絶縁層)同士の接合とにより積層される。
 第1半導体基板110と第2半導体基板120とが積層されると、第1配線層712のZ軸負側の面と第2配線層722のZ軸正側の面とで境界面720が構成される。同様に、第2半導体基板120と第3半導体基板130とが積層されると、配線層723のZ軸負側の面と第3配線層732のZ軸正側の面とで境界面730が構成される。境界面720および境界面730には、複数の接合パッド714が配置される。具体的には、対応する接合パッド714同士が位置合わせされ、2つの層が積層されることにより、位置合わせされた接合部が電気的に接続される。
 第1半導体基板110、第2半導体基板120および第3半導体基板130は、チップ化される前のウエハの状態で積層され、積層されたウエハをダイシングすることにより形成(個片化)されてもよいし、第1半導体基板110、第2半導体基板120および第3半導体基板130の各ウエハをダイシングした後に積層されることにより形成されてもよい。
 図8は、撮像素子100Aの撮像動作例1を示すタイミングチャートである。図8は、転送制御信号φTX、排出制御信号φPDRST、リセット制御信号φRSTおよび選択制御信号φSELによって、撮像素子100Aの駆動を制御する撮像動作例である。図8では、排出制御信号φPDRSTがローカル制御され、転送制御信号φTX、リセット制御信号φRSTおよび選択制御信号φSELがグローバル制御される。なお、左端の各信号の末尾の<1>、<2>、…、<m>は、画素ブロック内の画素201の行番号を示す。
 排出制御信号φPDRSTは、露光を開始するタイミングを制御する。露光の開始タイミングは、排出制御信号φPDRSTの立ち下りのタイミング(たとえば、時刻T1)に対応する。即ち、露光の開始時刻T1の前に、排出制御信号φPDRSTは、排出部302をオンして、光電変換部300に蓄積された電荷を排出して、排出制御信号φPDRSTの立ち下りで露光が開始する。排出制御信号φPDRSTは、ローカル制御されているので、画素ブロック200毎に露光時間を調整することができる。
 転送制御信号φTXは、露光を終了するタイミングを制御する。時刻T3において、転送制御信号φTXは、転送部301をオンすることにより、光電変換部300に蓄積された電荷をFD303に転送する。露光の終了タイミングは、転送制御信号φTXの立ち下がりのタイミング(たとえば、時刻T4)に対応する。転送制御信号φTXは、グローバル制御された信号であるので、各画素ブロック200で露光を終了するタイミングが同じである。
 リセット制御信号φRSTは、FD303に蓄積された電荷の排出のタイミングを制御する。時刻T2において、リセット制御信号φRSTは、リセット部304をオンすることにより、FD303の電荷を排出する。露光の終了のタイミングの前にFD303の電荷を排出しておくことにより、光電変換部300からの電荷の転送時に、FD303に残った電荷の影響を抑制できる。
 選択制御信号φSELは、任意の画素201を選択するための信号である。選択制御信号φSELは、選択部352のオンオフを制御する。時刻T2において、選択制御信号φSELがハイに設定される。時刻T3において、選択制御信号φSELがハイに設定された画素201は、転送制御信号φTXのオンに応じて信号線202に画素信号を出力する。一方、選択制御信号φSELがハイに設定されていない画素201では、画素信号が出力されない。
 撮像素子100Aは、排出制御信号φPDRSTをローカル制御することにより、画素ブロック200毎に露光の開始タイミングを変更して、画素ブロック200毎に露光時間を制御することができる。また、撮像素子100Aは、転送制御信号φTXをローカル制御することにより、露光の終了タイミングを画素ブロック200毎に制御してもよい。そして、撮像素子100Aは、転送制御信号φTXと排出制御信号φPDRSTの両方をローカル制御することにより、露光の開始タイミングと終了タイミングの両方を画素ブロック200毎に制御してもよい。
 図9は、撮像素子100Aの撮像動作例2を示すタイミングチャートである。図9は、転送制御信号φTX、リセット制御信号φRSTおよび選択制御信号φSELによって、撮像素子100Aの駆動を制御する撮像動作例である。撮像素子100Aは、転送制御信号φTXによって、露光の開始のタイミングを制御する点で図8の場合と相違する。図8と相違する点について特に説明する。
 転送制御信号φTXは、露光の開始および終了のタイミングを制御する。フレーム(n)において、時刻T5で露光が開始して、時刻T7で露光が終了している。
 露光の開始時刻T5において、転送制御信号φTXが立ち下がることにより、露光が開始する。即ち、露光の開始時刻T5の前に、転送制御信号φTXは、リセット制御信号φRSTがオンされた状態で転送部301をオンすることにより、光電変換部300に蓄積された電荷を排出して、転送制御信号φTXの立ち下りで露光が開始する。転送制御信号φTXは、ローカル制御された信号であるので、各画素ブロック200で露光を開始するタイミングを変化させることができる。但し、各画素ブロック200で露光を開始するタイミングを合わせてもよい。
 また、露光の終了時刻T7において、転送制御信号φTXが立ち下がることにより、露光が終了する。即ち、露光の終了時刻T7の前に、転送制御信号φTXは、リセット制御信号φRSTがオフされた状態で転送部301をオンすることにより、光電変換部300に蓄積された電荷をFD303に転送して、転送制御信号φTXの立ち下りで露光が終了する。転送制御信号φTXは、ローカル制御された信号であるので、各画素ブロック200で露光を終了するタイミングを変化させることができる。但し、各画素ブロック200で露光を終了するタイミングを合わせてもよい。
 選択制御信号φSELは、任意の画素201を選択するための信号である。時刻T6において、選択制御信号φSELがハイに設定された画素201は、信号線202に画素信号を出力する。
 リセット制御信号φRSTは、FD303に蓄積された電荷の排出のタイミングを制御する。リセット制御信号φRSTは、グローバル制御された信号であってよい。リセット制御信号φRSTが読み出しのタイミング以外で常時オンしているので、FD303に電荷が蓄積されない。一方、読み出しのタイミングでリセット制御信号φRSTをオフして、転送制御信号φTXをオンすることにより、光電変換部300からFD303に電荷を転送させる。リセット制御信号φRSTでは、読み出し時の切り替えのタイミングが同じなので、選択制御信号φSELのパルスと共通化することができる。
 撮像素子100Aは、転送制御信号φTXをローカル制御することにより、画素ブロック200毎に露光の開始または終了のタイミングを変更して、画素ブロック200毎に露光時間を制御することができる。また、撮像素子100Aは、リセット制御信号φRSTと選択制御信号φSELのパルスを共通化しているので、制御回路をさらに簡略化することができる。
 図10は、比較例に係る撮像素子の撮像動作を示すタイミングチャートである。図10は、転送制御信号φTX、リセット制御信号φRSTおよび選択制御信号φSELによって、撮像素子の駆動を制御する撮像動作例であり、画素ブロック200毎に露光時間を制御していない。
 比較例では、転送制御信号φTXおよびリセット制御信号φRSTによって露光の開始が制御される。露光の開始タイミングは、転送制御信号φTXおよびリセット制御信号φRSTの立ち下がりのタイミング(時刻t1)である。露光の終了タイミングは、転送制御信号φTXの立ち下がりのタイミング(時刻t2)である。比較例では、露光の開始タイミングおよび終了タイミングがグローバル制御されており、画素ブロック200毎に露光時間を制御していない。
 図11は、撮像素子100Aが撮像する被写体の一例を示す説明図である。図11において、撮像素子100Aは、トンネルの外に西日が差している状況において、画素ブロック200毎に露光時間を制御する。
 領域1~領域5は、明るさに応じて分けられた5つの領域である。領域1~領域5は、明るい順に番号が振られている。領域1は、西日が直接見えている最も明るい領域である。領域2は、トンネルの出口に対応する領域であり、領域1よりも暗い。領域3は、トンネル内で西日が反射している領域であり、領域2よりも暗い。領域4は、トンネル内で出口からの西日に差し込まれた領域であり、領域3よりも暗い。領域5は、トンネル内で出口からの西日に差し込まれていない最も暗い領域である。
 撮像素子100Aは、各領域の明るさに応じて、画素ブロック200毎に露光時間を制御する。撮像素子100Aは、明るい領域の画素ブロック200ほど露光時間が短くなるように制御する。領域1の露光時間を最も短く設定して、領域5の露光時間を最も長く設定する。たとえば、領域1~領域5の露光時間は、1/19200s、1/1920s、1/960s、1/240sおよび1/120sである。
 図12は、図11に示した領域1~5ごとの露光時間を示すタイミングチャートである。図12において、撮像素子100Aは、図11に示した領域1~領域5の画素ブロック200毎に露光時間を制御している。時刻T11から時刻T19までの区間が、動画フレームレートに対応している。
 領域1において、制御ブロック400Aは、画素ブロック200における露光時間が予め定められた露光時間ET1となるように駆動を制御する。制御ブロック400Aは、露光の開始を排出制御信号φPDRSTで制御して、露光の終了を転送制御信号φTXで制御している。領域1では、時刻T12~時刻T19のそれぞれで露光が終了している。
 領域2において、制御ブロック400Aは、画素ブロック200における露光時間がET1よりも長い露光時間ET2となるように駆動を制御する。制御ブロック400Aは、領域2の露光開始時刻を領域1よりも早め、露光の終了時刻を領域1と一致させている。よって、領域2では、時刻T12~時刻T19のそれぞれで露光が終了している。領域2の露光時間ET2は、センサレートの周期よりも短い。
 領域3において、制御ブロック400Aは、画素ブロック200における露光時間がET2よりも長い露光時間ET3となるように駆動を制御する。制御ブロック400Aは、領域3の露光開始時刻を領域2よりも早め、露光の終了時刻を領域2と一致させている。よって、領域3では、時刻T12~時刻T19のそれぞれで露光が終了している。領域3の露光時間ET3は、センサレートの周期と同一になるように設定されている。
 領域4において、制御ブロック400Aは、画素ブロック200における露光時間がET3よりも長い露光時間ET4となるように駆動を制御する。制御ブロック400Aは、領域4を領域3と同じ露光開始時刻とする一方で、露光の終了時刻を転送選択制御信号φTXSELによりスキップする。制御ブロック400Aは、転送選択制御信号φTXSELにより3回スキップすることにより、領域3の4倍の露光時間を実現している。領域4では、時刻T12~時刻T14のそれぞれの時刻で転送選択制御信号φTXSELが供給されている。
 領域5において、制御ブロック400Aは、画素ブロック200における露光時間がET4よりも長い露光時間ET5となるように駆動を制御する。制御ブロック400Aは、領域5を領域4と同じ露光開始時刻とする一方で、露光の終了時刻を転送選択制御信号φTXSELによりスキップする回数を増やしている。制御ブロック400Aは、転送選択制御信号φTXSELにより7回スキップすることにより、領域4の2倍の露光時間を実現している。領域5の露光時間ET5は、動画フレームレートの周期と同一になるように設定されている。領域5では、時刻T12~時刻T18のそれぞれの時刻で転送選択制御信号φTXSELが供給されている。
 撮像素子100Aは、転送制御信号φTXと排出制御信号φPDRSTの間隔を近づけることで短秒露光を実現する。また、撮像素子100は、転送選択制御信号φTXSELにより転送制御信号φTXの制御をスキップすることで長秒露光を実現している。これにより、ダイナミックレンジを拡大することができる。
 図13は、複数の制御ブロック400Aのレイアウト例を示す平面図である。複数の制御ブロック400Aは、隣りに並ぶ制御ブロック400A同士で反転配置されている。図13は、制御回路部102に設けられた複数の制御ブロック400Aのうち、12個の制御ブロック400Aを例示している。
 反転配置とは、制御ブロック400Aの各構成(たとえば、露光制御部412、画素駆動部413、信号入力部421、信号変換部422および信号出力部423)の形成される領域が、制御ブロック400A同士の境界線を中心にミラー反転配置(線対称に配置)されていることを示す。制御ブロック400Aの各構成の回路までもが反転配置されなくてもよい。また、制御ブロック400Aの各画素の読出し順も反転して読み出すものに限定されない。
 たとえば、行方向において隣りに並ぶ複数の制御ブロック400A同士が反転配置されている場合、制御ブロック400Aの各構成が行方向に反転して配置されるので、両制御ブロック400Aの境界では各々の画素駆動部413同士が隣り合って配置されることになる。これにより、行方向において隣りに並ぶ複数の画素駆動部413を1つの画素駆動部413としてレイアウトすることができ、制御ブロック400Aのレイアウト効率を向上することができる。
 同様に、列方向において隣に並ぶ複数の制御ブロック400A同士が反転配置されている場合、制御ブロック400Aの各構成が列方向に反転して配置されるので、両制御ブロック400Aの境界では同一の構成が隣り合って配置されることになる。これにより、列方向において隣に並ぶ複数の信号入力部421を1つの信号入力部421としてレイアウトすることができ、制御ブロック400Aのレイアウト効率を向上することができる。
 制御ブロック400Aは、それぞれ隣り合って配置される制御ブロック400Aと反転配置されている。全ての制御ブロック400Aが行方向および列方向で反転配置されているが、行方向または列方向の一方で反転配置されてもよい。たとえば、制御ブロック400Aの信号変換部422は、行方向において隣りに並ぶ制御ブロック400Aの信号変換部422と反転配置されている。また、制御ブロック400Aの信号変換部422は、列方向に隣り合う制御ブロック400Aの信号変換部422とも反転配置されている。
 制御ブロック400Aaおよび制御ブロック400Abは、行方向において隣に並んで配置される。制御ブロック400Aaは、制御ブロック400Abと反転配置されている。制御ブロック400Aaのレベルシフト部504は、制御ブロック400Abのレベルシフト部504と同一のウェル領域内に設けられる。同様に、画素ブロック制御部503、記憶部502および信号出力部423は、制御ブロック400Aaと制御ブロック400Abとで同一のウェル領域内に設けられる。
 制御ブロック400Abおよび制御ブロック400Acは、行方向において隣に並んで配置される。制御ブロック400Abは、制御ブロック400Acと反転配置されている。制御ブロック400Abの画素駆動部413は、制御ブロック400Acの画素駆動部413と同一のウェル領域内に設けられる。画素駆動部413のウェル領域は、レベルシフト部504のウェル領域とも共有されてよい。
 制御ブロック400Aaおよび制御ブロック400Adは、列方向において隣に並んで配置される。制御ブロック400Aaは、制御ブロック400Adと反転配置されている。制御ブロック400Aaの画素駆動部413は、制御ブロック400Adの画素駆動部413と同一のウェル領域内に設けられる。また、制御ブロック400Aaの信号変換部422は、制御ブロック400Adの信号変換部422と同一のウェル領域内に設けられる。
 制御ブロック400Adおよび制御ブロック400Aeは、列方向に隣り合って設けられる。制御ブロック400Adは、制御ブロック400Aeと反転配置されている。制御ブロック400Adの画素駆動部413およびレベルシフト部504は、制御ブロック400Aeの画素駆動部413およびレベルシフト部504と同一のウェル領域内に設けられる。
 撮像素子100は、制御ブロック400Aを反転配置することにより、制御ブロック400A毎に並列で信号処理する場合であっても、レイアウトを効率化することができる。撮像素子100Aは、複数の制御ブロック400AをXY平面で反転配置することにより、隣り合う制御ブロック400A同士でウェル領域を共有することができる。これにより、ウェル領域の切り替えの回数が減り、面積効率が向上する。
 図14は、画素201の回路構成の他の例を示す回路図である。画素201において、図3と同じ構成には同じ参照番号を付して説明を省略する。画素201では、画素201に設けられていた排出部302は設けられていない。光電変換部300に蓄積された電荷を電源電圧VDDが供給される電源配線に排出する場合、転送部301のゲート端子に転送制御信号φTXを入力し、かつ、リセット部304のゲート端子にリセット制御信号φRSTを入力することになる。
 図15は、撮像素子100Aの撮像動作例3を示すタイミングチャートである。図15では、図14に示した画素201が用い、転送制御信号φTX、リセット制御信号φRSTおよび選択制御信号φSELによって、撮像素子100Aの駆動を制御する撮像動作例である。撮像素子100Aは、転送制御信号φTXによって、露光の開始のタイミングを制御する点で図12の場合と相違する。図12と相違する点について特に説明する。
 転送制御信号φTXは、露光の開始および終了のタイミングを制御する。フレーム(n)において、時刻T5で露光が開始して、時刻T7で露光が終了している。
 露光の開始時刻T5において、転送制御信号φTXが立ち下がることにより、露光が開始する。即ち、露光の開始時刻T5の前に、転送制御信号φTXは、リセット制御信号φRSTがオンされた状態で転送部301をオンすることにより、光電変換部300に蓄積された電荷を排出して、転送制御信号φTXの立ち下りで露光が開始する。転送制御信号φTXは、ローカルに制御された信号であるので、各画素ブロック200で露光を開始するタイミングを変化させることもできる。
 また、露光の終了時刻T7において、転送制御信号φTXが立ち下がることにより、露光が終了する。即ち、露光の終了時刻T7の前に、転送制御信号φTXは、リセット制御信号φRSTがオフされた状態で転送部301をオンすることにより、光電変換部300に蓄積された電荷をFD303に転送して、転送制御信号φTXの立ち下りで露光が終了する。転送制御信号φTXは、ローカルに制御された信号であるので、各画素ブロック200で露光を終了するタイミングを変化させることもできる。
 選択制御信号φSELは、任意の画素201を選択するための信号である。時刻T6において、選択制御信号φSELがハイに設定された画素201は、信号線202に画素信号を出力する。
 リセット制御信号φRSTは、FD303に蓄積された電荷の排出のタイミングを制御する。リセット制御信号φRSTは、グローバルに制御された信号であってよい。リセット制御信号φRSTが読み出しのタイミング以外で常時オンしているので、FD303に電荷が蓄積されない。一方、読み出しのタイミングでリセット制御信号φRSTをオフして、転送制御信号φTXをオンすることにより、光電変換部300からFD303に電荷を転送させる。リセット制御信号φRSTでは、読み出し時の切り替えのタイミングが同じなので、選択制御信号φSELのパルスと共通化することができる。
 このように、図1~図15に示した撮像素子100Aの構成によれば、複数の画素201で構成される画素ブロック200単位で露光し、画素ブロック200に対応する制御ブロック400A単位で画素ブロック200からの画素信号を読み出してアナログ信号をデジタル信号に変換することができる。また、撮像素子100Aは、画素ブロック200毎に設けられた制御ブロック400Aによって、画素信号を画素ブロック200毎に並列に読み出す。したがって、撮像素子100Aは、入射光の強度に応じて、画素ブロック200毎に露光時間を設定が可能であるため、ダイナミックレンジを拡大することができる。
 つぎに、図16~図22を用いて、画素ブロック200単位で露光するが、画素行ごとに画素信号を順次読み出して、画素列毎にAD変換をおこなう撮像素子100Bの構成について説明する。
 図16は、撮像素子の他の例を示す分解斜視図である。撮像素子100Bは、第1半導体基板110、第2半導体基板120および第3半導体基板130を備える。図16に示すように、第1半導体基板110は、第2半導体基板120に積層されており、第2半導体基板120は、第3半導体基板130に積層されている。
 第1半導体基板110は、画素部101および接続領域1601を有する。画素部101は、入射された光に基づく画素信号を出力する。接続領域1601は画素部101の周辺に配される。図16の例では画素部101の手前と奥に、第1半導体基板110の向かい合う2辺に沿って接続領域1601が一対配される。
 第2半導体基板120は、制御回路部102、周辺回路部121および信号処理部1602を有する。
 制御回路部102は、画素部101の駆動を制御するための制御信号を画素部101に出力する。制御回路部102は、第2半導体基板120において、画素部101と対向する位置に配置されている。
 周辺回路部121は、制御回路部102の駆動を制御する。周辺回路部121は、第2半導体基板120において、制御回路部102の周辺に配置されている。また、周辺回路部121は、第1半導体基板110と電気的に接続され、画素部101の駆動を制御してもよい。周辺回路部121は、第2半導体基板120の向かい合う2辺に沿って配置されているが、周辺回路部121の配置方法は本例に限られない。
 信号処理部1602には、第1半導体基板110から出力されたアナログの画素信号が入力される。信号処理部1602は画素信号に対する信号処理を行う。たとえば、信号処理部1602は、アナログの画素信号をデジタル信号に変換する処理を行う。信号処理部1602は他の信号処理を行ってもよい。他の信号処理の例としてアナログまたはデジタルのCDS(相関二重サンプリング)などのノイズ除去処理が挙げられる。信号処理部1602は制御回路部102の周辺すなわち外側に配される。図16の例では、制御回路部102の手前と奥に、第2半導体基板120の向かい合う2辺に沿って信号処理部1602が一対配される。信号処理部1602は、周辺回路部121に含まれる回路であってもよい。
 第3半導体基板130は、データ処理部103を有する。データ処理部103は、第2半導体基板120から出力されるデジタルデータを用いて、加算処理や間引き処理、その他画像処理を行う。
 図17は、制御回路部102の具体的な構成の他の例を示す説明図である。図17では、制御ブロック400Bは、画素制御部401(自律露光処理部411、露光制御部412、画素駆動部413)を有するが、信号処理部402を有しない。
 1つの画素ブロック200に対して1つの制御ブロック400Bを設けることに代えて、N個(Nは2以上の自然数)の画素ブロック200に対して1つの制御ブロック400Bを設けてもよい。1つの画素ブロックに対応したN個の画素ブロック200を画素ブロック群と称することがある。たとえば、列方向に沿って並んで配置された2つの画素ブロック200を1つの画素ブロック群として、1つの制御ブロック400Bを設けてもよい。この場合、制御ブロック400Bは、画素ブロック200毎に露光時間を制御してもよい。
 付言すれば、制御ブロック400Bは、少なくとも1つの画素ブロック200に電気的に接続され、当該少なくとも1つの画素ブロック200の画素201の露光を制御する回路の最小単位であるともいえる。
 図18は、撮像素子100Bにおける第1半導体基板110および第2半導体基板120の接続関係を示す説明図である。第1半導体基板110は、画素部101の周辺に設けられて画素部101と電気的に接続する接続領域1801、接続領域1601を備える。第2半導体基板120は、制御回路部102の周辺に設けられて制御回路部102と電気的に接続する接続領域1802、接続領域1803を備える。
 一対の接続領域1801は、それぞれ対向する位置にある一対の接続領域1802と接続されている。互いに接続された接続領域1801および接続領域1802は、グローバル駆動部600からの制御信号をグローバルな制御線を用いて画素部101に入力する。
 一対の接続領域1601は、それぞれ対向する位置にある一対の接続領域1803と接続されている。互いに接続された接続領域1601、接続領域1803は、画素部101からの画素信号を共通の信号線を用いて対応するADC部1820、ADC部1830に入力する。
 図19は、撮像素子100Bにおける第1半導体基板110と第2半導体基板120との信号の伝送例を示す説明図である。グローバル駆動部600は、リセット制御信号φRST、選択制御信号φSELおよび転送選択制御信号φTXSELを出力する。グローバル駆動部600は、それぞれの画素ブロック200に信号を出力するリセット制御線1903、選択制御線1904に接続されている。グローバル駆動部600は、リセット制御線1903を介して複数の画素ブロック200に、リセット制御信号φRSTを供給し、選択制御線1904を介して選択制御信号φSELを供給する。グローバル駆動部600は、転送選択制御線1905を介して複数の制御ブロック400Bに転送選択制御信号φTXSELを供給する。
 転送選択制御信号φTXSELは、画素ブロック200毎の露光時間を制御するために、グローバル駆動部600から制御ブロック400Bに供給される。転送選択制御信号φTXSELが供給された制御ブロック400Bは、転送選択制御信号φTXSELを対応する画素ブロック200に出力する。画素ブロック200は、転送選択制御信号φTXSELを、転送制御信号φTXまたは排出制御信号φPDRSTとして画素201に入力するか否かを決定する。これにより、画素201への転送制御信号φTXまたは排出制御信号φPDRSTの入力がスキップされる。
 たとえば、制御ブロック400Bは、転送制御信号φTXが露光の終了時刻を決定する場合、転送制御信号φTXをスキップさせることによって露光時間を延長する。また、制御ブロック400Bは、転送制御信号φTXが露光の開始時刻を決定する場合、転送制御信号φTXをスキップさせることによって露光時間を短縮できる。このように、転送選択制御信号φTXSELによって、画素ブロック200の露光時間を調整することができる。排出制御信号φPDRSTが露光の開始時刻または終了時刻を決定する場合も同様である。
 リセット制御線1903、選択制御線1904および転送選択制御線1905は、グローバルに配線されている、すなわち、複数の画素ブロック200に共通して設けられる。リセット制御線1903、選択制御線1904および転送選択制御線1905は、行方向に画素部101を横断するように配線されている。リセット制御線1903、選択制御線1904および転送選択制御線1905は、列方向に画素部101を横断するように配線されてもよい。
 たとえば、リセット制御線1903は、画素ブロック200のリセット部304のゲート端子に接続され、リセット制御信号φRSTを供給する。選択制御線1904は、画素ブロック200の選択部352のゲート端子に接続され、選択制御信号φSELを供給する。また、転送選択制御線1905は、複数の制御ブロック400Bのそれぞれに接続され、画素制御部401に転送選択制御信号φTXSELを供給する。
 なお、グローバル駆動部600は、第2半導体基板120から第1半導体基板110に転送選択制御信号φTXSELを出力しているが、第1半導体基板110に供給せずに制御ブロック400Bに転送選択制御信号φTXSELを出力してもよい。この場合、転送選択制御線1905は、第2半導体基板120に設けられる。
 一方、転送制御線1901aおよび排出制御線1902aは、画素ブロック200aに接続される。転送制御線1901aは、画素ブロック200aに設けられた転送部301のゲート端子に接続される。転送制御線1901aは、制御ブロック400Baから出力された転送制御信号φTXを画素ブロック200aに供給する。排出制御線1902aは、画素ブロック200aに設けられた排出部302のゲート端子に接続される。排出制御線1902aは、制御ブロック400Baから出力された排出制御信号φPDRSTを画素ブロック200aに供給する。
 転送制御線1901bおよび排出制御線1902bは、画素ブロック200bに接続される。転送制御線1901bは、画素ブロック200bに設けられた転送部301排出のゲート端子に接続される。転送制御線1901bは、制御ブロック400Bbから出力された転送制御信号φTXを画素ブロック200bに供給する。排出制御線1902bは、画素ブロック200bに設けられた排出部302のゲート端子に接続される。排出制御線1902bは、制御ブロック400Bbから出力された排出制御信号φPDRSTを画素ブロック200bに供給する。
 複数の接合部610は、第1半導体基板110および第2半導体基板120が互いに接合する接合面に設けられる。第1半導体基板110の接合部610は、第2半導体基板120の接合部610と位置合わせされている。対向する複数の接合部610は、第1半導体基板110および第2半導体基板120の加圧処理等により接合されて、電気的に接続される。この場合にグローバルな制御線の接合部610は、対応する画素ブロック200の下にあってもよいし、接続領域1801、接続領域1802にあってもよい。一方、ローカルな制御線の接合部610は、対応する画素ブロック200の下(制御ブロック400B上でもある)に設けられる。
 撮像素子100Bは、ローカルな制御線によって、転送部301および排出部302の少なくとも1つのタイミングを変化させることにより、画素ブロック200毎に露光時間を制御する。撮像素子100Bは、ローカルな制御線とグローバルな制御線を組み合わせることにより、より少ない制御線で露光時間の制御を実現することができる。
 図20は、ADC部と画素ブロックとの接続関係を示す説明図である。図20に示すように、画素ブロック200cの内部で列ごとに当該列方向に延伸した共通の信号線202が配される。さらにこの信号線202は列方向に並んだ複数の画素ブロック200c、200dに対しても共通である。したがって、本例において1つの信号線202には、1列にならんだm×M個の画素201が接続され、これらの画素201からの画素信号が出力される。
 信号線202のそれぞれには、接合部610を介して第2半導体基板120の側にADC2000が接続される。複数の信号線202に対応する複数のADC2000がADC部1820を構成する。
 図20の例では、奇数列の画素ブロック200c、200dに対応するADC2000がADC部1820に設けられ、偶数列の画素ブロック200e,200fに対応するADC2000がADC部1830に設けられている。しかしながら、画素ブロック200c等とこれに対応するADC部1820等の配置関係はこれに限られない。
 上記構成により、それぞれのADC2000は、接続された1列のm×M個の画素201から順に出力される画素信号をデジタル信号に変換して出力する。この場合にADC部1820、1830の全体としては、行方向にn×N列に並んだ画素201からの画素信号を並列にデジタル信号に変換する。この観点から、このデジタル変換はいわゆるカラムADCの一種であるということもできる。なお、ADCの一例としてシングルスロープADCが挙げられるが、他のデジタル変換の方式が用いられてもよい。また、各画素201と信号線202の接続位置は、図20に示す形態に限られず、他の例として各画素ブロック200c等の内にあってもよい。
 図21は、撮像素子100Bの画素ブロック200内での撮像動作を示すタイミングチャートである。転送制御信号φTX、排出制御信号φPDRST、リセット制御信号φRSTおよび選択制御信号φSELによって、画素ブロック200の駆動を制御する。
 排出制御信号φPDRSTは、露光を開始するタイミングを制御する。露光の開始タイミングは、排出制御信号φPDRSTの立ち下りのタイミング(たとえば、時刻T1)に対応する。即ち、露光の開始時刻T1の前に、排出制御信号φPDRSTは、排出部302をオンして、光電変換部300に蓄積された電荷を排出して、排出制御信号φPDRSTの立ち下りで露光が開始する。排出制御信号φPDRSTは、ローカルに制御されているので、画素ブロック200毎に露光時間を調整することができる。
 転送制御信号φTXは、露光を終了するタイミングを制御する。時刻T3において、転送制御信号φTXは、転送部301をオンすることにより、光電変換部300に蓄積された電荷をFD303に転送する。露光の終了タイミングは、転送制御信号φTXの立ち下がりのタイミング(たとえば、時刻T4)に対応する。
 リセット制御信号φRSTは、FD303に蓄積された電荷の排出のタイミングを制御する。時刻T2において、リセット制御信号φRSTは、リセット部304をオンすることにより、FD303の電荷を排出する。露光の終了のタイミングの前にFD303の電荷を排出しておくことにより、光電変換部300からの電荷の転送時に、FD303に残った電荷の影響を抑制できる。
 選択制御信号φSELは、任意の画素201を選択するための信号である。選択制御信号φSELは、選択部352のオンオフを制御する。時刻T2において、選択制御信号φSELがハイに設定される。時刻T3において、選択制御信号φSELがハイに設定された画素201は、転送制御信号φTXのオンに応じて信号線202に画素信号を出力する。一方、選択制御信号φSELがハイに設定されていない画素201では、画素信号が出力されない。
 撮像素子100Bは、排出制御信号φPDRSTをローカルに制御することにより、画素ブロック200毎に露光の開始タイミングを変更して、画素ブロック200毎に露光時間を制御することができる。また、撮像素子100Bは、転送制御信号φTXをローカルに制御することにより、露光の終了タイミングを画素ブロック200毎に制御してもよい。そして、撮像素子100Bは、転送制御信号φTXと排出制御信号φPDRSTの両方をローカルに制御することにより、露光の開始タイミングと終了タイミングの両方を画素ブロック200毎に制御してもよい。
 各画素201の画素信号は光電変換部300に蓄積された電荷量に対応する。したがって、画素201の露光のタイミングを制御することは、光電変換部300の電荷蓄積のタイミングを制御することであるともいえる。より具体的には、画素201の露光のタイミングを制御することは、電荷の排出から転送までの電荷蓄積時間のタイミングと長さを制御することであると言える。
 図22は、画素ブロック200毎の露光タイミングの一例を示す説明図である。1列に並んだ3つの画素ブロック200について、画素ブロック200毎に露光時間を制御している。ここで、撮像素子100Bは、画素ブロック200毎に画素リセットの時刻をずらすことで、露光量を変更している。
 一方、画素信号の読み出しのタイミングは、上の画素ブロック200から順になっている。すなわち、「画素ブロック1」の画素201から画素信号を読み出し、その後に「画素ブロック2」の画素201から画素信号を読み出し、その後に「画素ブロック3」の画素201から画素信号を読み出す。
 さらに、画素ブロック200内でも、図21で説明した通り上の行の画素201から画素信号が順次読み出される。したがって、画素部101全体でみた場合に、共通の信号線202に接続されている同列のm×M個の画素201の上の行から順に、画素信号が読み出される。言い換えれば、グローバル駆動部600が1行目からm×M行目まで、1列に並んだ複数の画素ブロック200を跨いで、1行ずつ選択制御信号φSELをハイに設定する。
 この場合に、図20で説明した通り、1行に並んだ複数の画素ブロック200について、同じ行に並んだn×N個に対して共通の選択制御線1904が接続されている。よって、選択制御信号φSELがハイに設定された行に接続されているn×N個の画素201から並列に画素信号が読み出される。これにより1フレーム分の画素信号を出力することができる。
 それらの画素信号は、図20で説明した通り、ADC部1820,252によりにデジタル変換される。デジタル変換された画素信号は後段の画像処理に出力されて、1フレーム分の画像を形成する。
 上記の通り、画素信号の読み出しは複数の画素ブロック200の間で、同じ列の上の行から順になされる、という観点から、本実施形態の読み出し方法は画素部101全体として、いわゆるローリングシャッタ方式であるともいえる。ただし、付言すればその場合でも画素ブロック200毎に異なる露光時間に設定することができる。
 このように、図16~図22に示した撮像素子100Bは、画素ブロック200単位で露光するが、画素行ごとに画素信号を順次読み出して、画素列毎にAD変換をおこなう。具体的には、撮像素子100Bは、1列に並んだ複数の画素ブロック200のうち、上の画素ブロック200の画素201から画素信号を読み出した後に、その下の画素ブロック200の画素201から画素信号を読み出す。したがって、移動する被写体を撮像した場合の読み出し順序による画像の歪みが滑らかとなり、看者が画像に対して持つ違和感を低減することができる。より詳しくは、移動する被写体を、1列に並んでいる複数の画素ブロック200から並行で読み出す場合には、画像の縦方向(すなわち画素の列方向に対応する)に、画素ブロック200間に対応する鋸刃状の複数の段差が表れて看者への違和感が生じる。これに対し、図16~図22に示した撮像素子100Bによれば、当該複数の段差は画像に現れない。
 また、図16~図22に示した撮像素子100Bは、制御ブロック400B内にアナログ信号をデジタル信号に変換するADC部を設けず、制御回路部102の外側に信号処理部1602を配置した。従って、制御ブロック400Bの面積を小さくすることができ、制御ブロック400Bに対応した位置に配される画素ブロック200のサイズを小さく、すなわち、少ない画素数の単位で制御ブロック400Bによる露光制御をすることができる。これにより、画像内を精細に露光時間制御することができ、画像上で画素ブロック200の境界を目立たせなくすることができる。さらには、画素201の直下でデジタル変換しないので発熱による画素201へのノイズの影響を抑えることができる。
 なお、信号処理部1602は複数の離れた領域に設けなくてもよく、画素部101の全体に対して1つの領域に設けてもよい。
 上記の通り、結果的に撮像素子100Aと同様に画素信号の読み出しは複数の画素ブロック200のうち同じ列の上の行から順になされる、という観点から、撮像素子100Bの読み出し方法も画素部101全体として、いわゆるローリングシャッタ方式であるといえる。ただし、その場合でも画素ブロック200毎に異なる露光時間に設定することができることも撮像素子100Aと同様である。これにより、撮像素子100Bにおいても撮像素子100Aと同様に、移動する被写体を撮像した場合の読み出し順序による画像の歪みが滑らかとなり、看者が感じる画像の違和感を低減することができる。
[自律露光処理部411]
 つぎに、上述した自律露光処理部411の詳細について説明する。なお、以降の説明において、撮像素子100A、100Bを区別しない場合は、撮像素子100と表記し、制御ブロック400A、400Bを区別しない場合は、制御ブロック400と表記する。
 自律露光処理部411は、図4および図17に示したように、制御ブロック400内に実装される。また、自律露光処理部411は、制御ブロック400内ではなく、周辺回路部121内に実装することも可能であり、また、制御ブロック400内および周辺回路部121内の両方に実装することも可能である。以下、この3つのパターンについて図23~図25を用いて説明する。
 図23は、自律露光制御方式1の構成例を示すブロック図である。自律露光制御方式1は、自律露光処理部411が制御ブロック400内に実装される構成例である。自律露光処理部411が制御ブロック400内に追加されることで制御ブロック400の回路規模が大きくなるが、その分、画素ブロック200の各画素201が大きくなることがあるため、受光面積を拡大することが可能である。
 図23では、制御ブロック400Aを例に挙げて説明する(図25も同様)。制御ブロック400Aは、信号変換部422と、信号出力部423と、自律露光処理部411と、露光制御部412と、画素駆動部413と、を有する。説明の便宜上、信号入力部421は省略する。なお、制御ブロック400Bであれば、信号入力部421、信号変換部422および信号出力部423は制御ブロック400B内に含まれず、信号処理部1602として第2半導体基板120上に配置される(図25も同様)。
 信号変換部422は、n個のADC500を有する。n個のADC500の各々は、接続されている列方向のm個の画素201からのアナログの画素信号をデジタル信号に変換する。ADC500は、コンパレータ501と記憶部502とにより構成される。
 列選択回路2301は、信号出力部423に含まれる。列選択回路2301は、外部Kら読出列選択信号が入力される都度画素ブロック200の列を順次選択する。列選択回路2301は、水平転送用クロックが外部から入力される都度、選択した列のm個の画素201からのデジタル画素信号を、水平転送線2300を介して周辺回路部121に出力するとともに、自律露光処理部411に出力する。
 自律露光処理部411は、画素ブロック200の露光時間を示す露光値を算出する。具体的には、たとえば、自律露光処理部411は、前処理部2311と、コントローラ2312と、露光値演算部2313と、を有する。
 前処理部2311は、列選択回路2301から画素ブロック200の画素列ごとのデジタル画素信号を取得する。そして、前処理部2311は、取得した画素信号の統計値(たとえば、平均値、中央値、最大値、または最小値。)を算出する。前処理部2311は、この算出結果を露光値演算部2313に出力する。
 コントローラ2312は、前処理部2311にリセット信号を入力し、前処理部2311による前処理をリセットさせる。これにより、前処理部2311は、リセットの都度、すなわち、フレームごとに、画素ブロック200からの画素信号の統計値を算出する。
 露光値演算部2313は、前処理部2311からの算出結果(画素信号の統計値)に基づいて、次の露光値を決定する。具体的には、たとえば、露光値演算部は、算出結果に基づいて、露出アンダーまたは露出オーバーとならないように次の露光値を決定する。たとえば、露光値演算部2313は、第1しきい値および第2しきい値を保持する。第1しきい値は、算出結果が露出アンダーになるか否かを判断するためのしきい値である。第2しきい値は、第1しきい値よりも大きいしきい値であり、算出結果が露出オーバーになるか否かを判断するためのしきい値である。
 露光値演算部2313は、算出結果が第1しきい値以上第2しきい値以下であるか否かを判断する。算出結果が第1しきい値以上第2しきい値以下であれば、露光値演算部は、算出結果を露光値として露光制御部412のラッチ回路2321に出力する。また、算出結果が第1しきい値未満であれば、露光値演算部2313は、第1しきい値を露光値として露光制御部412のラッチ回路2321に出力する。また、算出結果が第2しきい値を超えていれば、露光値演算部は、第2しきい値を露光値として露光制御部412のラッチ回路2321に出力する。
 また、露光値演算部2313は、複数段の露光値範囲を保持してもよい。この場合、算出結果が第1しきい値以上第2しきい値以下であれば、露光値演算部2313は、算出結果が含まれる露光値範囲の段数を露光値として、露光制御部412のラッチ回路2321に出力する。
 また、算出結果が第1しきい値未満であれば、露光値演算部2313は、算出結果が含まれる露光値範囲の段数よりも1段以上上げた段数を露光値として、露光制御部412のラッチ回路2321に出力する。また、算出結果が第2しきい値を超えていれば、露光値演算部2313は、算出結果が含まれる露光値範囲の段数よりも1段以上下げた段数を露光値として、を露光制御部412のラッチ回路2321に出力する。
 露光制御部412は、たとえば、ラッチ回路2321と、シフトレジスタ2322と、画素ブロック制御部と、レベルシフト部と、を有する。ラッチ回路2321は、自律露光処理部からの露光値を保持する。ラッチ回路2321は、外部からラッチパルスが入力される都度、保持した露光値を画素ブロック制御部およびシフトレジスタ2322に出力する。
 シフトレジスタ2322は、ラッチ回路2321からの露光値をパラレルシリアル変換して、シリアル信号をしてデータ処理部に出力する。
 撮像素子100外の外部システムにて露光時間を算出し、その算出結果を撮像素子100にフィードバックすると、撮像素子100への露光時間への反映に時間がかかり、消費電力が増加する。これに対し、制御ブロック400内に自律露光処理部411を設けることにより、画素ブロック200への露光時間の反映速度の向上と低消費電力化を図ることができる。 
 なお、図23では、1制御ブロック400で1画素ブロック200を露光制御する場合について説明したが、1制御ブロック400で複数の画素ブロック200を露光制御する場合、自律露光処理部411は、リセット信号に同期して複数の画素ブロック200から順次1つの画素ブロック200を選択して、露光値を演算してもよい。露光値演算部2313の出力側にセレクタを設け、コントローラ2312が複数の画素ブロック200から1つの画素ブロック200を選択する選択信号をセレクタに出力する。
 また、この場合、露光制御部412は、画素ブロック200ごとにラッチ回路2321およびシフトレジスタ2322を有する。ラッチ回路2321の各々は自律露光処理部411内のセレクタ(不図示)に接続され、セレクタから露光値が入力されると、ラッチパルスが入力される都度、保持した露光値を画素ブロック制御部503およびシフトレジスタ2322に出力する。これにより、1制御ブロック400で複数の画素ブロック200を露光制御する場合でも自律露光を実現することができる。
 図24は、自律露光制御方式2の構成例を示すブロック図である。自律露光制御方式2は、自律露光処理部411が周辺回路部121内に実装される構成例である。自律露光処理部411が制御ブロック内ではなく周辺回路部121に実装される。このため、図23の場合と比べて制御ブロック400の回路規模を小さくできる。
 周辺回路部121は、水平転送部2410を介して画素部101に接続される。水平転送部2410は、行方向に配列された画素ブロック200(以下、画素ブロック行)ごとに接続され、画素ブロック行ごとに、画素信号を周辺回路部121に転送する。画素部101は、M行N列の画素ブロック200の集合であるため、水平転送部2410は、M個の画素ブロック行ごとに、画素信号を周辺回路部121に転送する。
 周辺回路部121は、画素ブロック行ごとの行方向自律露光処理部群2400-1~2400-M(これらを区別しない場合は、単に行方向自律露光処理部群2400と表記。)を有する。行方向自律露光処理部群2400は、データサンプリング部2411と、画素ブロックの列数N分の自律露光処理部411(前処理部2311、コントローラ2312および露光値演算部2313)と、を有する。図24では、N=4であるため、前処理部2311、コントローラ2312および露光値演算部2313は、4セット実装される。
 データサンプリング部2411は、水平転送部2410からの画素ブロック行の画素信号列をN等分してサンプリングする。データサンプリング部2411は、サンプリングした画素信号列の各々を、対応する前処理部2311に出力する。
 前処理部2311は、上述したように、対応画素ブロック200からの画素信号の統計値を算出する。また、周辺回路部121は、制御ブロック400よりも回路規模を大きくできるため、前処理部2311は、画素信号の統計値の算出以外の他の処理を実行することができる。
 たとえば、前処理部2311は、対応画素ブロック200内の製造時の不良画素の画素番号を記憶するメモリを有し、データサンプリング部2411が当該画素番号の画素信号をサンプリングした場合には、前処理部2311は、その画素信号の統計値の算出には用いない。これにより、画素信号の統計値の算出の高精度化を図ることができる。
 また、前処理部2311は、対応画素ブロック200と隣り合う画素ブロック200を担当する他の前処理部2311から算出結果を取得し、他の前処理部2311から取得した算出結果に基づいて、対応画素ブロック200からの画素信号の統計値を算出してもよい。これにより、隣り合う画素ブロック200の露出段差を滑らかにすることができる。
 また、露光値演算部2313には、第1しきい値および第2しきい値が設定されているが、撮像素子100が実装される撮像装置における撮影モードに応じて、第1しきい値および第2しきい値の少なくとも一方が変更可能としてもよい。これにより、撮影モードに応じて最適な露出計算が可能になる。
 また、周辺回路部121は、露光値演算部2313ごとに、ラッチ回路2321およびシフトレジスタ2322を有する。シフトレジスタ2322は、ラッチ回路2321からの露光値をパラレルシリアル変換して、シリアル信号をしてデータ処理部103に出力するとともに、画素ブロック200に対応する制御ブロック400内の露光制御部412に、露光値を出力する。
 図24に示した構成により、図23の場合と比べて制御ブロック400の回路規模を小さくでき、対応画素ブロック200のサイズを小さくすることができる。したがって、画素ブロック数が増加し、きめ細やかな自律露光制御が可能になる。また、露光制御部412および画素駆動部413を周辺回路部121に実装してもよい。これにより、さらに制御ブロック400の回路規模を小さくでき、対応画素ブロック200のサイズを小さくすることができる。
 図25は、自律露光制御方式3の構成例を示すブロック図である。自律露光制御方式3は、自律露光処理部411が制御ブロック400A内および周辺回路部121内の両方に実装される構成例である。制御ブロック400A内で自動露光制御を実行する場合、制御ブロック400Aから周辺回路部121に画素信号を送信したり周辺回路部121から画素ブロック200に露光値を送信したりするといったデータ伝送が不要になる。したがって、周辺回路部121で実行する場合に比べて、対応画素ブロック200へのフィードバックが速い。
 一方、制御ブロック400Aの面積は対応画素ブロック200の面積に依存する制約があるため、制御ブロック400A内に実装するよりも周辺回路部121に実装した方が自律露光処理部411の回路規模を大きくすることができる。このため、周辺回路部121に実装した方が自律露光制御についてより高度な機能(たとえば、図24で説明した不良画素の画素信号の除去、隣り合う画素ブロック200との露出段差制御、撮影モードに応じた最適露出の計算)を実装することができる。
 したがって、自律露光制御方式3では、撮像素子100は、状況に応じて、自律露光制御に関する高機能な演算を実行する場合は周辺回路部121で、露光値のフィードバックを高速に実行する場合は制御ブロック400Aで、自律露光制御を実行する。図25では、例として、自律露光制御方式3では、周辺回路部121内の行方向自律露光処理部群2400により自律露光制御を実行するが、撮像素子100は、何らかのトリガが制御回路部102に与えられた場合に、制御ブロック400Aごとに自律露光制御を実行する。
 たとえば、撮像素子100は、ユーザ操作によって、自律露光制御に関する高機能な演算が選択された場合には周辺回路部121で、露光値のフィードバックの高速実行が選択された場合には制御ブロック400Aで、自律露光制御を実行する。また、撮像素子100は、電池残量が所定量以下となった場合、自律露光制御に関する高機能な演算および露光値のフィードバックの高速実行のうち低消費電力の処理を選択して実行してもよい。
 周辺回路部121に実装される行方向自律露光処理部群2400は、図24に示した構成と同一であるため、図25では省略する。
 列選択回路2301は、nビットのデジタル画素信号をn個のOR回路2501に出力する。制御ブロック400A内の自律露光処理部2500は、コントローラ2312のほか、n個のOR回路2501と、出力データラッチ回路2502と、nビットAND回路2503と、を有する。
 コントローラ2312は、出力データラッチ回路2502からnビット信号が出力されると、リセット信号を出力データラッチ回路2502に入力する。
 OR回路2501は、2入力1出力の論理回路である。OR回路2501の一方の入力は列選択回路に接続され、他方の入力はnビットAND回路2503の出力に接続される。
 n個のOR回路2501は、出力データラッチ回路2502の入力に接続される。出力データラッチ回路2502は、n個のOR回路2501からのnビット信号を保持する。出力データラッチ回路2502は、水平転送用クロックが入力されると、nビットAND回路2503にnビット信号を出力する。また、出力データラッチ回路2502は、コントローラ2312からリセット信号が入力されると、保持しているnビット信号をリセットし、nビットのうち少なくとも1ビットが0であるnビット信号をnビットAND回路2503に出力する。
 nビットAND回路2503は、n入力1出力のAND回路であり、出力データラッチ回路2502の出力が、nビットAND回路2503の入力に接続される。nビットAND回路2503の出力は、露光制御部412のセレクタ2512および各OR回路2501の入力に接続される。nビットAND回路2503からの出力が「0」であれば、nビットのデジタル画素信号を出力した画素列は飽和していないことを示す。nビットAND回路2503からの出力が「1」であれば、nビットのデジタル画素信号を出力した画素列は飽和していることを示す。以下、nビットAND回路2503からの出力が「1」の1ビット信号を飽和検出信号と称す。
 画素列の画素201からのデジタル画素信号の値が「1」であれば、その画素201は飽和していることを示す。列選択回路2301からのnビット信号の値がすべて「1」であれば、その画素列全体が飽和していることを示す。この場合、各OR回路2501の一方の入力にはすべて「1」が入力されるため、各OR回路2501は、出力データラッチ回路2502に、値が「1」である1ビット信号を出力する。
 出力データラッチ回路2502は、値がすべて「1」であるこのn個のビット信号を保持し、水平転送用クロックが入力されると、保持しているnビット信号をnビットAND回路2503に出力する。
 nビットAND回路2503は、値がすべて「1」であるnビット信号が入力されると、値が「1」の飽和検出信号をセレクタ2512および各OR回路2501に出力する。これにより、出力データラッチ回路2502は、リセット信号が入力されるまで、nビットAND回路2503に、値がすべて「1」のnビット信号を出力することになる。したがって、nビットAND回路2503は、出力データラッチ回路2502にコントローラ2312からリセット信号が入力されるまで、飽和検出信号を出力することになる。
 露光制御部412は、図24に示した構成のほか、シフトレジスタ2511とセレクタ2512とを有する。シフトレジスタ2511は、周辺回路部121からの露光値をシリアルパラレル変換し、レベルシフト部504およびセレクタ2512に出力する。
 セレクタ2512は、シフトレジスタ2511からの露光値および設定露光値を入力する。セレクタ2512は、シフトレジスタ2511からの露光値および設定露光値のいずれか一方を、nビットAND回路2503からの出力信号に基づいて選択して、選択した露光値をラッチ回路2321に出力する。設定露光値とは、画素201が飽和しない程度の露光時間に対応する露光値であり、たとえば、露光時間が最短となるように設定された露光値である。
 設定露光値は、たとえば、制御ブロック400A外の外部システムで算出されて設定される。設定露光値は、固定値でもよく、外部システムから選択されてもよい。外部システムは、たとえば、撮像素子100内の周辺回路部121、第3半導体基板130のデータ処理部103、または、撮像素子100を有する撮像装置内の撮像素子100と接続されている画像処理部である。
 セレクタ2512は、具体的には、たとえば、nビットAND回路2503からの出力信号が飽和検出信号でない場合、シフトレジスタ2511からの露光値を選択してラッチ回路2321に出力する。一方、セレクタ2512は、nビットAND回路2503からの出力信号が飽和検出信号である場合、設定露光値を選択してラッチ回路2321に出力する。
 制御ブロック400A内に自律露光処理部2500および露光制御部412により、制御ブロック400Aにおいて飽和が検出されるまで、周辺回路部121からの露光値を用いて自律露光制御が実行される。制御ブロック400Aにおいて飽和が検出されると、露光制御部412内の設定露光値を用いて自律露光制御が実行される。
 これにより、非飽和状態の画素列については周辺回路部121からの露光値により高精度な露光値を設定するという処理と、飽和状態の画素列については非飽和状態となるような設定露光値に変更するという単純かつ高速なフィードバックが可能な処理と、を選択可能にすることができる。
 また、制御ブロック400内の自律露光処理部2500は、図23に示した自律露光処理部411であってもよい。この場合、たとえば、ユーザ設定により、周辺回路部121内の自律露光処理部411と制御ブロック400内の自律露光処理部411とを選択可能にしてもよい。
 たとえば、撮像素子100を実装した撮像装置は、電池残量に基づいて、周辺回路部121内の自律露光処理部411と制御ブロック400内の自律露光処理部411とを選択可能にしてもよい。この場合、撮像装置は、電池残量が所定値以上であれば、周辺回路部121内の自律露光処理部411による自律露光制御を選択し、所定値以上でなければ、制御ブロック400内の自律露光処理部411による自律露光制御を選択してもよい。また、高品質な撮像を行いたい場合は、ユーザは、周辺回路部121内の自律露光処理部411を選択し、消費電力を低減したい場合は、制御ブロック400内の自律露光処理部411を選択すればよい。
 <制御ブロック400単位での回路動作停止>
 つぎに、制御ブロック400単位での回路動作停止について説明する。以降の説明において、撮像素子100A、100Bを区別しない場合は、撮像素子100と表記し、制御ブロック400A、400Bを区別しない場合は、制御ブロック400と表記する。
 撮像素子100は、画素ブロック200毎に対応する制御ブロック400により露光制御が可能である。図12で説明したように、撮像素子100は、転送選択制御信号φTXSELにより転送制御信号φTXの制御をスキップすることで長秒露光を実現するフレームスキップ機能を有する。撮像素子100は、フレームスキップ機能により1フレーム分の露光時間(1フレーム露光)を超える長秒露光が可能になり、また、ライブビューのように低フレームレート動作(60fps)でも使用可能である。フレームスキップ中の制御ブロック400は、フレームごとにAD変換を実行するが光信号を読み出しておらず、疑似信号を出力することになる。この疑似信号の出力動作を停止することで、疑似信号によるノイズ発生の低減や制御ブロック400の省電力化を図る。
 図26は、制御ブロック400内部の回路構成例を示す説明図である。図26では、制御ブロック400Aを例に挙げて説明する。なお、制御ブロック400Bであれば、信号入力部421、信号変換部422および信号出力部423は制御ブロック400B内に含まれず、信号処理部1602として第2半導体基板120上に配置される(図27~図29でも同様)。
 画素制御部401は、露光制御部412内に画素ブロック制御部503とレベルシフト部504とを有する。レベルシフト部504は、画素ブロック200内の画素行ごとにレベルシフタ2601を有する。画素駆動部413は、画素ブロック200内の画素行ごとに画素ドライバ2602を有する。
 画素ブロック制御部503は、転送制御信号φTXまたは排出制御信号φPDRSTをレベルシフト部504に出力する。画素ブロック制御部503は、周辺回路部121内のグローバル駆動部600から転送選択制御信号φTXSELが入力された場合、すなわち、フレームスキップ動作を行う場合、転送選択制御信号φTXSELをレベルシフト部504に出力する。
 各レベルシフタ2601は、転送制御信号φTXまたは排出制御信号φPDRSTを画素ブロック200の電圧レベルに昇圧して、画素駆動部413に出力する。各レベルシフタ2601は、転送選択制御信号φTXSELを画素ブロック200の電圧レベルに昇圧して、画素駆動部413に出力する。
 各画素ドライバ2602は、同一画素行のレベルシフタ2601からの転送制御信号φTXまたは排出制御信号φPDRSTと、転送選択制御信号φTXSELと、に基づいて、図12に示したように、画素列の画素201を駆動制御する。
 また、記憶部502の一例であるカウンタラッチ(以下、カウンタラッチ502)の各々からのデジタル画素信号は、信号出力部423内の画素列ごとのSRAM2604に保持され、列選択回路2401により、水平転送線2300を介して周辺回路部121に出力され、自律露光処理部411に出力される。
 つぎに、レベルシフタ2601および画素ブロック制御部503による回路動作停止の構成について説明する。
 いずれか1つのレベルシフタ2601(たとえば、レベルシフタ2601A)は、インバータ2610を介して画素ブロック200内の画素列ごとの負荷電流源306に接続されている。このレベルシフタ2601Aは、画素ブロック200内の画素列ごとの負荷電流源306の回路動作を停止するために、昇圧した転送選択制御信号φTXSELの反転信号φTXSEL_Nを各負荷電流源306に出力する(図27で後述。)。
 また、このレベルシフタ2601Aは、インバータ2610を介して画素ブロック200内の画素列ごとのADC電流源2603に接続されている。このレベルシフタ2601Aは、画素ブロック200内の画素列ごとのADC電流源2603の回路動作を停止するために、昇圧した転送選択制御信号φTXSELの反転信号φTXSEL_Nを各ADC電流源2603に出力する(図28で後述。)。
 また、画素ブロック制御部503は、各カウンタラッチ502と接続されている。画素ブロック制御部503は、画素ブロック200内の画素列ごとのカウンタラッチ502の回路動作を停止するために、転送選択制御信号φTXSELを各カウンタラッチ502に出力する(図29で後述。)。
 [制御ブロック400単位での回路動作停止例1]
 図27は、制御ブロック400単位での回路動作停止例1を示す説明図である。制御ブロック400単位での回路動作停止例1は、画素列ごとの負荷電流源306の回路動作停止例である。
 信号入力部421は、画素ブロック200の画素列ごとに負荷電流源306と調整部2700とを有する。負荷電流源306は、たとえば、n型MOSトランジスタで構成され、ゲート端子から入力されたバイアス電流を信号線202に供給する。
 調整部2700は、たとえば、n型MOSトランジスタで構成され、負荷電流源306から画素列に供給される電流を調整する。調整部2700のゲート端子は、インバータ2610を介して画素制御部401内のレベルシフタ2601Aに接続されている。インバータ2610は、レベルシフタ2601Aからフレームスキップ動作を示す転送選択制御信号φTXSELが出力されると、反転信号φTXSEL_Nを出力する。
 周辺回路部121は、画素電流バイアス回路2701を有する。画素電流バイアス回路2701は、画素ブロック200内の画素列ごとの負荷電流源306のゲート端子に接続されており、バイアス電流を供給する。これにより、負荷電流源306は、バイアス電流を信号線202に供給する。
 画素制御部401は、レベルシフタ2601Aからの転送選択制御信号φTXSELにより、負荷電流源306による画素列への電流供給を制御する。具体的には、画素制御部401は、画素列と負荷電流源306との接続を制御する。たとえば、調整部2700のゲート端子に転送選択制御信号φTXSELが入力された場合、反転信号φTXSEL_Nが入力されたときに比べて調整部2700の電流の値が大きくなって、画素列と負荷電流源306とが接続されて(ON状態)、負荷電流源306から画素列に電流が供給される。
 一方、調整部2700のゲート端子に反転信号φTXSEL_Nが入力された場合、転送選択制御信号φTXSELが入力されたときに比べて調整部2700の電流の値が小さくなり、画素列と負荷電流源306とが非接続となり(OFF状態)、負荷電流源306から画素列への電流供給が停止する。
 このようにして、制御ブロック400単位で負荷電流源306の省電力化が可能になる。また、フレームスキップ時に負荷電流源306から画素列への電流供給を停止することで、画素201からの疑似信号が出力されない。したがって、出力される画像データに疑似信号が重畳されず、ノイズの低減化を図ることができる。
 [制御ブロック400単位での回路動作停止例2]
 図28は、制御ブロック400単位での回路動作停止例2を示す説明図である。制御ブロック400単位での回路動作停止例2は、画素列ごとのコンパレータ501の回路動作停止例である。
 画素ブロック200の画素列ごとのADC電流源2603は、ADC電流源2603と調整部2800とを有する。ADC電流源2603は、たとえば、nチャネルMOSFETで構成され、ゲート端子から入力されたバイアス電流をコンパレータ501に供給する。
 調整部2800は、たとえば、nチャネルMOSFETで構成され、ADC電流源2603からコンパレータ501に供給される電流を調整する。調整部2800のゲート端子は、インバータ2610を介して画素制御部401内のレベルシフタ2601Aに接続されている。
 周辺回路部121は、ADC電流バイアス回路2801を有する。ADC電流バイアス回路2801は、ADC電流源2603のゲート端子に接続されており、バイアス電流を供給する。これにより、ADC電流源2603は、バイアス電流をコンパレータ501に供給する。
 画素制御部401は、レベルシフタ2601Aからの転送選択制御信号φTXSELにより、ADC電流源2603によるコンパレータ501への電流供給を制御する。具体的には、画素制御部401は、コンパレータ501とADC電流源2603との接続を制御する。たとえば、調整部2800のゲート端子に転送選択制御信号φTXSELが入力された場合、反転信号φTXSEL_Nが入力されたときに比べて調整部2800の電流の値が大きくなって、コンパレータ501とADC電流源2603とが接続されて(ON状態)、ADC電流源2603からコンパレータ501に電流が供給される。
 一方、調整部2800のゲート端子に反転信号φTXSEL_Nが入力された場合、転送選択制御信号φTXSELが入力されたときに比べて調整部2800の電流の値が小さくなり、コンパレータ501とADC電流源2603とが非接続となり(OFF状態)、ADC電流源2603からコンパレータ501への電流供給が停止する。これにより、フレームスキップ時はAD変換が実行されない。
 このようにして、制御ブロック400単位で負荷電流源306の省電力化が可能になる。また、フレームスキップ時にADC電流源2603からコンパレータ501への電流供給を停止することで、画素201からの疑似信号が出力されない。したがって、出力される画像データに疑似信号が重畳されず、ノイズの低減化を図ることができる。
 [制御ブロック400単位での回路動作停止例3]
 図29は、制御ブロック400単位での回路動作停止例3を示す説明図である。制御ブロック400単位での回路動作停止例3は、画素列ごとのカウンタラッチ502の回路動作停止例である。
 制御ブロック400Aは、画素列ごとの信号線202のADC500において、コンパレータ501とカウンタラッチ502との間に、NAND回路2901とインバータ2902と転送回路2903とを有する。NAND回路2901は、コンパレータ501からの出力信号を入力する。また、NAND回路2901は、画素ブロック制御部503からの転送選択制御信号φTXSELがインバータ2900で反転された反転信号φTXSEL_Nを入力する。転送選択制御信号φTXSELはNAND回路2901の出力を制御するイネーブル信号となる。また、インバータ2902は、NAND回路2901からの出力信号を反転し、反転信号を出力する。
 転送回路2903は、n型MOSトランジスタとp型MOSトランジスタとを並列接続した回路構成であり、n型MOSトランジスタおよびp型MOSトランジスタのそれぞれのゲート端子がインバータ2902の出力端子と接続される。また、転送回路2903は、周辺回路部121のADCカウンタ信号生成部2904と、カウンタラッチ502との間を接続する。
 ADCカウンタ信号生成部2904は、ADCカウンタ信号2905をカウンタラッチ502に出力する。カウンタラッチ502は、ADCカウンタ信号2905に従ってデジタル画素信号を保持しSRAM2604に出力する。転送回路2903は、インバータ2902の出力値に基づいて、ADCカウンタ信号2905をカウンタラッチ502に供給したり、供給を停止したりする。
 図30は、NAND回路2901の真理値表である。NAND回路2901の出力値が「0」の場合、インバータ2902の出力値は「1」になり、転送回路2903は、インバータ2902の出力値が「0」に反転するまでは、カウンタラッチ502へのADCカウンタ信号2905に供給する。
 一方、NAND回路2901の出力値が「1」の場合、インバータ2902の出力値は「0」になり、転送回路2903は、カウンタラッチ502へのADCカウンタ信号2905に供給を停止する。これにより、カウンタラッチ502は、コンパレータ501からの出力信号を保持し続ける。
 すなわち、NAND回路2901に反転信号φTXSEL_Nが入力されると、コンパレータ501の出力に応じてカウンタラッチ502は動作(SRAM2404への転送)したり、停止(カウンタラッチ502内での保持)したりする。一方、イネーブル信号(転送選択制御信号φTXSEL)が入力されると、コンパレータ501の出力にかかわらず、カウンタラッチ502は動作を停止(カウンタラッチ502内での保持)する。
 このようにして、制御ブロック400単位でカウンタラッチ502の省電力化が可能になる。また、フレームスキップ時にカウンタラッチ502を停止することで、画素201からの疑似信号が出力されない。したがって、出力される画像データに疑似信号が重畳されず、ノイズの低減化を図ることができる。
 このように、画素信号の非読出し時における回路動作を停止することにより、低電力化を図ることができる。特に、1フレーム露光を超える露光時間において制御ブロック400の電流を停止することで低電力化を図ることができる。また、1フレーム露光以内の露光時間であっても、注目画素ブロック200だけを読み出す、いわゆる「窓読み出し」の場合に、非注目画素ブロック200を制御する制御ブロック400の電流を停止することで、低電力化を図ることができる。
 また、フレームスキップした画素ブロック200の出力に疑似信号(回路ノイズ)が重畳されないため、複数枚画像を加算および演算する場合に画質への悪影響を回避することができる。また、上述した説明において、停止対象回路の種類は、負荷電流源306、コンパレータ501、およびカウンタラッチ502のうち少なくとも1種類であればよいが、停止対象回路の種類数が多いほど低電力化および画質の低下抑制を図ることができる。
 また、図26~図30において、制御ブロック400の各々は、転送選択制御信号φTXSELが入力されると、対応する画素ブロック200について、フレームスキップ動作と回路動作の停止とを実行するが、図6に示したように、同一ブロック行の複数の制御ブロック400には、同じタイミングで転送選択制御信号φTXSELが入力される。したがって、対応する同一ブロック行の複数の画素ブロック200については、一括でフレームスキップ動作と回路動作の停止とが実行される。
 なお、図26~図28において、レベルシフト部504と調整部2700,2800とを接続した例について説明したが、調整部2700,2800は、レベルシフト部504ではなく、画素ブロック制御部503に接続されてもよい。また、図26および図29において、画素ブロック制御部503とカウンタラッチ502とを接続した例について説明したが、カウンタラッチ502は、画素ブロック制御部503ではなく、レベルシフト部504に接続されてもよい。
 図31は、実施例に係る撮像装置3100の構成例を示すブロック図である。撮像装置3100は、撮像素子100と、システム制御部3101と、駆動部3102と、測光部3103と、ワークメモリ3104と、記録部3105と、表示部3106と、操作部3108と、駆動部3114と、撮影レンズ3120とを備える。
 撮影レンズ3120は、光軸OAに沿って入射する被写体光束を撮像素子100へと導く。撮影レンズ3120は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。撮影レンズ3120は、撮像装置3100に対して着脱できる交換式レンズであってもよい。なお、図31では瞳近傍に配置された仮想的な1枚のレンズで当該撮影レンズ3120を代表して表している。
 駆動部3114は、撮影レンズ3120を駆動する。たとえば、駆動部3114は、撮影レンズ3120の光学レンズ群を移動させて合焦位置を変更する。また、駆動部3114は、撮影レンズ3120内の虹彩絞りを駆動して撮像素子100に入射する被写体光束の光量を制御してよい。
 駆動部3102は、システム制御部3101からの指示に従って撮像素子100のタイミング制御、領域制御等の電荷蓄積制御を実行する制御回路を有する。また、操作部3108は、レリーズボタン等により撮像者からの指示を受け付ける。
 撮像素子100は、画素信号をシステム制御部3101の画像処理部3111へ引き渡す。画像処理部3111は、ワークメモリ3104をワークスペースとして種々の画像処理を施した画像データを生成する。たとえば、JPEGファイル形式の画像データを生成する場合は、ベイヤー配列で得られた信号からカラー映像信号を生成した後に圧縮処理を実行する。生成された画像データは、記録部3105に記録されるとともに、表示信号に変換されて予め設定された時間の間、表示部3106に表示される。
 測光部3103は、画像データを生成する一連の撮影シーケンスに先立ち、シーンの輝度分布を検出する。測光部3103は、たとえば100万画素程度のAEセンサを含む。システム制御部3101の演算部3112は、測光部3103の出力を受けてシーンの領域ごとの輝度を算出する。
 演算部3112は、算出した輝度分布に従ってシャッタ速度、絞り値、ISO感度を決定する。測光部3103は撮像素子100で兼用してもよい。なお、演算部3112は、撮像装置3100を動作させるための各種演算も実行する。駆動部3102は、一部または全部が撮像素子100に搭載されてよい。システム制御部3101の一部が撮像素子100に搭載されてもよい。
 なお、本発明は上記の内容に限定されるものではなく、これらを任意に組み合わせたものであってもよい。また、本発明の技術的思想の範囲で考えられるその他の態様も本発明の範囲に含まれる。
100、100A、100B 撮像素子、101 画素部、102 制御回路部、103 データ処理部、110 第1半導体基板、120 第2半導体基板、121 周辺回路部、130 第3半導体基板、200 画素ブロック、201 画素、202 信号線、210 画素群、300 光電変換部、301 転送部、302 排出部、304 リセット部、305 画素出力部、306 負荷電流源、310 読出部、351 増幅部、352 選択部、400、400A、400B 制御ブロック、401 画素制御部、402 信号転送部、411 自律露光処理部、412 露光制御部、413 画素駆動部、421 信号入力部、422 信号処理部、423 信号出力部

Claims (29)

  1.  行方向に並んで配置される複数の画素を有する第1半導体基板と、
     前記複数の画素のうち第1画素に電流を供給する第1負荷電流源と、前記複数の画素のうち第2画素に電流を供給する第2負荷電流源と、前記第1負荷電流源による前記第1画素への電流供給を制御する第1画素制御部と、前記第2負荷電流源による前記第2画素への電流供給を制御する第2画素制御部とを有する第2半導体基板と、
    を備える撮像素子。
  2.  請求項1に記載の撮像素子において、
     前記第1画素制御部は、前記第1画素と前記第1負荷電流源との間の接続を制御し、
     前記第2画素制御部は、前記第2画素と前記第2負荷電流源との間の接続を制御する、
    撮像素子。
  3.  請求項1に記載の撮像素子において、
     前記第1負荷電流源により前記第1画素に供給される電流を調整する第1調整部と、
     前記第2負荷電流源により前記第2画素に供給される電流を調整する第2調整部と、を備え、
     前記第1画素制御部は、前記第1調整部を制御し、
     前記第2画素制御部は、前記第2調整部を制御する、
    撮像素子。
  4.  請求項3に記載の撮像素子において、
     前記第1調整部は、前記第1画素制御部からの信号に基づいて、前記第1負荷電流源により前記第1画素に供給される電流を調整し、
     前記第2調整部は、前記第2画素制御部からの信号に基づいて、前記第2負荷電流源により前記第2画素に供給される電流を調整する、
    撮像素子。
  5.  請求項3または請求項4に記載の撮像素子において、
     前記第1調整部は、前記第1画素と前記第1負荷電流源とに接続され、
     前記第2調整部は、前記第2画素と前記第2負荷電流源とに接続される、
    撮像素子。
  6.  請求項1から請求項5のいずれか一項に記載の撮像素子において、
     前記第1画素から読み出された第1信号をデジタル信号に変換するための第1変換部と、
     前記第2画素から読み出された第2信号をデジタル信号に変換するための第2変換部と、
    を備える撮像素子。
  7.  請求項6に記載の撮像素子において、
     前記第1画素制御部は、前記第1変換部への電流供給を制御し、
     前記第2画素制御部は、前記第2変換部への電流供給を制御する、
    撮像素子。
  8.  請求項6または請求項7に記載の撮像素子において、
     前記第1変換部は、前記第1信号が入力される第1比較器を有し、
     前記第2変換部は、前記第2信号が入力される第2比較器を有し、
     前記第1画素制御部は、前記第1比較器への電流供給を制御し、
     前記第2画素制御部は、前記第2比較器への電流供給を制御する、
    撮像素子。
  9.  請求項6から請求項8のいずれか一項に記載の撮像素子において、
     前記第1変換部は、第1クロック信号が入力される第1ラッチ回路を有し、
     前記第2変換部は、第2クロック信号が入力される第2ラッチ回路を有し、
     前記第1画素制御部は、前記第1ラッチ回路への前記第1クロック信号の入力を制御し、
     前記第2画素制御部は、前記第2ラッチ回路への前記第2クロック信号の入力を制御する、
    撮像素子。
  10.  請求項1から請求項9のいずれか一項に記載の撮像素子において、
     前記第1画素は、光を電荷に変換する第1光電変換部を有し、
     前記第2画素は、光を電荷に変換する第2光電変換部を有し、
     前記第1画素制御部は、前記第1光電変換部で変換された電荷を蓄積する蓄積時間を制御する制御信号に基づいて、前記第1画素への電流供給を制御し、
     前記第2画素制御部は、前記第2光電変換部で変換された電荷を蓄積する蓄積時間を制御する制御信号に基づいて、前記第2画素への電流供給を制御する、
    撮像素子。
  11.  請求項10に記載の撮像素子において、
     前記第1画素は、前記第1光電変換部で変換された電荷を転送する第1転送部を有し、
     前記第2画素は、前記第2光電変換部で変換された電荷を転送する第2転送部を有し、
     前記第1画素制御部は、前記第1転送部を制御する制御信号に基づいて、前記第1画素への電流供給を制御し、
     前記第2画素制御部は、前記第2転送部を制御する制御信号に基づいて、前記第2画素への電流供給を制御する、
    撮像素子。
  12.  請求項11に記載の撮像素子において、
     前記第1転送部は、前記第1光電変換部で変換された電荷を転送するための第1転送制御信号が出力される第1転送制御線に接続され、
     前記第2転送部は、前記第2光電変換部で変換された電荷を転送するための第2転送制御信号が出力される第2転送制御線に接続される、
    撮像素子。
  13.  請求項12に記載の撮像素子において、
     前記第1転送制御信号は、前記第1画素制御部から出力され、
     前記第2転送制御信号は、前記第2画素制御部から出力される、
    撮像素子。
  14.  請求項10から請求項13のいずれか一項に記載の撮像素子において、
     前記第1画素は、前記第1光電変換部の電荷を排出する第1排出部を有し、
     前記第2画素は、前記第2光電変換部の電荷を排出する第2排出部を有し、
     前記第1画素制御部は、前記第1排出部を制御する制御信号に基づいて、前記第1画素への電流供給を制御し、
     前記第2画素制御部は、前記第2排出部を制御する制御信号に基づいて、前記第2画素への電流供給を制御する、
    撮像素子。
  15.  請求項14に記載の撮像素子において、
     前記第1排出部は、前記第1光電変換部の電荷を排出するための第1排出制御信号が出力される第1排出制御線に接続され、
     前記第2排出部は、前記第2光電変換部の電荷を排出するための第2排出制御信号が出力される第2排出制御線に接続される、
    撮像素子。
  16.  請求項15に記載の撮像素子において、
     前記第1排出制御信号は、前記第1画素制御部から出力され、
     前記第2排出制御信号は、前記第2画素制御部から出力される、
    撮像素子。
  17.  請求項1から請求項16のいずれか一項に記載の撮像素子において、
     前記第1画素は、前記第1半導体基板において第1画素ブロックに配置され、
     前記第2画素は、前記第1半導体基板において第2画素ブロックに配置され、
     前記第1画素制御部は、前記第2半導体基板において第1制御ブロックに配置され、
     前記第2画素制御部は、前記第2半導体基板において第2制御ブロックに配置され、
     前記第1画素ブロックと前記第1制御ブロックとは、互いに対向し、
     前記第2画素ブロックと前記第2制御ブロックとは、互いに対向する、
    撮像素子。
  18.  請求項1から請求項17のいずれか一項に記載の撮像素子を備える撮像装置。
  19.  少なくとも1つの画素を含む複数の画素ブロックを有する第1半導体基板と、
     前記画素ブロック毎に配置される制御ブロックを有する第2半導体基板と、を備え、
     前記制御ブロックは、前記複数の画素ブロックのうち対応する画素ブロックに含まれる前記画素に電流を供給する負荷電流源を制御する画素制御部を有する、
    撮像素子。
  20.  請求項19に記載の撮像素子において、
     前記制御ブロックは、前記複数の画素ブロックのうち、対応する画素ブロックに含まれる前記画素から読み出された信号をデジタル信号に変換する変換部を有する、
    撮像素子。
  21.  請求項19に記載の撮像素子において、
     前記第2半導体基板は、前記画素から読み出された信号をデジタル信号に変換する変換部を有し、
     前記変換部は、前記第2半導体基板において前記複数の制御ブロックが配置される制御回路部の外側に配置される撮像素子。
  22.  請求項19から請求項21のいずれか一項に記載の撮像素子において、
     前記画素制御部は、前記複数の画素ブロックのうち対応する画素ブロックに含まれる前記画素と、前記複数の画素ブロックのうち対応する画素ブロックに含まれる前記画素に電流を供給する負荷電流源との間の接続を制御する、
    撮像素子。
  23.  請求項19から請求項22のいずれか一項に記載の撮像素子において、
     前記画素は、光を電荷に変換する光電変換部を有し、
     前記画素制御部は、前記光電変換部で変換された電荷を蓄積する蓄積時間を制御する制御信号に基づいて、前記画素への電流供給を制御する、
    撮像素子。
  24.  請求項23に記載の撮像素子において、
     前記画素は、前記光電変換部で変換された電荷を転送する転送部を有し、
     前記画素制御部は、前記転送部を制御する制御信号に基づいて、前記画素への電流供給を制御する、
    撮像素子。
  25.  請求項24に記載の撮像素子において、
     前記転送部は、前記光電変換部で変換された電荷を転送するための転送制御信号が出力される転送制御線に接続され、
     前記転送制御信号は、前記画素制御部から出力される、
    撮像素子。
  26.  請求項23から請求項25のいずれか一項に記載の撮像素子において、
     前記画素は、前記光電変換部の電荷を排出する排出部を有し、
     前記画素制御部は、前記排出部を制御する制御信号に基づいて、前記画素への電流供給を制御する、
    撮像素子。
  27.  請求項26に記載の撮像素子において、
     前記排出部は、前記光電変換部の電荷を排出するための排出制御信号が出力される排出制御線に接続される、
    撮像素子。
  28.  請求項27に記載の撮像素子において、
     前記排出制御信号は、前記画素制御部から出力される、
    撮像素子。
  29.  請求項19から請求項28のいずれか一項に記載の撮像素子を備える撮像装置。
PCT/JP2022/031546 2021-08-25 2022-08-22 撮像素子および撮像装置 WO2023027017A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202280069689.6A CN118104248A (zh) 2021-08-25 2022-08-22 摄像元件及摄像装置
JP2023543896A JPWO2023027017A1 (ja) 2021-08-25 2022-08-22

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-137559 2021-08-25
JP2021137559 2021-08-25

Publications (1)

Publication Number Publication Date
WO2023027017A1 true WO2023027017A1 (ja) 2023-03-02

Family

ID=85323188

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/031546 WO2023027017A1 (ja) 2021-08-25 2022-08-22 撮像素子および撮像装置

Country Status (3)

Country Link
JP (1) JPWO2023027017A1 (ja)
CN (1) CN118104248A (ja)
WO (1) WO2023027017A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013162148A (ja) 2012-02-01 2013-08-19 Sony Corp 個体撮像装置および駆動方法、並びに電子機器
JP2015126043A (ja) * 2013-12-26 2015-07-06 ソニー株式会社 電子デバイス
JP2020053782A (ja) * 2018-09-26 2020-04-02 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
JP2021137559A (ja) 2020-03-02 2021-09-16 株式会社バンダイ 組立玩具

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013162148A (ja) 2012-02-01 2013-08-19 Sony Corp 個体撮像装置および駆動方法、並びに電子機器
JP2015126043A (ja) * 2013-12-26 2015-07-06 ソニー株式会社 電子デバイス
JP2020053782A (ja) * 2018-09-26 2020-04-02 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
JP2021137559A (ja) 2020-03-02 2021-09-16 株式会社バンダイ 組立玩具

Also Published As

Publication number Publication date
JPWO2023027017A1 (ja) 2023-03-02
CN118104248A (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
JP7283520B2 (ja) 電子機器
JP7264189B2 (ja) 撮像素子及び撮像装置
JP7222377B2 (ja) 撮像素子および撮像装置
JP6413233B2 (ja) 撮像装置および撮像素子
WO2015166900A1 (ja) 固体撮像装置および撮像装置
JP2014179778A (ja) 信号処理装置、撮像素子、撮像装置および電子機器
WO2023027017A1 (ja) 撮像素子および撮像装置
WO2023027018A1 (ja) 撮像素子および撮像装置
WO2023027143A1 (ja) 撮像素子および撮像装置
JP2023031837A (ja) 撮像素子および撮像装置
JP2023031696A (ja) 撮像素子および撮像装置
JP2023031698A (ja) 撮像素子および撮像装置
JP7230946B2 (ja) 撮像素子、及び撮像装置
JP7491363B2 (ja) 撮像素子及び撮像装置
JP2014230242A (ja) 撮像素子および撮像装置
CN118120255A (zh) 摄像元件及摄像装置
JP7176583B2 (ja) 撮像素子および撮像装置
CN118120253A (zh) 摄像元件及摄像装置
JP2019083550A (ja) 電子機器
JP2017188961A (ja) 撮像素子

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2023543896

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2022861305

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022861305

Country of ref document: EP

Effective date: 20240325

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22861305

Country of ref document: EP

Kind code of ref document: A1