WO2022209256A1 - 撮像素子、撮像装置及び撮像素子の制御方法 - Google Patents

撮像素子、撮像装置及び撮像素子の制御方法 Download PDF

Info

Publication number
WO2022209256A1
WO2022209256A1 PCT/JP2022/003936 JP2022003936W WO2022209256A1 WO 2022209256 A1 WO2022209256 A1 WO 2022209256A1 JP 2022003936 W JP2022003936 W JP 2022003936W WO 2022209256 A1 WO2022209256 A1 WO 2022209256A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
light receiving
unit
imaging device
section
Prior art date
Application number
PCT/JP2022/003936
Other languages
English (en)
French (fr)
Inventor
航平 山田
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2022209256A1 publication Critical patent/WO2022209256A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Definitions

  • the present disclosure relates to an image pickup device, an image pickup device, and an image pickup device control method.
  • an asynchronous imaging device solid-state imaging device
  • an event detection circuit that detects in real time that the amount of light in a pixel exceeds a threshold as an event.
  • an imaging device capable of imaging has been proposed (see, for example, Patent Document 1).
  • the present disclosure proposes an image pickup device, an image pickup device, and an image pickup device control method capable of suppressing deterioration of pixel characteristics.
  • An imaging device includes a light receiving unit having a photoelectric conversion element that generates electric charges, an event detection unit that generates an event detection signal based on the electric charges supplied from the light receiving unit, and the light receiving unit. a pixel signal generation section that generates a pixel signal based on the charge supplied from a first electrical path that supplies the charge from the light receiving section to the event detection section; and from the light receiving section to the pixel signal generation section. a switching element for switching between a second electrical path for supplying the charge to the .
  • An imaging device includes an imaging lens and an imaging device, and the imaging device includes a light receiving unit having a photoelectric conversion element that generates electric charges, and the electric charges supplied from the light receiving unit. a pixel signal generating unit for generating a pixel signal based on the charge supplied from the light receiving unit; and the charge supplied from the light receiving unit to the event detection unit. A switching element for switching between a first electric path and a second electric path for supplying the charge from the light receiving section to the pixel signal generating section.
  • a switching element supplies charges from a light receiving unit having a photoelectric conversion element that generates charges to an event detection unit that generates an event detection signal based on the charges. and switching between a first electrical path for supplying the charge from the light receiving section and a second electrical path for supplying the charge to a pixel signal generating section that generates a pixel signal based on the charge.
  • FIG. 1 is a diagram showing an example of a schematic configuration of an imaging device according to a first embodiment
  • FIG. It is a figure showing an example of lamination structure of an image sensor concerning a 1st embodiment. It is a figure showing an example of a schematic structure of an image sensor concerning a 1st embodiment.
  • 3 is a diagram showing an example of a schematic configuration of a pixel block according to the first embodiment
  • FIG. 1 is a diagram showing an example of a schematic configuration of a color filter array according to a first embodiment
  • FIG. 1 is a first diagram showing an example of a schematic configuration of a pixel circuit according to a first embodiment
  • FIG. 2 is a second diagram showing an example of a schematic configuration of a pixel circuit according to the first embodiment
  • FIG. 3 is a diagram showing an example of a schematic configuration of a pixel according to the first embodiment
  • FIG. FIG. 4 is a first diagram showing an example of a schematic configuration of the operation of the imaging element according to the first embodiment
  • FIG. 2B is a second diagram showing an example of a schematic configuration of the operation of the imaging element according to the first embodiment
  • FIG. 10 is a third diagram showing an example of a schematic configuration of the operation of the imaging element according to the first embodiment
  • FIG. 10 is a fourth diagram showing an example of a schematic configuration of the operation of the imaging element according to the first embodiment
  • FIG. 10 is a diagram showing an example of a schematic configuration of a pixel circuit according to a second embodiment
  • FIG. 10 is a diagram showing an example of a schematic configuration of a pixel circuit according to a third embodiment
  • FIG. FIG. 11 is a diagram showing an example of a schematic configuration of a pixel circuit according to a fourth embodiment
  • FIG. 11 is a diagram showing an example of a schematic configuration of a pixel circuit according to a fifth embodiment
  • FIG. FIG. 13 is a diagram showing an example of a schematic configuration of a pixel circuit according to a sixth embodiment
  • FIG. FIG. 12 is a first diagram showing an example of a schematic configuration of a pixel according to the seventh embodiment
  • FIG. 19 is a second diagram (sectional view taken along the line B1-B1 in FIG. 18) showing an example of the schematic configuration of a pixel according to the seventh embodiment
  • FIG. 12 is a diagram showing an example of a schematic configuration of a pixel according to the seventh embodiment
  • FIG. 1 is a block diagram showing an example of a schematic configuration of a vehicle control system
  • FIG. 4 is an explanatory diagram showing an example of installation positions of an outside information detection unit and an imaging unit;
  • First Embodiment 1-1 Example of Schematic Configuration of Imaging Apparatus 1-2.
  • Example of schematic configuration of imaging device 1-3 Example of schematic configuration of pixel block 1-4.
  • Example of schematic configuration of color filter array 1-5 Example of schematic configuration of pixel circuit 1-6.
  • Example of Schematic Configuration of Pixel 1-7 Example of operation of imaging device 1-8.
  • Second embodiment 2-1 Example of schematic configuration of pixel circuit 2-2.
  • Fourth Embodiment 4-1 Example of schematic configuration of pixel circuit 4-2. Effect 5.
  • Fifth Embodiment 5-1 Example of schematic configuration of pixel circuit 5-2. Effect 6.
  • FIG. 1 is a diagram showing an example of a schematic configuration of an imaging device 100 according to this embodiment.
  • the imaging device 100 includes an imaging lens 110, an imaging element (solid-state imaging element) 200, a recording section 120, and a control section .
  • Examples of the imaging device 100 include a camera mounted on a wearable device, an industrial robot, and the like, and an in-vehicle camera mounted on a car and the like.
  • the imaging lens 110 collects incident light and guides it to the imaging device 200 .
  • the imaging lens 110 captures incident light from a subject and forms an image on the imaging surface (light receiving surface) of the imaging device 200 .
  • the imaging element 200 photoelectrically converts incident light, detects the presence or absence of an event (address event), and generates the detection result. For example, the imaging device 200 detects, as an event, that the absolute value of the amount of change in luminance exceeds a threshold for each of a plurality of pixels.
  • This imaging device 200 is also called an EVS (Event-based Vision Sensor).
  • events include on-events and off-events
  • detection results include 1-bit on-event detection results and 1-bit off-event detection results.
  • An on-event means, for example, that the amount of change in the amount of incident light (the amount of increase in luminance) exceeds a predetermined upper threshold.
  • an off event means, for example, that the amount of change in the amount of incident light (the amount of decrease in luminance) has fallen below a predetermined lower threshold (a value less than the upper threshold).
  • the imaging device 200 processes the detection result of the event (address event) and outputs data indicating the processing result to the recording unit 120 via the signal line 209 .
  • the imaging device 200 generates a detection signal (event detection signal) indicating the detection result of an event for each pixel.
  • Each detection signal includes an on-event detection signal indicating presence/absence of an on-event and an off-event detection signal indicating presence/absence of an off-event. Note that the imaging device 200 may detect only one of the on-event detection signal and the off-event detection signal.
  • the image sensor 200 executes predetermined signal processing such as image recognition processing on image data composed of detection signals, and outputs the processed data to the recording unit 120 via the signal line 209 .
  • the recording unit 120 records data input from the imaging device 200 .
  • storage such as flash memory, DRAM (Dynamic Random Access Memory), SRAM (Static Random Access Memory) is used.
  • the control unit 130 controls each unit of the imaging device 100 by outputting various instructions to the imaging device 200 via the signal line 139 .
  • the control unit 130 controls the imaging device 200 and causes the imaging device 200 to detect the presence or absence of an event (address event).
  • a computer such as a CPU (Central Processing Unit) or MPU (Micro Control Unit) is used.
  • FIG. 2 is a diagram showing an example of the layered structure of the imaging element 200 according to this embodiment.
  • FIG. 3 is a diagram showing an example of a schematic configuration of the imaging device 200 according to this embodiment.
  • the imaging device 200 includes a light receiving chip (light receiving substrate) 201 and a detection chip (detection substrate) 202 .
  • the light receiving chip 201 is stacked on the detection chip 202 .
  • the light receiving chip 201 corresponds to a first chip (first substrate), and the detection chip 202 corresponds to a second chip (first substrate).
  • the light-receiving chip 201 is provided with a light-receiving element (for example, a photoelectric conversion element such as a photodiode), and the detection chip 202 is provided with a circuit.
  • the light-receiving chip 201 and the detection chip 202 are electrically connected through connecting portions such as vias, Cu--Cu junctions, and bumps.
  • the imaging device 200 includes a pixel array section 12, a driving section 13, an arbiter section (arbitration section) 14, a column processing section 15, and a signal processing section 16.
  • the drive section 13 , arbiter section 14 , column processing section 15 and signal processing section 16 are provided as a peripheral circuit section of the pixel array section 12 .
  • the pixel array section 12 has a plurality of pixels (unit pixels) 11 . These pixels 11 are two-dimensionally arranged in an array, for example, in a matrix. A pixel address indicating the position of each pixel 11 is defined by a row address and a column address based on the matrix arrangement of the pixels 11 . Each pixel 11 generates, as a pixel signal, an analog signal having a voltage corresponding to a photocurrent as an electrical signal generated by photoelectric conversion. Further, each pixel 11 detects the presence or absence of an event depending on whether or not a change exceeding a predetermined threshold occurs in the photocurrent corresponding to the luminance of incident light. In other words, each pixel 11 detects as an event that the luminance change exceeds a predetermined threshold.
  • each pixel 11 When each pixel 11 detects an event, it outputs a request to the arbiter unit 14 requesting output of event data representing the occurrence of the event. Then, each of the pixels 11 outputs the event data to the drive unit 13 and the signal processing unit 16 when receiving a response indicating permission to output the event data from the arbiter unit 14 . Also, the pixels 11 that have detected the event output analog pixel signals generated by photoelectric conversion to the column processing unit 15 .
  • the driving section 13 drives each pixel 11 of the pixel array section 12 .
  • the drive unit 13 detects an event, drives the pixel 11 that outputs the event data, and outputs an analog pixel signal of the pixel 11 to the column processing unit 15 .
  • the arbiter unit 14 arbitrates requests requesting output of event data supplied from each of the plurality of pixels 11, and responds based on the arbitration result (permission/non-permission of event data output) and event detection. A reset signal for resetting is transmitted to the pixel 11 .
  • the column processing unit 15 performs a process of converting analog pixel signals output from the pixels 11 in each column of the pixel array unit 12 into digital signals.
  • the column processing unit 15 can also perform CDS (Correlated Double Sampling) processing on digitized pixel signals.
  • the column processing section 15 has, for example, an analog-to-digital converter made up of a set of analog-to-digital converters provided for each pixel column of the pixel array section 12 .
  • an analog-digital converter for example, a single-slope analog-digital converter can be exemplified.
  • the signal processing unit 16 performs predetermined signal processing on the digitized pixel signals supplied from the column processing unit 15 and the event data output from the pixel array unit 12, and converts the signal-processed event data and Outputs pixel signals.
  • the change in the photocurrent generated by the pixel 11 can be understood as the change in the amount of light (luminance change) incident on the pixel 11 . Therefore, it can be said that the occurrence of an event is a change in light amount (luminance change) of the pixel 11 exceeding a predetermined threshold.
  • the event data representing the occurrence of an event includes, for example, positional information such as coordinates representing the position of the pixel 11 where the change in the amount of light has occurred as an event.
  • the event data can include the polarity of the change in the amount of light in addition to the positional information.
  • FIG. 4 is a diagram showing an example of a schematic configuration of the pixel block 51 according to this embodiment.
  • each pixel 11 is grouped into a plurality of pixel blocks 51.
  • Each pixel block 51 is composed of pixels arranged in, for example, I rows ⁇ J columns (where I and J are positive integers).
  • Each pixel block 51 has a plurality of light receiving units 61, a pixel signal generating unit 62, and an event detecting unit 63.
  • the light receiving units 61 are arranged in, for example, I rows ⁇ J columns.
  • the pixel signal generation section 62 and the event detection section 63 are shared by each light receiving section 61 in the pixel block 51 . Note that the coordinates of the pixels 11 follow the coordinates of the respective light receiving units 61 arranged in a two-dimensional lattice, for example.
  • the light receiving unit 61 photoelectrically converts incident light to generate a photocurrent. Then, under the control of the drive unit 13 (see FIG. 3), the light receiving unit 61 outputs a voltage corresponding to the photocurrent generated by photoelectrically converting the incident light to either the pixel signal generation unit 62 or the event detection unit 63. provide a signal.
  • the pixel signal generation unit 62 generates a voltage signal corresponding to the photocurrent supplied from the light receiving unit 61 as an analog pixel signal SIG. Then, the pixel signal generation unit 62 supplies the generated analog pixel signal SIG to the column processing unit 15 (see FIG. 3) via the vertical signal line VSL wired for each pixel column of the pixel array unit 12 .
  • the event detection unit 63 detects whether an event has occurred, depending on whether the amount of change in photocurrent supplied from each light receiving unit 61 within the same pixel block 51 exceeds a predetermined threshold.
  • the events include, for example, an ON event indicating that the amount of change in photocurrent has exceeded the upper limit threshold, and an OFF event indicating that the amount of change has fallen below the lower limit threshold.
  • the event data representing the occurrence of an event consists of, for example, 1 bit indicating the detection result of an on-event and 1 bit indicating the detection result of an off-event. Note that the event detection unit 63 may be configured to detect only on-events.
  • the event detection section 63 When an event occurs, the event detection section 63 outputs a request to the arbiter section 14 (see FIG. 3) requesting output of event data representing the occurrence of the event. When receiving a response to the request from the arbiter unit 14 , the event detection unit 63 outputs event data (event detection signal) to the drive unit 13 and the signal processing unit 16 .
  • the drive unit 13 upon receiving the output event data, executes readout for each light receiving unit 61 belonging to the pixel block 51 including the event detection unit 63 that has output the event data.
  • analog pixel signals SIG are sequentially input from each light receiving section 61 belonging to the pixel block 51 to be read to the column processing section 15 (see FIG. 3).
  • the present invention is not limited to this.
  • only one of the pixel signal generation unit 62 and the event detection unit 63 may be provided for each pixel block 51, or both or one of the pixel signal generation unit 62 and the event detection unit 63 may be provided for each light receiving unit 61, That is, it may be provided for each pixel 11 .
  • FIG. 5 is a diagram showing an example of a schematic configuration of a color filter array according to this embodiment.
  • the pixel block 51 is composed of, for example, a combination of pixels 11 that receive wavelength components necessary for reconstructing colors.
  • the pixel block 51 is composed of a combination of pixels 11 that receive red light, pixels 11 that receive green light, and pixels 11 that receive blue light. be.
  • the pixel block 51 is a unit of the color filter array, and is composed of a combination of pixels (unit pixels) that receive predetermined wavelength components.
  • color filter array for example, various arrays such as a 2 ⁇ 2 pixel Bayer array (see FIG. 5), a 4 ⁇ 4 pixel quad Bayer array (also referred to as a quadra array), and an 8 ⁇ 8 pixel quad Bayer array. exists. Note that 2 ⁇ 2 pixels, 4 ⁇ 4 pixels, 8 ⁇ 8 pixels, etc. as the basic pattern are examples, and the number of pixels of the basic pattern is not limited. A Bayer array of 2 ⁇ 2 pixels will be described below as a typical color filter array.
  • one pixel block 51 includes a total of four unit pixels of 2 ⁇ 2 pixels, which are repeating units in the Bayer array. It is composed of basic patterns (unit patterns) having In the example of FIG. 5, the pixel block 51 includes, for example, one pixel 11 with a red (R) color filter 21, one pixel 11 with a green (Gr) color filter 21, and green ( Gb) and one pixel 11 with a blue (B) color filter 21 are included.
  • R red
  • Gr green
  • B blue
  • the color filter 21 is provided for each pixel 11 in the imaging device 200 .
  • the imaging device 200 performs event detection in a specific wavelength band based on the color filter 21 . As a result, information in various wavelength bands can be detected as events.
  • the color filter 21 is an example of an optical filter (wavelength selection element) that transmits predetermined light. Arbitrary light can be received as incident light by providing the color filter 21 in the pixel 11 .
  • the event data represents the occurrence of a change in pixel value in an image showing a visible subject.
  • the event data indicates occurrence of a change in the distance to the subject.
  • the event data indicates the occurrence of a change in the temperature of the subject.
  • the driver's eyes can see the lighting (blinking) of the brake lamps and tail lamps of the vehicle running in front of the own vehicle, the blinking of the direction indicator, the color change of the traffic light, and the electric light.
  • Information in various wavelength bands such as signs, in particular, information in the R (red) wavelength band (brake lamps, tail lamps, red signals of traffic lights, etc.) jumps in. Basically, the driver visually detects and judges the contents of these various types of information. is.
  • the color filter 21, which is an example of a wavelength selection element, is provided for each pixel 11 in the image pickup element 200, and threshold detection is performed for each pixel 11 to detect an event for each color.
  • Enable detection For example, motion detection of an object whose event is detected for each color is performed.
  • event signals for each color in each wavelength band can be used to detect (detect) the lighting (blinking) of vehicle brake lights and tail lights, the blinking of direction indicators, the color changes of traffic lights, and the detection of electronic signs. can be done.
  • an RCCC filter in which R (red) pixels and C (clear) pixels are combined, or an RCCB filter in which B (blue) pixels are combined with R and C pixels.
  • an RGB Bayer array filter in which R pixels, G (green), and B pixels are combined may be used.
  • the C pixel is a pixel with no color filter or with a transparent filter, and is the same pixel as the W (white) pixel.
  • an RCCC filter that combines R (red) pixels and C (clear) pixels can realize high sensitivity capable of imaging distant obstacles and people even at low illumination equivalent to moonlit nights.
  • the RCCC filter can improve the detection accuracy of light in the red wavelength band (for example, tail lamps, red lights of traffic lights, etc.), which is important for in-vehicle sensing and the like.
  • FIG. 6 and 7 are diagrams each showing an example of a schematic configuration of the pixel circuit 301 according to this embodiment.
  • the pixel circuit 301 has a plurality of light receiving units 61, a pixel signal generating unit 62, and an event detecting unit 63.
  • the event detection section 63 has a current-voltage conversion section 310 , a differentiation circuit 330 , a comparator 340 and a transfer section 350 .
  • the current-voltage converter 310 converts the photocurrent into a pixel voltage Vp proportional to the logarithm of the photocurrent.
  • the current-voltage converter 310 supplies the pixel voltage Vp to the differentiating circuit 330 .
  • the differentiating circuit 330 obtains the amount of change in the pixel voltage Vp by differential calculation.
  • the amount of change in the pixel voltage Vp indicates the amount of change in the amount of light.
  • the differentiating circuit 330 supplies the comparator 340 with a differential signal Vout that indicates the amount of change in the amount of light.
  • the comparator 340 compares the differentiated signal Vout with a predetermined threshold (upper threshold or lower threshold).
  • the comparison result COMP of this comparator 340 indicates the detection result of the event (address event).
  • the comparator 340 supplies the comparison result COMP to the transfer section 350 .
  • the transfer unit 350 transfers the detection signal DET, and after transfer, supplies the auto-zero signal XAZ to the differentiating circuit 330 for initialization.
  • the transfer unit 350 supplies the arbiter unit 14 with a request to transfer the detection signal DET when an event is detected.
  • the transfer section 350 Upon receiving a response to the request, the transfer section 350 supplies the comparison result COMP as the detection signal DET to the signal processing section 220 and supplies the auto-zero signal XAZ to the differentiating circuit 330 .
  • the event detection section 63 may have a buffer between the current-voltage conversion section 310 and the differentiating circuit 330 .
  • the buffer outputs the pixel voltage Vp from the current-voltage converter 310 to the differentiating circuit 330 .
  • This buffer can improve the driving force for driving the subsequent stage. Also, the buffer can ensure noise isolation associated with the switching operation in the latter stage.
  • the light receiving section 61 includes a photoelectric conversion element 251 and a transfer transistor 252. In the example of FIG. 7, four light receiving portions 61 are provided. These light receiving sections 61 are connected to a pixel signal generating section 62 and an event detecting section 63 . A switching transistor 253 is provided between each light receiving section 61 and the event detection section 63 . The switching transistor 253 corresponds to a switching element.
  • the photoelectric conversion element 251 generates photocurrent by photoelectric conversion of incident light.
  • a photodiode (FD) for example, is used as the photoelectric conversion element 251 .
  • Transfer signals TG (for example, TG1, TG2, TG3, and TG4) are supplied from the drive unit 13 to the gates of the transfer transistors 252 .
  • a transfer signal (control signal) EVS is supplied from the drive unit 13 to the gate of the switching transistor 253 .
  • the switching transistor 253 has a source connected to the floating diffusion layer 211 and a drain connected to the input terminal of the event detection section 63 .
  • the transfer transistor 252 transfers charges from the corresponding photoelectric conversion element 251 to the pixel signal generation section 62 according to the transfer signal TG from the drive section 13 .
  • the transfer transistor 252 and the switching transistor 253 transmit charges (photocurrent due to charges), that is, photoelectric
  • the electrical signal generated by the conversion element 251 is supplied.
  • the drive unit 13 drives the switching transistor 253 with the transfer signal EVS in response to the instruction to start detecting the event, thereby enabling the supply of electric signals from the light receiving units 61 to the event detection unit 63. do.
  • the pixel signal generation unit 62 includes a floating diffusion layer 211, a reset transistor 212, an amplification transistor 213, and a selection transistor 214.
  • a reset transistor 212 for example, MOS (Metal-Oxide-Semiconductor) transistors are used.
  • the floating diffusion layer 211 accumulates charges transferred as photocurrent from the photoelectric conversion element 251 via the transfer transistor 252, and generates a voltage corresponding to the amount of accumulated charges.
  • the floating diffusion layer 211 may be provided for each light receiving section 61 or may be provided commonly for each light receiving section 61 .
  • the reset transistor 212 releases (initializes) the charges accumulated in the floating diffusion layer 211 according to the reset signal RST from the driving section 13 .
  • the reset transistor 212 has a source connected to the floating diffusion layer 211 and a drain connected to the power supply terminal.
  • a reset signal RST is supplied to the gate of the reset transistor 212 .
  • the reset transistor 212 corresponds to a reset element.
  • the amplification transistor 213 amplifies the voltage of the floating diffusion layer 211 .
  • a gate of the amplification transistor 213 is connected to the floating diffusion layer 211 .
  • the amplification transistor 213 has a drain connected to the power supply terminal and a source connected to the drain of the selection transistor 214 .
  • the selection transistor 214 outputs the voltage signal amplified by the amplification transistor 213 to the column processing section 15 via the vertical signal line VSL as the pixel signal SIG according to the selection signal SEL from the driving section 13 .
  • the source of select transistor 214 is connected to the vertical signal line (VSL).
  • a selection signal SEL is supplied to the gate of the selection transistor 214 .
  • the current-voltage converter 310 includes an N-type transistor 312 , a P-type transistor 314 and an N-type transistor 315 .
  • the current-voltage converter 310 logarithmically converts the photocurrent into the pixel voltage Vp.
  • the N-type transistor 312, the P-type transistor 314, and the N-type transistor 315 for example, MOS transistors are used.
  • the source of the N-type transistor 312 is connected to the floating diffusion layer 211 via the switching transistor 253, and the drain is connected to the power supply terminal.
  • the P-type transistor 314 and N-type transistor 315 are connected in series between a power supply terminal and a reference terminal of a predetermined reference potential (ground potential, etc.).
  • a connection point between the P-type transistor 314 and the N-type transistor 315 is connected to the gate of the N-type transistor 312 and the input terminal of the differentiating circuit 330 .
  • a connection point between the source of the N-type transistor 312 and the drain of the switching transistor 253 is connected to the gate of the N-type transistor 315 . Therefore, the N-type transistor 312 and the N-type transistor 315 are connected in a loop.
  • a predetermined bias voltage Vbp is applied to the gate of the P-type transistor 314 .
  • the differentiating circuit 330 includes a capacitor 331 , a switch 332 , a P-type transistor 333 and a capacitor 334 .
  • a MOS transistor for example, is used as the P-type transistor 333 .
  • the P-type transistor 333 is connected between the power supply terminal and a reference terminal of a predetermined reference potential. It functions as an inverting circuit in which the gate of the P-type transistor 333 is the input terminal 391 and the source of the P-type transistor 333 is the output terminal 392 .
  • the capacitor 331 is inserted between the current-voltage converter 310 and the input terminal 391 .
  • the capacitor 331 supplies the input terminal 391 with a current corresponding to the time differentiation (in other words, the amount of change) of the pixel voltage Vp from the current-voltage converter 310 .
  • the capacitor 334 is inserted between the input terminal 391 and the output terminal 392 .
  • the switch 332 opens and closes the path between the input terminal 391 and the output terminal 392 according to the auto-zero signal XAZ from the transfer section 350 . For example, when a low-level auto-zero signal XAZ is input, the switch 332 is turned on in accordance with the auto-zero signal XAZ to initialize the differential signal Vout.
  • the comparator 340 includes a P-type transistor 341 , an N-type transistor 342 , a P-type transistor 343 and an N-type transistor 344 .
  • P-type transistor 341, N-type transistor 342, P-type transistor 343 and N-type transistor 344 for example, MOS transistors are used.
  • P-type transistor 341 and N-type transistor 342 are connected in series between the power supply terminal and the reference terminal, and P-type transistor 343 and N-type transistor 344 are also connected in series between the power supply terminal and the reference terminal. .
  • Gates of the P-type transistor 341 and the P-type transistor 343 are connected to the differentiating circuit 330 .
  • An upper voltage Vhigh indicating an upper threshold is applied to the gate of the N-type transistor 342
  • a lower voltage Vlow indicating a lower threshold is applied to the gate of the N-type transistor 344 .
  • a connection point between the P-type transistor 341 and the N-type transistor 342 is connected to the transfer section 350 (see FIG. 5), and the voltage at this connection point is output as the comparison result COMP+ with the upper limit threshold.
  • a connection point between the P-type transistor 343 and the N-type transistor 344 is also connected to the transfer section 350, and the voltage at this connection point is output as the comparison result COMP- with the lower limit threshold.
  • the comparator 340 outputs a high level comparison result COMP+ when the differential signal Vout is higher than the upper limit voltage Vhigh, and outputs a low level comparison result COMP ⁇ when the differential signal Vout is lower than the lower limit voltage Vlow. Output.
  • the comparison result COMP is a signal composed of these comparison results COMP+ and COMP-.
  • the comparator 340 compares both the upper limit threshold and the lower limit threshold with the differentiated signal Vout, only one of them may be compared with the differentiated signal Vout. In this case, unnecessary transistors can be eliminated. For example, when comparing only with the upper threshold, only the P-type transistor 341 and the N-type transistor 342 are arranged. Also, although the capacitor 334 is arranged in the differentiating circuit 330, the capacitor 334 may be reduced.
  • each photoelectric conversion element 251 , each transfer transistor 252 and the pixel signal generator 62 are arranged in the light receiving chip 201 . Also, part of the current-voltage converter 310 (the N-type transistor 312 and the N-type transistor 315 ) is arranged on the light receiving chip 201 . On the other hand, part of the current-voltage converter 310 (the P-type transistor 314 ), the differentiation circuit 330 , the comparator 340 and the transfer section 350 are arranged on the detection chip 202 .
  • the circuits and elements arranged in each of the light receiving chip 201 and the detection chip 202 are not limited to this configuration.
  • the light receiving chip 201 and the detection chip 202 are bonded by Cu--Cu bonding (CCC).
  • CCC Cu--Cu bonding
  • the position of the Cu--Cu junction is, for example, the node of the P-type transistor 314, but is not limited to that position.
  • FIG. 8 is a diagram showing an example of a schematic configuration of the pixel 11 according to this embodiment.
  • FIG. 8 four pixels 11 are provided.
  • four pixels 11 function as pixel block 51 .
  • This pixel block 51 is a shared pixel unit.
  • a photoelectric conversion element 251 , a transfer transistor 252 and a floating diffusion layer 211 are provided for each pixel 11 .
  • the switching transistor 253 , the reset transistor 212 , the amplification transistor 213 and the selection transistor 214 are arranged in a region surrounding each photoelectric conversion element 251 within one pixel block 51 , for example.
  • one transfer transistor 252 is provided for each pixel 11 .
  • the area (volume) of the photoelectric conversion element 251 is increased, and the light utilization efficiency is improved.
  • two transfer transistors are mounted for one photoelectric conversion element 251 in order to perform both event detection and imaging.
  • FIG. 9 to 12 are diagrams each showing an example of the operation of the imaging element 200 according to this embodiment.
  • 10 and 12 are timing charts each showing an example of the operation of the imaging element 200 according to this embodiment.
  • the operation phase (operation mode) of the imaging device 200 includes a detection phase (detection mode) and an imaging phase (imaging mode).
  • the detection phase as shown in FIG. 9, the switching transistor 253 is driven to be in an ON state, and it is a phase in which an electric signal can be supplied from each light receiving section 61 to the event detection section 63 (see arrow A1).
  • the imaging phase the switching transistor 253 is not driven and is in an off state, the supply of electric signals from each light receiving unit 61 to the event detection unit 63 is disabled, and the electric signal from each light receiving unit 61 to the pixel signal generation unit 62 is disabled. This is the phase that enables the supply of signals (see arrow A2).
  • the switching transistor 253 is switched to an ON state or an OFF state by control by the drive unit 13, and switches between the detection phase and the imaging phase. That is, the switching transistor 253 provides a first electrical path (see arrow A1) for supplying electric charge from each light receiving section 61 to the event detection section 63 and from each light receiving section 61 to the pixel signal generation section 62 according to the operation phase. Switching to the second electrical path (see arrow A2) for supplying electric charge.
  • the driving section 13 raises the transfer signal EVS applied to the gate of the switching transistor 253 to high level.
  • the switching transistor 253 is turned on, and electric signals can be supplied from each light receiving section 61 to the event detecting section 63 .
  • the driving section 13 raises the transfer signal TG1, the transfer signal TG2, the transfer signal TG3, and the transfer signal TG4 applied to the gates of the respective transfer transistors 252 of the light receiving section 61 to high level.
  • each transfer transistor 252 of the light receiving section 61 is turned on, and photocurrent based on charges generated in each photoelectric conversion element 251 of each light receiving section 61 is supplied to the event detection section 63 .
  • the reset signal RST applied to the reset transistor 212 and the selection signal SEL applied to the selection transistor 214 are all maintained at low level. Thus, reset transistor 212 and select transistor 214 are off during the detection phase.
  • the event detection unit 63 of a certain pixel block 51 detects the firing of an event, it sends a request to the arbiter unit 14.
  • the output of the event detection unit 63 of the pixel block 51 is , is input to the arbiter unit 14 as a request for each pixel block. Therefore, the arbiter unit 14 returns a response to the request to the event detection unit 63 that issued the request.
  • the event detection unit 63 that has received the response raises the detection signal (event detection signal) input to the drive unit 13 and the signal processing unit 16 to high level, for example, for a predetermined period.
  • the detection signal is assumed to be a 1-bit signal indicating the detection result of the on-event.
  • the driving section 13 lowers the transfer signal EVS, the transfer signal TG1, the transfer signal TG2, the transfer signal TG3, and the transfer signal TG4 to low level.
  • the switching transistor 253 is turned off, and each transfer transistor 252 is turned off.
  • the supply of photocurrent from each light receiving section 61 to the event detection section 63 is stopped, and the supply of an electric signal from each light receiving section 61 to the event detection section 63 is disabled.
  • auto zero is executed in the AZ phase (AZ).
  • AZ AZ phase
  • the differential signal Vout indicating the amount of change in the amount of light is initialized according to the auto-zero signal XAZ.
  • the driving section 13 raises the reset signal RST applied to the gate of the reset transistor 212 to high level. As a result, the reset transistor 212 is turned on.
  • the driving section 13 raises the transfer signal TG1 applied to the gate of the switching transistor 253 to a high level for a certain pulse period. As a result, the switching transistor 253 corresponding to the transfer signal TG1 is turned on, and the photoelectric conversion element 251 connected to the switching transistor 253 is initialized (charge is released).
  • the driving unit 13 sequentially raises the transfer signal TG2, the transfer signal TG3, and the transfer signal TG4 to a high level to initialize the photoelectric conversion element 251.
  • the driving unit 13 raises the selection signal SEL applied to the gate of the selection transistor 214 to high level during the RD (read) period. As a result, the select transistor 214 is turned on. After that, in the RD period, the driving section 13 raises the transfer signal TG1 applied to the gate of the switching transistor 253 to high level for a certain pulse period. As a result, the switching transistor 253 corresponding to the transfer signal TG1 is turned on, and charges are transferred from the photoelectric conversion element 251 connected to the switching transistor 253 to the floating diffusion layer 211 . A voltage corresponding to the charge accumulated in the floating diffusion layer 211 appears on the vertical signal line VSL.
  • the voltage appearing on the vertical signal line VSL is read by the column processing section 15 as a pixel signal of the signal level of the light receiving section 61 and converted into a digital value.
  • the driving unit 13 sequentially raises the transfer signal TG2, the transfer signal TG3, and the transfer signal TG4 to a high level, and reads out charges from the photoelectric conversion element 251.
  • the driving unit 13 shifts from the imaging phase to the detection phase, and repeats the processes related to the detection phase and the imaging phase described above.
  • read is performed only from event occurrence pixels.
  • the vertical axis is address (V address)
  • the horizontal axis is time (Time)
  • "1" indicates that an event has been detected
  • “0” indicates that "no event has been detected.” Since reading is performed only when it is "1", the entire read time can be shortened. It is also possible to bring forward the blank time and extend the blank time.
  • the individual transfer signals TG1, TG2, TG3, and TG4 of the transfer transistors 252 are raised to a high level at the same time, and the individual Although the example of superimposing the photocurrent based on the charge generated in the photoelectric conversion element 251 is illustrated, the present invention is not limited to this.
  • the transfer signal TG1, the transfer signal TG2, the transfer signal TG3, and the transfer signal TG4 of each transfer transistor 252 are sequentially raised to a high level, and each photoelectric conversion element 251 of each light receiving section 61 is turned on.
  • the photocurrent based on the charge generated in 1 may be used without being superimposed.
  • the firing of an event is detected for each pixel block 51, and the pixel signals SIG are read out from all the light receiving units 61 belonging to the pixel block 51 in which the firing of the event has been detected.
  • the imaging device 200 outputs the pixel signal SIG from each light receiving section 61 included in the pixel block 51 in which the firing of the event is detected to the column processing section 15 .
  • the power consumption of the image sensor 200 and the amount of image processing can be reduced compared to the case where the pixel signals SIG are read out from all the unit pixels regardless of whether an event is fired or not.
  • the switching element (for example, the switching transistor 253) provides the first electrical path for supplying electric charge from the light receiving section 61 to the event detecting section 63, and the electric charge from the light receiving section 61 to It switches to the second electrical path that supplies charges to the pixel signal generation section 62 .
  • This makes it possible to switch between the first electrical path and the second electrical path with a single switching element, eliminating the need to mount two transfer gates for one photoelectric conversion element 251 .
  • the area of the photoelectric conversion element 251 is increased, and the light utilization efficiency is improved, so that deterioration of pixel characteristics such as deterioration of image quality and erroneous event detection at low illuminance can be suppressed. Moreover, even if the miniaturization progresses, it is possible to suppress the deterioration of the pixel characteristics by suppressing the deterioration of the pixel sensitivity.
  • a predetermined number of light receiving units 61 constitute a pixel block 51 , and the event detection unit 63 and the pixel signal generation unit 62 may be provided for each pixel block 51 . This makes it possible to simplify the configuration of the imaging element 200 compared to the case where the event detection section 63 and the pixel signal generation section 62 are provided for each light receiving section 61 (pixel 11).
  • a predetermined number of light-receiving units 61 constitute a pixel block 51, and an event detection unit 63 adds charges individually obtained from a predetermined number of light-receiving units 61 in the pixel block 51, and adds An event detection signal may be generated based on. This makes it possible to simplify the processing.
  • the pixel signal generation unit 62 may generate the pixel signal based on the charges supplied from the light receiving unit 61 used for generating the event detection signal. good. As a result, the power consumption of the image sensor 200 and the amount of image processing can be reduced compared to the case where pixel signals are generated from all the light receiving units 61 (pixels 11) regardless of whether event signals are generated. .
  • FIG. 13 is a diagram showing an example of a schematic configuration of the pixel circuit 301 according to this embodiment. The following description will focus on the differences from the first embodiment, and other descriptions will be omitted.
  • the switching transistor 253 is connected in series with the reset transistor 212 .
  • the switching transistor 253 is connected in parallel with the reset transistor 212 .
  • the photoelectric conversion element 251 is always in a state of excess capacitance, resulting in low conversion efficiency.
  • a serial structure as shown in FIG. 13 is suitable for a use case in which the conversion efficiency is desired to be improved, although there is no problem during normal driving.
  • the same effects as those of the first embodiment can be obtained. That is, deterioration of pixel characteristics can be suppressed. Also, the switching element (eg, switching transistor 253) is connected in series with the reset element (eg, reset transistor 212). As a result, the conversion efficiency can be increased, and thus the pixel characteristics can be improved.
  • the switching element eg, switching transistor 253
  • the reset element eg, reset transistor 2112.
  • FIG. 14 is a diagram showing an example of a schematic configuration of the pixel circuit 301 according to this embodiment. The following description will focus on the differences from the first embodiment, and other descriptions will be omitted.
  • the reset transistor 212 is provided in the detection chip 202. As shown in FIG. As a result, the number of transistors mounted on the light-receiving chip 201 is reduced, and the area (volume) of the photoelectric conversion element 251 is increased, so that the light utilization efficiency (for example, light-receiving efficiency) can be increased.
  • the source of the reset transistor 212 is connected to the gate of the N-type transistor 312, and the drain is connected to the power supply terminal. By connecting the drain of the reset transistor 212 to the power supply terminal, the photoelectric conversion element 251 can be reset without any problem in driving.
  • ⁇ 3-2. Effect> As described above, according to the third embodiment, the same effects as those of the first embodiment can be obtained. That is, deterioration of pixel characteristics can be suppressed. Also, a reset element (eg, reset transistor 212) is provided on the second substrate (eg, sensing chip 202). As a result, the number of elements on the first substrate (for example, the light receiving chip 201) is reduced, and the light utilization efficiency can be increased, so that the pixel characteristics can be improved.
  • a reset element eg, reset transistor 212
  • the number of elements on the first substrate for example, the light receiving chip 201 is reduced, and the light utilization efficiency can be increased, so that the pixel characteristics can be improved.
  • FIG. 15 is a diagram showing an example of a schematic configuration of the pixel circuit 301 according to this embodiment. The following description will focus on differences from the third embodiment, and other descriptions will be omitted.
  • the switching transistor 253 is provided in the detection chip 202. As a result, the number of transistors mounted on the light-receiving chip 201 is reduced, and the area (volume) of the photoelectric conversion element 251 is increased, so that the light utilization efficiency (for example, light-receiving efficiency) can be increased.
  • the switching transistor 253 has a source connected to the gate of the N-type transistor 312 and a drain connected to the ground terminal.
  • the event detection unit 63 detects the photoelectric current ( The difference signal can be read out by extracting a constant amount of the photocurrent with the reset transistor 212 . Therefore, if the reset transistor 212 can be turned off, the pixel signal generation unit 62 can read out even if the switching transistor 253 is not directly below the photoelectric conversion element 251 .
  • the selection transistor 214 of the pixel signal generation unit 62 is turned off, and when performing readout for imaging, the switching transistor 253 is turned off, and the reset transistor 212 is turned off, the event detection unit 63 reads out the current without drawing out the current.
  • ⁇ 4-2. Effect> As described above, according to the fourth embodiment, the same effects as those of the third embodiment can be obtained. That is, deterioration of pixel characteristics can be suppressed, and pixel characteristics can be improved. Further, a switching element (eg, switching transistor 253) is provided on the second substrate (eg, detection chip 202) in addition to a reset element (eg, reset transistor 212). As a result, the number of elements on the first substrate (for example, the light receiving chip 201) is reduced, and the light utilization efficiency can be improved, so that the pixel characteristics can be further improved.
  • a switching element eg, switching transistor 253
  • a reset element eg, reset transistor 212
  • FIG. 16 is a diagram showing an example of a schematic configuration of the pixel circuit 301 according to this embodiment. The following description will focus on differences from the fourth embodiment, and other descriptions will be omitted.
  • the N-type transistor 312 and the N-type transistor 315 are provided in the detection chip 202 . Therefore, the event detector 63 is provided in the detection chip 202 . Also, the light receiving chip 201 and the detection chip 202 are bonded by Cu--Cu bonding (CCC). The position of the Cu—Cu junction is not the node of the P-type transistor 314 according to the fourth embodiment, but the terminal of the photoelectric conversion element 251 , more specifically, the terminal of the transfer transistor 252 connected to the photoelectric conversion element 251 .
  • the N-type transistor 312 and the N-type transistor 315 are provided in the detection chip 202 as described above. This makes it possible to put all the transistors involved in the event detector 63 in the detection chip 202 . Therefore, since the number of transistors mounted on the light receiving chip 201 is reduced, the area (volume) of the photoelectric conversion element 251 is increased, so that the light utilization efficiency (for example, light receiving efficiency) can be increased.
  • the same effects as those of the fourth embodiment can be obtained. That is, deterioration of pixel characteristics can be suppressed, and pixel characteristics can be improved. Furthermore, the event detector 63 is provided on the second substrate (eg, the detection chip 202). As a result, the number of elements on the first substrate (for example, the light receiving chip 201) is reduced, and the light utilization efficiency can be increased, so that the pixel characteristics can be improved.
  • FIG. 17 is a diagram showing an example of a schematic configuration of the pixel 11 according to this embodiment. The following description will focus on differences from the first embodiment (see FIG. 8), and other descriptions will be omitted.
  • a pixel block 51 including a predetermined number (for example, four) of pixels 11 is partitioned by a pixel block separator 221.
  • the pixel block separating portion 221 is formed to have a lattice shape when viewed from a light incident surface (light receiving surface) on which light is incident.
  • the pixel block separating section 221 functions as a penetrating barrier that separates the pixel blocks 51 and reflects light.
  • the floating diffusion layer 211 is common to the four pixels 11 .
  • the pixel block separating section 221 is, for example, a barrier having a length equal to or longer than the length in the height direction of the photoelectric conversion element 251 (see FIG. 19).
  • the imaging device 200 since NIR (near-infrared) light is often used, a physical penetrating barrier is normally formed between the pixels 11, but a penetrating barrier is formed for each pixel 11. As a result, the area of the photoelectric conversion element 251 is reduced, resulting in a structure with low light utilization efficiency. Therefore, in the present embodiment, the use area of the photoelectric conversion element 251 is further secured in consideration of the formation structure of the pixel barrier. In the pixel block 51 (shared pixels), it is assumed that the event signals of the light receiving units 61 are added and read out, so that NIR color mixture in the shared pixels is not a concern.
  • the process difficulty due to miniaturization does not increase, and a space for placing a transistor between the pixels 11 in the shared pixel can be secured.
  • the floating diffusion layer 211 can be shared, and the area of the photoelectric conversion element 251 can be secured.
  • the same effects as those of the first embodiment can be obtained. That is, deterioration of pixel characteristics can be suppressed. Furthermore, the pixel block 51 including each pixel 11 (each light receiving portion 61) is partitioned by the pixel block separating portion 221, and the floating diffusion layer 211 is common to a predetermined number (for example, four) of the pixels 11. becomes. This makes it possible to suppress light color mixing (for example, NIR visible light color mixing) between the pixel blocks 51 and improve the efficiency of light utilization, thereby improving the pixel characteristics.
  • light color mixing for example, NIR visible light color mixing
  • the pixel block separation section 221 may be a barrier having a length equal to or greater than the length of the photoelectric conversion element 251 in the height direction. As a result, it is possible to reliably suppress light color mixing (for example, NIR visible light color mixing) between the pixel blocks 51, so that pixel characteristics can be further improved.
  • light color mixing for example, NIR visible light color mixing
  • FIG. 18 and 19 are diagrams each showing an example of a schematic configuration of the pixel 11 according to this embodiment. 19 is a cross-sectional view along line B1-B1 of FIG. The following description will focus on differences from the sixth embodiment (see FIG. 17), and other descriptions will be omitted.
  • a predetermined number (for example, four) of pixels 11 in the pixel block 51 are partitioned by non-penetrating pixel separators 222 .
  • the pixel separating portion 222 is formed in a lattice shape when viewed from a light incident surface (light receiving surface) on which light is incident.
  • the pixel separation section 222 functions as a non-penetrating barrier that separates each pixel 11 and reflects light.
  • the pixel separation section 222 is, for example, a barrier having a length shorter than the length of the photoelectric conversion element 251 in the height direction.
  • the length of the pixel separation section 222 (length in the vertical direction in FIG. 19) is, for example, about half the length of the pixel block separation section 221 (eg, 6 ⁇ m).
  • the color filter 21, the light receiving lens 22, and the wiring layer 23 are shown in the example of FIG.
  • One color filter 21 , light receiving lens 22 , and photoelectric conversion element 251 are provided for each pixel 11 .
  • the wiring layer 23 is common to all pixels 11 .
  • the pixel separating portion 222 is formed as a non-penetrating barrier in order to suppress color mixture of the imaging pixels.
  • the imaging device 200 is a sensor for NIR light, and considering the penetration depth of visible light, it is assumed that no penetration barrier is necessary.
  • the floating diffusion layer 211 can be shared between the pixels 11 by the pixel separation portion 222 that serves as a non-penetrating barrier, and the area of the photoelectric conversion element 251 can be secured.
  • each pixel 11 (each light receiving section 61) in the pixel block 51 is partitioned by a pixel separation section 222, respectively. As a result, it is possible to suppress light color mixture (for example, visible light color mixture) between the pixels 11 in the pixel block 51, so that pixel characteristics can be further improved.
  • light color mixture for example, visible light color mixture
  • the pixel separation section 222 may be a barrier having a length shorter than the length of the photoelectric conversion element 251 in the height direction. As a result, it is possible to reliably suppress light color mixture (for example, visible light color mixture) between the pixel blocks 51, so that pixel characteristics can be further improved.
  • light color mixture for example, visible light color mixture
  • FIG. 20 is a diagram showing an example of a schematic configuration of the pixel 11 according to this embodiment. The following description will focus on differences from the seventh embodiment (see FIG. 18), and other descriptions will be omitted.
  • an overflow drain layer 231 is formed in the center of the pixel block 51 (plan view in FIG. 20).
  • a transfer transistor 232 is provided for each pixel 11 around the overflow drain layer 231 .
  • Transfer transistor 232 functions as an overflow gate. Note that the floating diffusion layer 211 and the transfer transistor 252 are also provided for each pixel 11, and are arranged at positions different from the positions where the overflow drain layer 231 and the transfer transistor 232 are provided.
  • the overflow drain function is installed in the pixel block 51, the area (volume) of the photoelectric conversion element 251 can be efficiently used.
  • the overflow drain function is a function of suppressing blooming, for example, by flowing excessive charges generated by strong incident light into the overflow drain layer 231 .
  • each pixel 11 (each light receiving section 61) in the pixel block 51 shares the overflow drain layer 231. As shown in FIG. As a result, it is possible to improve the efficiency of light utilization, so that the pixel characteristics can be further improved.
  • each component of each device illustrated is functionally conceptual and does not necessarily need to be physically configured as illustrated.
  • the specific form of distribution and integration of each device is not limited to the one shown in the figure, and all or part of them can be functionally or physically distributed and integrated in arbitrary units according to various loads and usage conditions. Can be integrated and configured.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure can be applied to any type of movement such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, robots, construction machinery, agricultural machinery (tractors), etc. It may also be implemented as a body-mounted device.
  • FIG. 21 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • Vehicle control system 7000 comprises a plurality of electronic control units connected via communication network 7010 .
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside information detection unit 7400, an inside information detection unit 7500, and an integrated control unit 7600.
  • the communication network 7010 that connects these multiple control units conforms to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used in various calculations, and a drive circuit that drives various devices to be controlled. Prepare.
  • Each control unit has a network I/F for communicating with other control units via a communication network 7010, and communicates with devices or sensors inside and outside the vehicle by wired communication or wireless communication. A communication I/F for communication is provided. In FIG.
  • the functional configuration of the integrated control unit 7600 includes a microcomputer 7610, a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle equipment I/F 7660, an audio image output unit 7670, An in-vehicle network I/F 7680 and a storage unit 7690 are shown.
  • Other control units are similarly provided with microcomputers, communication I/Fs, storage units, and the like.
  • the drive system control unit 7100 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the driving system control unit 7100 includes a driving force generator for generating driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism to adjust and a brake device to generate braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection section 7110 is connected to the drive system control unit 7100 .
  • the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the axial rotational motion of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an accelerator pedal operation amount, a brake pedal operation amount, and a steering wheel steering. At least one of sensors for detecting angle, engine speed or wheel rotation speed is included.
  • Drive system control unit 7100 performs arithmetic processing using signals input from vehicle state detection unit 7110, and controls the internal combustion engine, drive motor, electric power steering device, brake device, and the like.
  • the body system control unit 7200 controls the operation of various devices equipped on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, winkers or fog lamps.
  • body system control unit 7200 can receive radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • Body system control unit 7200 receives the input of these radio waves or signals and controls the door lock device, power window device, lamps, etc. of the vehicle.
  • the battery control unit 7300 controls the secondary battery 7310, which is the power supply source for the driving motor, according to various programs. For example, the battery control unit 7300 receives information such as battery temperature, battery output voltage, or remaining battery capacity from a battery device including a secondary battery 7310 . The battery control unit 7300 performs arithmetic processing using these signals, and performs temperature adjustment control of the secondary battery 7310 or control of a cooling device provided in the battery device.
  • the vehicle exterior information detection unit 7400 detects information outside the vehicle in which the vehicle control system 7000 is installed.
  • the imaging section 7410 and the vehicle exterior information detection section 7420 is connected to the vehicle exterior information detection unit 7400 .
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the vehicle exterior information detection unit 7420 includes, for example, an environment sensor for detecting the current weather or weather, or a sensor for detecting other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. ambient information detection sensor.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects the degree of sunshine, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • LIDAR Light Detection and Ranging, Laser Imaging Detection and Ranging
  • These imaging unit 7410 and vehicle exterior information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 22 shows an example of the installation positions of the imaging unit 7410 and the vehicle exterior information detection unit 7420.
  • the imaging units 7910 , 7912 , 7914 , 7916 , and 7918 are provided, for example, at least one of the front nose, side mirrors, rear bumper, back door, and windshield of the vehicle 7900 .
  • An image pickup unit 7910 provided in the front nose and an image pickup unit 7918 provided above the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900 .
  • Imaging units 7912 and 7914 provided in the side mirrors mainly acquire side images of the vehicle 7900 .
  • An imaging unit 7916 provided in the rear bumper or back door mainly acquires an image behind the vehicle 7900 .
  • An imaging unit 7918 provided above the windshield in the passenger compartment is mainly used for detecting preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
  • FIG. 22 shows an example of the imaging range of each of the imaging units 7910, 7912, 7914, and 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided in the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided in the side mirrors, respectively
  • the imaging range d is The imaging range of an imaging unit 7916 provided on the rear bumper or back door is shown. For example, by superimposing the image data captured by the imaging units 7910, 7912, 7914, and 7916, a bird's-eye view image of the vehicle 7900 viewed from above can be obtained.
  • the vehicle exterior information detectors 7920, 7922, 7924, 7926, 7928, and 7930 provided on the front, rear, sides, corners, and above the windshield of the vehicle interior of the vehicle 7900 may be, for example, ultrasonic sensors or radar devices.
  • the exterior information detectors 7920, 7926, and 7930 provided above the front nose, rear bumper, back door, and windshield of the vehicle 7900 may be LIDAR devices, for example.
  • These vehicle exterior information detection units 7920 to 7930 are mainly used to detect preceding vehicles, pedestrians, obstacles, and the like.
  • the vehicle exterior information detection unit 7400 causes the imaging section 7410 to capture an image of the exterior of the vehicle, and receives the captured image data.
  • the vehicle exterior information detection unit 7400 also receives detection information from the vehicle exterior information detection unit 7420 connected thereto.
  • the vehicle exterior information detection unit 7420 is an ultrasonic sensor, radar device, or LIDAR device
  • the vehicle exterior information detection unit 7400 emits ultrasonic waves, electromagnetic waves, or the like, and receives reflected wave information.
  • the vehicle exterior information detection unit 7400 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received information.
  • the vehicle exterior information detection unit 7400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions, etc., based on the received information.
  • the vehicle exterior information detection unit 7400 may calculate the distance to the vehicle exterior object based on the received information.
  • the vehicle exterior information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing people, vehicles, obstacles, signs, characters on the road surface, etc., based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and synthesizes image data captured by different imaging units 7410 to generate a bird's-eye view image or a panoramic image. good too.
  • the vehicle exterior information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410 .
  • the in-vehicle information detection unit 7500 detects in-vehicle information.
  • the in-vehicle information detection unit 7500 is connected to, for example, a driver state detection section 7510 that detects the state of the driver.
  • the driver state detection unit 7510 may include a camera that captures an image of the driver, a biosensor that detects the biometric information of the driver, a microphone that collects sounds in the vehicle interior, or the like.
  • a biosensor is provided, for example, on a seat surface, a steering wheel, or the like, and detects biometric information of a passenger sitting on a seat or a driver holding a steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and determine whether the driver is dozing off. You may The in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected sound signal.
  • the integrated control unit 7600 controls overall operations within the vehicle control system 7000 according to various programs.
  • An input section 7800 is connected to the integrated control unit 7600 .
  • the input unit 7800 is realized by a device that can be input-operated by the passenger, such as a touch panel, button, microphone, switch or lever.
  • the integrated control unit 7600 may be input with data obtained by recognizing voice input by a microphone.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or may be an externally connected device such as a mobile phone or PDA (Personal Digital Assistant) corresponding to the operation of the vehicle control system 7000.
  • PDA Personal Digital Assistant
  • the input unit 7800 may be, for example, a camera, in which case the passenger can input information through gestures.
  • the input section 7800 may include an input control circuit that generates an input signal based on information input by the passenger or the like using the input section 7800 and outputs the signal to the integrated control unit 7600, for example.
  • a passenger or the like operates the input unit 7800 to input various data to the vehicle control system 7000 and instruct processing operations.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, and the like. Also, the storage unit 7690 may be realized by a magnetic storage device such as a HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the storage unit 7690 may be realized by a magnetic storage device such as a HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the general-purpose communication I/F 7620 is a general-purpose communication I/F that mediates communication between various devices existing in the external environment 7750.
  • General-purpose communication I/F 7620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX (registered trademark), LTE (registered trademark) (Long Term Evolution) or LTE-A (LTE-Advanced) , or other wireless communication protocols such as wireless LAN (also referred to as Wi-Fi®), Bluetooth®, and the like.
  • General-purpose communication I / F 7620 for example, via a base station or access point, external network (e.g., Internet, cloud network or operator-specific network) equipment (e.g., application server or control server) connected to You may
  • external network e.g., Internet, cloud network or operator-specific network
  • equipment e.g., application server or control server
  • the general-purpose communication I/F 7620 uses, for example, P2P (Peer To Peer) technology to connect terminals (for example, terminals of drivers, pedestrians, stores, or MTC (Machine Type Communication) terminals) near the vehicle. may be connected with P2P (Peer To Peer) technology to connect terminals (for example, terminals of drivers, pedestrians, stores, or MTC (Machine Type Communication) terminals) near the vehicle.
  • P2P Peer To Peer
  • MTC Machine Type Communication
  • the dedicated communication I/F 7630 is a communication I/F that supports a communication protocol designed for use in vehicles.
  • the dedicated communication I/F 7630 uses standard protocols such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), which is a combination of lower layer IEEE 802.11p and higher layer IEEE 1609, or cellular communication protocol. May be implemented.
  • the dedicated communication I/F 7630 is typically used for vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication. ) perform V2X communication, which is a concept involving one or more of the communications.
  • the positioning unit 7640 receives GNSS signals from GNSS (Global Navigation Satellite System) satellites (for example, GPS signals from GPS (Global Positioning System) satellites), performs positioning, and obtains the latitude, longitude, and altitude of the vehicle. Generate location information containing Note that the positioning unit 7640 may specify the current position by exchanging signals with a wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smart phone having a positioning function.
  • GNSS Global Navigation Satellite System
  • GPS Global Positioning System
  • the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from wireless stations installed on the road, and acquires information such as the current position, traffic jams, road closures, or required time. Note that the function of the beacon reception unit 7650 may be included in the dedicated communication I/F 7630 described above.
  • the in-vehicle device I/F 7660 is a communication interface that mediates connections between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I/F 7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I/F 7660 is connected via a connection terminal (and cable if necessary) not shown, USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface, or MHL (Mobile High -definition Link), etc.
  • In-vehicle equipment 7760 includes, for example, at least one of mobile equipment or wearable equipment possessed by passengers, or information equipment carried in or attached to the vehicle. In-vehicle equipment 7760 may also include a navigation device that searches for a route to an arbitrary destination. or exchange data signals.
  • the in-vehicle network I/F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010. In-vehicle network I/F 7680 transmits and receives signals and the like according to a predetermined protocol supported by communication network 7010 .
  • the microcomputer 7610 of the integrated control unit 7600 uses at least one of a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I/F 7660, and an in-vehicle network I/F 7680.
  • the vehicle control system 7000 is controlled according to various programs on the basis of the information acquired by. For example, the microcomputer 7610 calculates control target values for the driving force generator, steering mechanism, or braking device based on acquired information on the inside and outside of the vehicle, and outputs a control command to the drive system control unit 7100. good too.
  • the microcomputer 7610 realizes the functions of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, or vehicle lane deviation warning. Cooperative control may be performed for the purpose of In addition, the microcomputer 7610 controls the driving force generator, the steering mechanism, the braking device, etc. based on the acquired information about the surroundings of the vehicle, thereby autonomously traveling without depending on the operation of the driver. Cooperative control may be performed for the purpose of driving or the like.
  • ADAS Advanced Driver Assistance System
  • Microcomputer 7610 receives information obtained through at least one of general-purpose communication I/F 7620, dedicated communication I/F 7630, positioning unit 7640, beacon receiving unit 7650, in-vehicle device I/F 7660, and in-vehicle network I/F 7680. Based on this, three-dimensional distance information between the vehicle and surrounding objects such as structures and people may be generated, and local map information including the surrounding information of the current position of the vehicle may be created. Further, based on the acquired information, the microcomputer 7610 may predict dangers such as vehicle collisions, pedestrians approaching or entering closed roads, and generate warning signals.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio/image output unit 7670 transmits at least one of audio and/or image output signals to an output device capable of visually or audibly notifying the passengers of the vehicle or the outside of the vehicle.
  • an audio speaker 7710, a display section 7720, and an instrument panel 7730 are illustrated as output devices.
  • Display 7720 may include, for example, at least one of an on-board display and a head-up display.
  • the display unit 7720 may have an AR (Augmented Reality) display function.
  • the output device may be headphones, a wearable device such as an eyeglass-type display worn by a passenger, or other devices such as a projector or a lamp.
  • the display device displays the results obtained by various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, and graphs. Display visually.
  • the voice output device converts an audio signal including reproduced voice data or acoustic data into an analog signal and outputs the analog signal audibly.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • an individual control unit may be composed of multiple control units.
  • vehicle control system 7000 may comprise other control units not shown.
  • some or all of the functions that any control unit has may be provided to another control unit. In other words, as long as information is transmitted and received via the communication network 7010, the predetermined arithmetic processing may be performed by any one of the control units.
  • sensors or devices connected to any control unit may be connected to other control units, and multiple control units may send and receive detection information to and from each other via communication network 7010. .
  • a computer program for realizing each function of the imaging device 100 described in each embodiment can be installed in any control unit or the like. It is also possible to provide a computer-readable recording medium storing such a computer program.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed, for example, via a network without using a recording medium.
  • the imaging device 100 described in each embodiment can be applied to the integrated control unit 7600 of the application example shown in FIG.
  • the control unit 130 and the recording unit (storage unit) 120 of the imaging device 100 may be realized by the microcomputer 7610 and the storage unit 7690 of the integrated control unit 7600 .
  • the imaging device 100 described in each embodiment includes the imaging unit 7410 and the vehicle exterior information detection unit 7420 of the application example shown in FIG. , 7918, vehicle exterior information detection units 7920 to 7930, and the like. By using the imaging device 100 described in each embodiment, deterioration of pixel characteristics can be suppressed also in the vehicle control system 7000 .
  • the components of the imaging device 100 described in each embodiment are modules (for example, composed of one die) for the integrated control unit 7600 of the application example shown in FIG. integrated circuit module).
  • part of the imaging device 100 described in each embodiment may be realized by a plurality of control units of the vehicle control system 7000 shown in FIG.
  • the present technology can also take the following configuration.
  • the imaging device (2) further comprising a floating diffusion layer for accumulating the charge supplied from the photoelectric conversion element;
  • the pixel signal generation unit has a reset element for initializing the charge accumulated in the floating diffusion layer, the switching element is connected in series with the reset element;
  • the imaging device according to (1) above.
  • the pixel signal generation unit has a reset element for initializing the charge accumulated in the floating diffusion layer,
  • the light receiving unit and the switching element are provided on a first substrate,
  • the reset element is provided on a second substrate laminated on the first substrate,
  • the imaging device according to (1) above.
  • (4) The light receiving unit and the switching element are provided on different substrates, The imaging device according to any one of (1) to (3) above.
  • the light receiving unit is provided on a first substrate, The switching element is provided on a second substrate laminated on the first substrate, The imaging device according to (4) above. (6) further comprising a floating diffusion layer for accumulating the charge supplied from the photoelectric conversion element; The pixel signal generation unit has a reset element for initializing the charge accumulated in the floating diffusion layer, The reset element is provided on the second substrate, The imaging device according to (5) above. (7) The event detection unit is provided on the second substrate, The imaging device according to (5) above. (8) A predetermined number of the light-receiving units constitute a pixel block, further comprising a pixel block separator that separates the pixel blocks and reflects light; The imaging device according to any one of (1) to (7) above.
  • the pixel block separation section is a barrier having a length equal to or greater than the length in the height direction of the photoelectric conversion element.
  • the imaging device according to (8) above. A predetermined number of the light-receiving units constitute a pixel block, further comprising a pixel separating unit that separates a predetermined number of the light receiving units in the pixel block and reflects light; The imaging device according to any one of (1) to (7) above.
  • the pixel separation section is a barrier having a length shorter than the length in the height direction of the photoelectric conversion element, The imaging device according to (10) above.
  • a predetermined number of the light-receiving units constitute a pixel block, a pixel block separator that separates the pixel blocks and reflects light; a pixel separating unit that separates a predetermined number of the light receiving units in the pixel block and reflects light; further comprising The imaging device according to any one of (1) to (7) above.
  • the pixel block separation section is a barrier having a length equal to or greater than the length in the height direction of the photoelectric conversion element.
  • the pixel separation section is a barrier having a length shorter than the length in the height direction of the photoelectric conversion element,
  • a predetermined number of the light-receiving units constitute a pixel block, further comprising an overflow drain layer for a predetermined number of the light receiving units in the pixel block;
  • a predetermined number of the light-receiving units constitute a pixel block, The event detection unit and the pixel signal generation unit are provided for each pixel block, The imaging device according to any one of (1) to (15) above.
  • a predetermined number of the light-receiving units constitute a pixel block
  • the event detection unit adds the charges individually obtained from a predetermined number of the light receiving units in the pixel block, and generates the event detection signal based on the added charges.
  • the imaging device according to any one of (1) to (16) above.
  • the pixel signal generation unit When the event detection signal is generated by the event detection unit, the pixel signal generation unit generates the pixel signal based on the charge supplied from the light receiving unit.
  • the imaging device according to any one of (1) to (17) above.
  • an imaging lens an imaging device; with The imaging element is a light receiving portion having a photoelectric conversion element that generates electric charges; an event detection unit that generates an event detection signal based on the charge supplied from the light receiving unit; a pixel signal generation unit that generates a pixel signal based on the charge supplied from the light receiving unit; a switching element for switching between a first electrical path for supplying the charge from the light receiving section to the event detection section and a second electrical path for supplying the charge from the light receiving section to the pixel signal generation section;
  • An imaging device having (20) a first electrical path in which a switching element supplies the charge from a light receiving section having a photoelectric conversion element that generates charge to an event detection section that generates an event detection signal based on the charge; switching between a second electrical path for supplying the charge to a pixel signal generation unit that generates a pixel signal based on the charge;
  • a control method for an imaging device comprising: (21) An imaging device comprising the imaging device according to any one of (1) to (18) above

Abstract

本開示に係る一形態の撮像素子は、電荷を生成する光電変換素子を有する受光部（６１）と、前記受光部（６１）から供給される前記電荷に基づいてイベント検出信号を生成するイベント検出部（６３）と、前記受光部（６１）から供給される前記電荷に基づいて画素信号を生成する画素信号生成部（６２）と、前記受光部（６１）から前記イベント検出部（６３）に前記電荷を供給する第１の電気経路と、前記受光部（６１）から前記画素信号生成部（６２）に前記電荷を供給する第２の電気経路とを切り替える単一の切替素子の一例である切替トランジスタ（２５３）と、を備える。

Description

撮像素子、撮像装置及び撮像素子の制御方法
　本開示は、撮像素子、撮像装置及び撮像素子の制御方法に関する。
　近年、画素の光量が閾値を超えた旨をイベントとしてリアルタイムに検出するイベント検出回路を有する非同期型の撮像素子（固体撮像素子）が提案されている。例えば、信号差分によりイベント検出を行う非同期型の撮像素子では、イベント検出を行い、イベントが起きている信号情報のみを更新することで、低消費電力化や高速センシングを可能としている。このようなイベント検出に加え、撮像を行うことが可能な撮像素子が提案されている（例えば、特許文献１参照）。
特開２０２０－５７９４９号公報
　しかしながら、前述のように、イベント検出と撮像の両方を行うことが可能な撮像素子では、イベント検出と撮像の両方を行うため、一つのフォトダイオード（ＰＤ）に対し、二つの転送ゲートが搭載されている。このため、フォトダイオードの面積が狭くなり、光の利用効率が低下するため、画質の悪化や低照度時のイベント誤検出等の画素特性が悪化する。また、微細化のニーズは高く、さらなる微細化が進むと、画素感度が低下するため、画素特性がさらに悪化する可能性がある。
　そこで、本開示では、画素特性の悪化を抑えることが可能な撮像素子、撮像装置及び撮像素子の制御方法を提案する。
　本開示の実施形態に係る撮像素子は、電荷を生成する光電変換素子を有する受光部と、前記受光部から供給される前記電荷に基づいてイベント検出信号を生成するイベント検出部と、前記受光部から供給される前記電荷に基づいて画素信号を生成する画素信号生成部と、前記受光部から前記イベント検出部に前記電荷を供給する第１の電気経路と、前記受光部から前記画素信号生成部に前記電荷を供給する第２の電気経路とを切り替える切替素子と、を備える。
　本開示の実施形態に係る撮像装置は、撮像レンズと、撮像素子と、を備え、前記撮像素子は、電荷を生成する光電変換素子を有する受光部と、前記受光部から供給される前記電荷に基づいてイベント検出信号を生成するイベント検出部と、前記受光部から供給される前記電荷に基づいて画素信号を生成する画素信号生成部と、前記受光部から前記イベント検出部に前記電荷を供給する第１の電気経路と、前記受光部から前記画素信号生成部に前記電荷を供給する第２の電気経路とを切り替える切替素子と、を有する。
　本開示の実施形態に係る撮像素子の制御方法は、切替素子が、電荷を生成する光電変換素子を有する受光部から、前記電荷に基づいてイベント検出信号を生成するイベント検出部に前記電荷を供給する第１の電気経路と、前記受光部から、前記電荷に基づいて画素信号を生成する画素信号生成部に前記電荷を供給する第２の電気経路とを切り替える、ことを含む。
第１の実施形態に係る撮像装置の概略構成の一例を示す図である。 第１の実施形態に係る撮像素子の積層構造の一例を示す図である。 第１の実施形態に係る撮像素子の概略構成の一例を示す図である。 第１の実施形態に係る画素ブロックの概略構成の一例を示す図である。 第１の実施形態に係るカラーフィルタ配列の概略構成の一例を示す図である。 第１の実施形態に係る画素回路の概略構成の一例を示す第１の図である。 第１の実施形態に係る画素回路の概略構成の一例を示す第２の図である。 第１の実施形態に係る画素の概略構成の一例を示す図である。 第１の実施形態に係る撮像素子の動作の概略構成の一例を示す第１の図である。 第１の実施形態に係る撮像素子の動作の概略構成の一例を示す第２の図である。 第１の実施形態に係る撮像素子の動作の概略構成の一例を示す第３の図である。 第１の実施形態に係る撮像素子の動作の概略構成の一例を示す第４の図である。 第２の実施形態に係る画素回路の概略構成の一例を示す図である。 第３の実施形態に係る画素回路の概略構成の一例を示す図である。 第４の実施形態に係る画素回路の概略構成の一例を示す図である。 第５の実施形態に係る画素回路の概略構成の一例を示す図である。 第６の実施形態に係る画素回路の概略構成の一例を示す図である。 第７の実施形態に係る画素の概略構成の一例を示す第１の図である。 第７の実施形態に係る画素の概略構成の一例を示す第２の図（図１８のＢ１－Ｂ１線断面図）である。 第７の実施形態に係る画素の概略構成の一例を示す図である。 車両制御システムの概略構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、この実施形態により本開示に係る素子、装置及び方法等が限定されるものではない。また、以下の各実施形態において、基本的に同一の部位には同一の符号を付することにより重複する説明を省略する。
　以下に説明される１又は複数の実施形態（実施例、変形例を含む）は、各々が独立に実施されることが可能である。一方で、以下に説明される複数の実施形態は少なくとも一部が他の実施形態の少なくとも一部と適宜組み合わせて実施されてもよい。これら複数の実施形態は、互いに異なる新規な特徴を含み得る。したがって、これら複数の実施形態は、互いに異なる目的又は課題を解決することに寄与し得、互いに異なる効果を奏し得る。
　以下に示す項目順序に従って本開示を説明する。
　１．第１の実施形態
　１－１．撮像装置の概略構成の一例
　１－２．撮像素子の概略構成の一例
　１－３．画素ブロックの概略構成の一例
　１－４．カラーフィルタ配列の概略構成の一例
　１－５．画素回路の概略構成の一例
　１－６．画素の概略構成の一例
　１－７．撮像素子の動作の一例
　１－８．効果
　２．第２の実施形態
　２－１．画素回路の概略構成の一例
　２－２．効果
　３．第３の実施形態
　３－１．画素回路の概略構成の一例
　３－２．効果
　４．第４の実施形態
　４－１．画素回路の概略構成の一例
　４－２．効果
　５．第５の実施形態
　５－１．画素回路の概略構成の一例
　５－２．効果
　６．第６の実施形態
　６－１．画素の概略構成の一例
　６－２．効果
　７．第７の実施形態
　７－１．画素の概略構成の一例
　７－２．効果
　８．第８の実施形態
　８－１．画素の概略構成の一例
　８－２．効果
　９．他の実施形態
　１０．応用例
　１１．付記
　＜１．第１の実施形態＞
　＜１－１．撮像装置の概略構成の一例＞
　本実施形態に係る撮像装置１００の概略構成の一例について図１を参照して説明する。図１は、本実施形態に係る撮像装置１００の概略構成の一例を示す図である。
　図１に示すように、撮像装置１００は、撮像レンズ１１０と、撮像素子（固体撮像素子）２００と、記録部１２０と、制御部１３０とを備える。撮像装置１００としては、例えば、ウェアラブルデバイスや産業用ロボット等に搭載されるカメラ、また、車等に搭載される車載カメラ等がある。
　撮像レンズ１１０は、入射光を集光して撮像素子２００に導くものである。例えば、撮像レンズ１１０は、被写体からの入射光を取り込んで撮像素子２００の撮像面（受光面）上に結像する。
　撮像素子２００は、入射光を光電変換してイベント（アドレスイベント）の有無を検出し、その検出結果を生成するものである。例えば、撮像素子２００は、複数の画素のそれぞれについて、輝度の変化量の絶対値が閾値を超えた旨をイベントとして検出する。この撮像素子２００は、ＥＶＳ（Event-based　Vision　Sensor）とも呼称される。
　ここで、例えば、イベントはオンイベント及びオフイベントを含み、検出結果は１ビットのオンイベントの検出結果と１ビットのオフイベントの検出結果とを含む。オンイベントは、例えば、入射光の光量の変化量（輝度の上昇量）が所定の上限閾値を超えた旨を意味する。一方、オフイベントは、例えば、入射光の光量の変化量（輝度の低下量）が所定の下限閾値（上限閾値未満の値）を下回った旨を意味する。
　例えば、撮像素子２００は、イベント（アドレスイベント）の検出結果を処理し、その処理結果を示すデータを記録部１２０に信号線２０９を介して出力する。例えば、撮像素子２００は、イベントの検出結果を示す検出信号（イベント検出信号）を画素ごとに生成する。それぞれの検出信号は、オンイベントの有無を示すオンイベント検出信号と、オフイベントの有無を示すオフイベント検出信号とを含む。なお、撮像素子２００は、オンイベント検出信号及びオフイベント検出信号の一方のみを検出してもよい。
　また、例えば、撮像素子２００は、検出信号からなる画像データに対し、画像認識処理などの所定の信号処理を実行し、その処理後のデータを記録部１２０に信号線２０９を介して出力する。
　記録部１２０は、撮像素子２００から入力されるデータを記録するものである。記録部１２０としては、例えば、フラッシュメモリやＤＲＡＭ（Dynamic　Random　Access　Memory）やＳＲＡＭ（Static　Random　Access　Memory）等のストレージが用いられる。
　制御部１３０は、信号線１３９を介して撮像素子２００に種々の指示を出力することで、撮像装置１００の各部を制御する。例えば、制御部１３０は、撮像素子２００を制御し、その撮像素子２００にイベント（アドレスイベント）の有無を検出させるものである。制御部１３０としては、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Control　Unit）等のコンピュータが用いられる。
　＜１－２．撮像素子の概略構成の一例＞
　本実施形態に係る撮像素子２００の概略構成の一例について図２及び図３を参照して説明する。図２は、本実施形態に係る撮像素子２００の積層構造の一例を示す図である。図３は、本実施形態に係る撮像素子２００の概略構成の一例を示す図である。
　図２に示すように、撮像素子２００は、受光チップ（受光基板）２０１と、検出チップ（検出基板）２０２とを備える。受光チップ２０１は、検出チップ２０２に積層される。この受光チップ２０１は第１のチップ（第１の基板）に相当し、検出チップ２０２は第２のチップ（第１の基板）に相当する。例えば、受光チップ２０１に受光素子（例えば、フォトダイオード等の光電変換素子）が配置され、検出チップ２０２に回路が配置される。受光チップ２０１及び検出チップ２０２は、ビアやＣｕ－Ｃｕ接合、バンプ等の接続部を介して電気的に接続される。
　図３に示すように、撮像素子２００は、画素アレイ部１２と、駆動部１３と、アービタ部（調停部）１４と、カラム処理部１５と、信号処理部１６とを備える。駆動部１３、アービタ部１４、カラム処理部１５及び信号処理部１６は、画素アレイ部１２の周辺回路部として設けられている。
　画素アレイ部１２は、複数の画素（単位画素）１１を有する。これらの画素１１はアレイ状、例えば、行列状に２次元配列されている。各画素１１の位置を示す画素アドレスは、画素１１の行列配置に基づいて行アドレス及び列アドレスで規定される。各画素１１のそれぞれは、光電変換によって生成される電気信号としての光電流に応じた電圧のアナログ信号を画素信号として生成する。また、各画素１１のそれぞれは、入射光の輝度に応じた光電流に、所定の閾値を超える変化が生じたか否かによって、イベントの有無を検出する。換言すれば、各画素１１のそれぞれは、輝度変化が所定の閾値を超えたことをイベントとして検出する。
　各画素１１のそれぞれは、イベントを検出した際に、イベントの発生を表すイベントデータの出力を要求するリクエストをアービタ部１４に出力する。そして、各画素１１のそれぞれは、イベントデータの出力の許可を表す応答をアービタ部１４から受け取った場合、駆動部１３及び信号処理部１６に対してイベントデータを出力する。また、イベントを検出した画素１１は、光電変換によって生成されるアナログの画素信号をカラム処理部１５に対して出力する。
　駆動部１３は、画素アレイ部１２の各画素１１を駆動する。例えば、駆動部１３は、イベントを検出し、イベントデータを出力した画素１１を駆動し、当該画素１１のアナログの画素信号を、カラム処理部１５へ出力させる。
　アービタ部１４は、複数の画素１１のそれぞれから供給されるイベントデータの出力を要求するリクエストを調停し、その調停結果（イベントデータの出力の許可／不許可）に基づく応答、及び、イベント検出をリセットするリセット信号を画素１１に送信する。
　カラム処理部１５は、画素アレイ部１２の画素列毎に、その列の画素１１から出力されるアナログの画素信号をデジタル信号に変換する処理を行う。例えば、カラム処理部１５は、デジタル化した画素信号に対して、ＣＤＳ（Correlated　Double　Sampling）処理を行うこともできる。このカラム処理部１５は、例えば、画素アレイ部１２の画素列毎に設けられたアナログ－デジタル変換器の集合から成るアナログ－デジタル変換部を有する。アナログ－デジタル変換器としては、例えば、シングルスロープ型のアナログ－デジタル変換器を例示することができる。
　信号処理部１６は、カラム処理部１５から供給されるデジタル化された画素信号や、画素アレイ部１２から出力されるイベントデータに対して所定の信号処理を実行し、信号処理後のイベントデータ及び画素信号を出力する。
　ここで、画素１１で生成される光電流の変化は、画素１１に入射する光の光量変化（輝度変化）として捉えられる。したがって、イベントの発生は、所定の閾値を超える画素１１の光量変化（輝度変化）であると言える。なお、イベントの発生を表すイベントデータには、例えば、イベントとしての光量変化が発生した画素１１の位置を表す座標等の位置情報が含まれる。イベントデータには、位置情報の他、光量変化の極性を含ませることも可能である。
　＜１－３．画素ブロックの概略構成の一例＞
　本実施形態に係る画素ブロック５１の概略構成の一例について図４を参照して説明する。図４は、本実施形態に係る画素ブロック５１の概略構成の一例を示す図である。
　図４に示すように、各画素１１は、複数の画素ブロック５１にグループ化されている。各画素ブロック５１は、例えば、Ｉ行×Ｊ列（Ｉ及びＪは正の整数である）に配列する画素により構成される。
　各画素ブロック５１のそれぞれは、複数の受光部６１と、画素信号生成部６２と、イベント検出部６３とを有する。受光部６１は、例えば、Ｉ行×Ｊ列に配列される。画素信号生成部６２及びイベント検出部６３は、画素ブロック５１内の各受光部６１によって共有される。なお、画素１１の座標は、例えば、二次元格子状に配列する各受光部６１の座標に従う。
　受光部６１は、入射光を光電変換して光電流を生成する。そして、受光部６１は、駆動部１３（図３参照）の制御に従って、画素信号生成部６２及びイベント検出部６３のいずれかに、入射光を光電変換して生成した光電流に応じた電圧の信号を供給する。
　画素信号生成部６２は、受光部６１から供給される光電流に応じた電圧の信号を、アナログの画素信号ＳＩＧとして生成する。そして、画素信号生成部６２は、生成したアナログの画素信号ＳＩＧを、画素アレイ部１２の画素列毎に配線された垂直信号線ＶＳＬを介してカラム処理部１５（図３参照）に供給する。
　イベント検出部６３は、同一の画素ブロック５１内の各受光部６１から供給された光電流の変化量が所定の閾値を超えたか否かにより、イベントの発生の有無を検出する。イベントは、例えば、光電流の変化量が上限の閾値を超えた旨を示すオンイベントと、その変化量が下限の閾値を下回った旨を示すオフイベントとを含む。また、イベントの発生を表すイベントデータは、例えば、オンイベントの検出結果を示す１ビット、及び、オフイベントの検出結果を示す１ビットから成る。なお、イベント検出部６３については、オンイベントのみを検出する構成とすることもできる。
　このイベント検出部６３は、イベントが発生した際に、イベントの発生を表すイベントデータの出力を要求するリクエストをアービタ部１４（図３参照）に出力する。そして、イベント検出部６３は、リクエストに対する応答をアービタ部１４から受け取った場合、駆動部１３及び信号処理部１６に対してイベントデータ（イベント検出信号）を出力する。
　例えば、駆動部１３は、出力されたイベントデータを受けると、イベントデータを出力したイベント検出部６３を備える画素ブロック５１に属する各受光部６１に対する読み出しを実行する。この読み出しにより、読み出し対象とされた画素ブロック５１に属する各受光部６１からカラム処理部１５（図３参照）へ、アナログの画素信号ＳＩＧが順次入力される。
　なお、画素信号生成部６２及びイベント検出部６３は、画素ブロック５１毎に設けられているが、これに限られるものではない。例えば、画素信号生成部６２及びイベント検出部６３の一方だけが、画素ブロック５１毎に設けられてよく、あるいは、画素信号生成部６２及びイベント検出部６３の両方又は一方は、受光部６１毎、すなわち画素１１毎に設けられてもよい。
　＜１－４．カラーフィルタ配列の概略構成の一例＞
　本実施形態に係るカラーフィルタ配列の概略構成の一例について図５を参照して説明する。図５は、本実施形態に係るカラーフィルタ配列の概略構成の一例を示す図である。
　画素ブロック５１は、例えば、色彩を再構成するために必要となる波長成分を受光する画素１１の組み合わせで構成される。例えば、ＲＧＢの三原色に基づいて色彩を再構成する場合、画素ブロック５１は、赤色の光を受ける画素１１と、緑色の光を受ける画素１１、青色の光を受ける画素１１との組み合わせにより構成される。つまり、画素ブロック５１は、カラーフィルタ配列の単位となり、所定の波長成分を受光する画素（単位画素）の組合せにより構成される。
　カラーフィルタ配列としては、例えば、２×２画素のべイヤー配列（図５参照）や４×４画素のクアッドベイヤー配列（クワドラ配列ともいう）、８×８画素のクアッドベイヤー配列等の種々の配列が存在する。なお、基本パターンとしての２×２画素や４×４画素、８×８画素等は一例であり、基本パターンの画素数は限定されるものではない。以下に、代表的なカラーフィルタ配列として、２×２画素のべイヤー配列ついて説明する。
　（２×２画素のベイヤー配列）
　図５に示すように、カラーフィルタ配列として２×２画素のベイヤー配列を採用した場合、１つの画素ブロック５１は、ベイヤー配列における繰返しの単位である２×２画素の計４個の単位画素を有する基本パターン（単位パターン）で構成される。図５の例では、画素ブロック５１には、例えば、赤色（Ｒ）のカラーフィルタ２１を備える１個の画素１１と、緑色（Ｇｒ）のカラーフィルタ２１を備える１個の画素１１と、緑色（Ｇｂ）のカラーフィルタ２１を備える１個の画素１１と、青色（Ｂ）のカラーフィルタ２１を備える１個の画素１１とが含まれる。
　このように、撮像素子２００には、画素１１毎にカラーフィルタ２１が設けられている。撮像素子２００は、カラーフィルタ２１に基づく特定の波長帯でイベント検出を行う。これにより、種々の波長帯の情報をイベントとして検出することができる。
　カラーフィルタ２１は、所定の光を透過する光学フィルタ（波長選択素子）の一例である。このカラーフィルタ２１を画素１１に設けることによって、入射光として任意の光を受光することができる。例えば、画素１１において、入射光として、可視光を受光する場合、イベントデータは、視認することができる被写体が映る画像における画素値の変化の発生を表す。また、例えば、画素１１において、入射光として、測距のための赤外線やミリ波等を受光する場合、イベントデータは、被写体までの距離の変化の発生を表す。さらに、例えば、画素１１において、入射光として、温度の測定のための赤外線を受光する場合、イベントデータは、被写体の温度の変化の発生を表す。
　ここで、例えば、車両の走行中等、運転者の目には、自車の前を走行中の車のブレーキランプやテールランプの点灯（点滅）、方向指示器の点滅、信号機の色の変化、電光標識等、種々の波長帯の情報、特に、Ｒ（赤色）の波長帯の情報（ブレーキランプ、テールランプ、信号機の赤信号等）が飛び込んでくる。これら各種の情報については、基本的に、運転者が目視で検出し、その内容を判断することになるが、撮像素子２００が運転者と同様にその検出、判断を行うことができれば非常に便利である。
　そこで、本実施形態に係る撮像装置１００では、撮像素子２００に画素１１毎に、波長選択素子の一例であるカラーフィルタ２１を設け、それぞれの画素１１における閾値検出を行うことにより、色毎のイベント検出を可能にする。例えば、色毎にイベント検出した物体の動き検出を行う。これにより、各波長帯における色毎のイベント信号を、車のブレーキランプやテールランプの点灯（点滅）、方向指示器の点滅、信号機の色の変化、電光標識等の検出（検知）に活用することができる。
　なお、カラーフィルタ配列としては、例えば、Ｒ（赤色）の画素とＣ（クリア）の画素とを組み合わせたＲＣＣＣフィルタや、Ｒの画素及びＣの画素にＢ（青色）の画素を組み合わせたＲＣＣＢフィルタや、Ｒの画素、Ｇ（緑色）、及び、Ｂの画素を組み合わせたＲＧＢベイヤー配列のフィルタを用いてもよい。Ｃの画素は、色フィルタが設けられていないか、透明のフィルタが設けられている画素であり、Ｗ（白色）の画素と同様の画素である。例えば、Ｒ（赤色）の画素とＣ（クリア）の画素とを組み合わせたＲＣＣＣフィルタは、月明かりの夜間に相当する低照度でも、遠方の障害物や人物などを撮像できる高感度を実現できる。また、ＲＣＣＣフィルタは、例えば、車載センシング等で重要となる赤色の波長帯の光（例えば、テールランプや信号機の赤信号等）の検出精度を向上させることができる。
　＜１－５．画素回路の概略構成の一例＞
　本実施形態に係る画素回路３０１の概略構成の一例について図６及び図７を参照して説明する。図６及び図７は、それぞれ本実施形態に係る画素回路３０１の概略構成の一例を示す図である。
　図６に示すように、画素回路３０１は、複数の受光部６１と、画素信号生成部６２と、イベント検出部６３とを有する。イベント検出部６３は、電流電圧変換部３１０と、微分回路３３０と、コンパレータ３４０と、転送部３５０とを有する。
　電流電圧変換部３１０は、光電流を、その光電流の対数値に比例した画素電圧Ｖｐに変換するものである。この電流電圧変換部３１０は、画素電圧Ｖｐを微分回路３３０に供給する。
　微分回路３３０は、微分演算により画素電圧Ｖｐの変化量を求めるものである。この画素電圧Ｖｐの変化量は、光量の変化量を示す。微分回路３３０は、光量の変化量を示す微分信号Ｖｏｕｔをコンパレータ３４０に供給する。
　コンパレータ３４０は、微分信号Ｖｏｕｔと所定の閾値（上限閾値や下限閾値）とを比較するものである。このコンパレータ３４０の比較結果ＣＯＭＰは、イベント（アドレスイベント）の検出結果を示す。コンパレータ３４０は、比較結果ＣＯＭＰを転送部３５０に供給する。
　転送部３５０は、検出信号ＤＥＴを転送し、転送後にオートゼロ信号ＸＡＺを微分回路３３０に供給して初期化するものである。この転送部３５０は、イベントが検出された際に、検出信号ＤＥＴの転送を要求するリクエストをアービタ部１４に供給する。そして、リクエストに対する応答を受け取ると、転送部３５０は、比較結果ＣＯＭＰを検出信号ＤＥＴとして信号処理部２２０に供給し、オートゼロ信号ＸＡＺを微分回路３３０に供給する。
　なお、イベント検出部６３は、電流電圧変換部３１０と微分回路３３０との間にバッファを有してもよい。バッファは、電流電圧変換部３１０からの画素電圧Ｖｐを微分回路３３０に出力するものである。このバッファにより、後段を駆動する駆動力を向上させることができる。また、バッファにより、後段のスイッチング動作に伴うノイズのアイソレーションを確保することができる。
　図７に示すように、受光部６１は、光電変換素子２５１と、転送トランジスタ２５２とを備える。図７の例では、受光部６１は４個設けられている。これらの受光部６１は、画素信号生成部６２及びイベント検出部６３に接続されている。各受光部６１とイベント検出部６３との間には、切替トランジスタ２５３が設けられている。この切替トランジスタ２５３は、切替素子に相当する。
　光電変換素子２５１は、入射光に対する光電変換により光電流を生成するものである。この光電変換素子２５１としては、例えば、フォトダイオード（ＦＤ）が用いられる。転送トランジスタ２５２のゲートには、駆動部１３から転送信号ＴＧ（例えば、ＴＧ１、ＴＧ２、ＴＧ３、ＴＧ４）が供給される。また、切替トランジスタ２５３のゲートには、駆動部１３から転送信号（制御信号）ＥＶＳが供給される。なお、切替トランジスタ２５３のソースは、浮遊拡散層２１１に接続され、ドレインはイベント検出部６３の入力端子に接続される。
　転送トランジスタ２５２は、駆動部１３からの転送信号ＴＧに応じて、対応する光電変換素子２５１から画素信号生成部６２へ電荷を転送する。また、転送トランジスタ２５２及び切替トランジスタ２５３は、駆動部１３からの転送信号ＴＧ及び転送信号ＥＶＳに応じて、対応する光電変換素子２５１からイベント検出部６３へ電荷（電荷による光電流）、すなわち、光電変換素子２５１で生成された電気信号を供給する。なお、駆動部１３は、イベントの検出開始の指示に応じて、切替トランジスタ２５３を転送信号ＥＶＳにより駆動し、各受光部６１からイベント検出部６３への電気信号を供給することが可能な状態にする。
　画素信号生成部６２は、浮遊拡散層２１１と、リセットトランジスタ２１２と、増幅トランジスタ２１３と、選択トランジスタ２１４とを備える。リセットトランジスタ２１２、増幅トランジスタ２１３及び選択トランジスタ２１４としては、例えば、ＭＯＳ（Metal-Oxide-Semiconductor）トランジスタが用いられる。
　浮遊拡散層２１１は、光電変換素子２５１から転送トランジスタ２５２を介して光電流として転送された電荷を蓄積し、蓄積した電荷の量に応じた電圧を生成する。この浮遊拡散層２１１は、受光部６１ごとに設けられても、各受光部６１に共通して設けられてもよい。
　リセットトランジスタ２１２は、駆動部１３からのリセット信号ＲＳＴに従って、浮遊拡散層２１１に蓄積された電荷を放出（初期化）する。リセットトランジスタ２１２のソースは、浮遊拡散層２１１に接続され、ドレインは電源端子に接続される。リセットトランジスタ２１２のゲートには、リセット信号ＲＳＴが供給される。リセットトランジスタ２１２は、リセット素子に相当する。
　増幅トランジスタ２１３は、浮遊拡散層２１１の電圧を増幅する。増幅トランジスタ２１３のゲートは、浮遊拡散層２１１に接続される。増幅トランジスタ２１３のドレインは、電源端子に接続され、ソースが選択トランジスタ２１４のドレインに接続される。
　選択トランジスタ２１４は、駆動部１３からの選択信号ＳＥＬに従って、増幅トランジスタ２１３で増幅された電圧の信号を画素信号ＳＩＧとして垂直信号線ＶＳＬを介してカラム処理部１５へ出力する。選択トランジスタ２１４のソースは、垂直信号線（ＶＳＬ）に接続される。選択トランジスタ２１４のゲートには、選択信号ＳＥＬが供給される。
　電流電圧変換部３１０は、Ｎ型トランジスタ３１２と、Ｐ型トランジスタ３１４と、Ｎ型トランジスタ３１５とを備える。この電流電圧変換部３１０は、光電流を画素電圧Ｖｐに対数的に変換するものである。Ｎ型トランジスタ３１２、Ｐ型トランジスタ３１４及びＮ型トランジスタ３１５としては、例えば、ＭＯＳトランジスタが用いられる。
　Ｎ型トランジスタ３１２のソースは、切替トランジスタ２５３を介して浮遊拡散層２１１に接続され、ドレインは電源端子に接続される。Ｐ型トランジスタ３１４及びＮ型トランジスタ３１５は、電源端子と所定の基準電位（接地電位など）の基準端子との間において、直列に接続される。また、Ｐ型トランジスタ３１４及びＮ型トランジスタ３１５の接続点は、Ｎ型トランジスタ３１２のゲートと微分回路３３０の入力端子とに接続される。Ｎ型トランジスタ３１２のソースと切替トランジスタ２５３のドレインの接続点は、Ｎ型トランジスタ３１５のゲートに接続される。このため、Ｎ型トランジスタ３１２及びＮ型トランジスタ３１５はループ状に接続されている。また、Ｐ型トランジスタ３１４のゲートには、所定のバイアス電圧Ｖｂｐが印加される。
　微分回路３３０は、容量３３１と、スイッチ３３２と、Ｐ型トランジスタ３３３と、容量３３４とを備える。Ｐ型トランジスタ３３３としては、例えば、ＭＯＳトランジスタが用いられる。
　Ｐ型トランジスタ３３３は、電源端子と所定の基準電位の基準端子との間に接続される。Ｐ型トランジスタ３３３のゲートを入力端子３９１とし、Ｐ型トランジスタ３３３のソースを出力端子３９２とする反転回路として機能する。
　容量３３１は、電流電圧変換部３１０と入力端子３９１との間に挿入される。この容量３３１は、電流電圧変換部３１０からの画素電圧Ｖｐの時間微分（言い換えれば、変化量）に応じた電流を入力端子３９１に供給する。また、容量３３４は、入力端子３９１と出力端子３９２との間に挿入される。
　スイッチ３３２は、転送部３５０からのオートゼロ信号ＸＡＺに従って入力端子３９１と出力端子３９２との間の経路を開閉するものである。例えば、ローレベルのオートゼロ信号ＸＡＺが入力されると、スイッチ３３２は、オートゼロ信号ＸＡＺに従ってオン状態に移行し、微分信号Ｖｏｕｔを初期値にする。
　コンパレータ３４０は、Ｐ型トランジスタ３４１と、Ｎ型トランジスタ３４２と、Ｐ型トランジスタ３４３と、Ｎ型トランジスタ３４４とを備える。これらのＰ型トランジスタ３４１、Ｎ型トランジスタ３４２、Ｐ型トランジスタ３４３及びＮ型トランジスタ３４４としては、例えば、ＭＯＳトランジスタが用いられる。
　Ｐ型トランジスタ３４１及びＮ型トランジスタ３４２は、電源端子と基準端子との間において直列に接続され、Ｐ型トランジスタ３４３及びＮ型トランジスタ３４４も、電源端子と基準端子との間において直列に接続される。また、Ｐ型トランジスタ３４１及びＰ型トランジスタ３４３のゲートは、微分回路３３０に接続される。Ｎ型トランジスタ３４２のゲートには上限閾値を示す上限電圧Ｖｈｉｇｈが印加され、Ｎ型トランジスタ３４４のゲートには下限閾値を示す下限電圧Ｖｌｏｗが印加される。
　Ｐ型トランジスタ３４１及びＮ型トランジスタ３４２の接続点は、転送部３５０（図５参照）に接続され、この接続点の電圧が上限閾値との比較結果ＣＯＭＰ＋として出力される。Ｐ型トランジスタ３４３及びＮ型トランジスタ３４４の接続点も、転送部３５０に接続され、この接続点の電圧が下限閾値との比較結果ＣＯＭＰ－として出力される。このような接続により、微分信号Ｖｏｕｔが上限電圧Ｖｈｉｇｈより高い場合、コンパレータ３４０は、ハイレベルの比較結果ＣＯＭＰ＋を出力し、微分信号Ｖｏｕｔが下限電圧Ｖｌｏｗより低い場合、ローレベルの比較結果ＣＯＭＰ－を出力する。比較結果ＣＯＭＰは、これらの比較結果ＣＯＭＰ＋及びＣＯＭＰ－からなる信号である。
　なお、コンパレータ３４０は、上限閾値及び下限閾値の両方を、微分信号Ｖｏｕｔと比較しているが、一方のみを微分信号Ｖｏｕｔと比較してもよい。この場合には、不要なトランジスタを削減することができる。例えば、上限閾値とのみ比較する際には、Ｐ型トランジスタ３４１及びＮ型トランジスタ３４２のみが配置される。また、微分回路３３０に容量３３４を配置しているが、その容量３３４を削減してもよい。
　ここで、各光電変換素子２５１、各転送トランジスタ２５２及び画素信号生成部６２は、受光チップ２０１に配置される。また、電流電圧変換部３１０の一部（Ｎ型トランジスタ３１２及びＮ型トランジスタ３１５）は、受光チップ２０１に配置される。一方、電流電圧変換部３１０の一部（Ｐ型トランジスタ３１４）、微分回路３３０、コンパレータ３４０及び転送部３５０は、検出チップ２０２に配置される。なお、受光チップ２０１及び検出チップ２０２のそれぞれに配置される回路や素子は、この構成に限定されるものではない。
　また、受光チップ２０１及び検出チップ２０２は、Ｃｕ－Ｃｕ接合（ＣＣＣ）により接合されている。Ｃｕ－Ｃｕ接合の位置は、例えば、Ｐ型トランジスタ３１４のノードであるが、その位置に限定されるものではない。
　＜１－６．画素の概略構成の一例＞
　本実施形態に係る画素１１の概略構成の一例について図８を参照して説明する。図８は、本実施形態に係る画素１１の概略構成の一例を示す図である。
　図８に示すように、画素１１は４つ設けられている。図８の例では、４つの画素１１が画素ブロック５１として機能する。この画素ブロック５１は、共有画素単位となる。光電変換素子２５１、転送トランジスタ２５２及び浮遊拡散層２１１は、画素１１ごとに設けられている。また、切替トランジスタ２５３、リセットトランジスタ２１２、増幅トランジスタ２１３及び選択トランジスタ２１４は、例えば、一つの画素ブロック５１内であって各光電変換素子２５１の周囲領域に配置される。
　ここで、転送トランジスタ２５２は画素１１ごとに一つ設けられる。この場合には、転送トランジスタ２５２が画素１１ごとに二つ設けられる場合に比べ、光電変換素子２５１の面積（体積）が広くなり、光の利用効率が向上する。通常（従来）、イベント検出と撮像の両方を行うため、一つの光電変換素子２５１に対し、二つの転送トランジスタ（転送ゲート）が搭載されている。
　＜１－７．撮像素子の動作の一例＞
　本実施形態に係る撮像素子２００の動作の一例について図９から図１２を参照して説明する。図９から図１２は、それぞれ本実施形態に係る撮像素子２００の動作の一例を示す図である。なお、図１０及び図１２は、それぞれ本実施形態に係る撮像素子２００の動作の一例を示すタイミングチャートである。
　撮像素子２００の動作フェーズ（動作モード）は、検出フェーズ（検出モード）と、撮像フェーズ（撮像モード）とを含む。検出フェーズは、図９に示すように、切替トランジスタ２５３が駆動してオン状態であり、各受光部６１からイベント検出部６３への電気信号の供給を可能とするフェーズである（矢印Ａ１参照）。撮像フェーズは、切替トランジスタ２５３が駆動せずにオフ状態であり、各受光部６１からイベント検出部６３への電気信号の供給を不可能とし、各受光部６１から画素信号生成部６２への電気信号の供給を可能とするフェーズである（矢印Ａ２参照）。
　例えば、切替トランジスタ２５３は、駆動部１３による制御によってオン状態又はオフ状態に切り替わり、検出フェーズ及び撮像フェーズを切り替える。すなわち、切替トランジスタ２５３は、動作フェーズに応じて、各受光部６１からイベント検出部６３に電荷を供給する第１の電気経路（矢印Ａ１参照）と、各受光部６１から画素信号生成部６２に電荷を供給する第２の電気経路（矢印Ａ２参照）とを切り替える。
　図１０に示すように、検出フェーズ（Ｄｅｔｅｃｔ）において、駆動部１３は、切替トランジスタ２５３のゲートに印加する転送信号ＥＶＳをハイレベルに立ち上げる。これにより、切替トランジスタ２５３がオン状態になり、各受光部６１からイベント検出部６３への電気信号の供給が可能になる。
　また、駆動部１３は、受光部６１の各転送トランジスタ２５２のゲートに印加する転送信号ＴＧ１、転送信号ＴＧ２、転送信号ＴＧ３及び転送信号ＴＧ４をハイレベルに立ち上げる。これにより、受光部６１の各転送トランジスタ２５２がオン状態となり、各受光部６１の個々の光電変換素子２５１で発生した電荷に基づく光電流がイベント検出部６３に供給される。
　なお、検出フェーズにおいて、リセットトランジスタ２１２に印加するリセット信号ＲＳＴと、選択トランジスタ２１４に印加する選択信号ＳＥＬとは、全てローレベルに維持される。このため、検出フェーズの期間中、リセットトランジスタ２１２及び選択トランジスタ２１４はオフ状態である。
　この検出フェーズの期間中、ある画素ブロック５１のイベント検出部６３がイベントの発火を検出すると、アービタ部１４にリクエストを送信するが、上述したように、画素ブロック５１のイベント検出部６３の出力は、画素ブロック単位のリクエストとしてアービタ部１４に入力される。このため、アービタ部１４は、リクエストを発行したイベント検出部６３に対して、リクエストに対する応答を返す。
　応答を受信したイベント検出部６３は、例えば、所定期間、駆動部１３及び信号処理部１６に入力する検出信号（イベント検出信号）をハイレベルに立ち上げる。なお、例えば、検出信号は、オンイベントの検出結果を示す１ビットの信号であるものとする。
　なお、検出フェーズの期間が経過すると、駆動部１３は、転送信号ＥＶＳ、また、転送信号ＴＧ１、転送信号ＴＧ２、転送信号ＴＧ３及び転送信号ＴＧ４をローレベルに立ち下げる。これにより、切替トランジスタ２５３がオフ状態になり、各転送トランジスタ２５２がオフ状態となる。これにより、各受光部６１からイベント検出部６３への光電流の供給が停止し、また、各受光部６１からイベント検出部６３への電気信号の供給が不可能になる。
　その後、ＡＺフェーズ（ＡＺ）において、オートゼロが実行される。例えば、微分回路３３０において、ローレベルのオートゼロ信号ＸＡＺが入力されると、オートゼロ信号ＸＡＺに従って、光量の変化量を示す微分信号Ｖｏｕｔが初期値にされる。
　次に、撮像フェーズ（ＮＳ、ＳＨ、ＩＧ（＝ＮＳ）、ＲＤ）において、駆動部１３は、リセットトランジスタ２１２のゲートに印加するリセット信号ＲＳＴをハイレベルに立ち上げる。これにより、リセットトランジスタ２１２がオン状態になる。その後、駆動部１３は、ＳＨ（シャッタ）の期間において、切替トランジスタ２５３のゲートに印加する転送信号ＴＧ１を一定のパルス期間に亘ってハイレベルに立ち上げる。これにより、転送信号ＴＧ１に対応する切替トランジスタ２５３がオン状態になり、その切替トランジスタ２５３につながる光電変換素子２５１が初期化される（電荷が放出される）。同じように、駆動部１３は、転送信号ＴＧ２、転送信号ＴＧ３及び転送信号ＴＧ４を順次ハイレベルに立ち上げ、光電変換素子２５１の初期化を実行する。
　駆動部１３は、ＲＤ（リード）期間において、選択トランジスタ２１４のゲートに印加する選択信号ＳＥＬをハイレベルに立ち上げる。これにより、選択トランジスタ２１４がオン状態になる。その後、駆動部１３は、ＲＤ期間において、切替トランジスタ２５３のゲートに印加する転送信号ＴＧ１を一定のパルス期間に亘ってハイレベルに立ち上げる。これにより、転送信号ＴＧ１に対応する切替トランジスタ２５３がオン状態になり、その切替トランジスタ２５３につながる光電変換素子２５１から電荷が浮遊拡散層２１１に転送される。そして、浮遊拡散層２１１に蓄積された電荷に応じた電圧が垂直信号線ＶＳＬに出現する。このようにして、垂直信号線ＶＳＬに出現した電圧は、受光部６１の信号レベルの画素信号として、カラム処理部１５で読み出されて、デジタル値に変換される。同じように、駆動部１３は、転送信号ＴＧ２、転送信号ＴＧ３及び転送信号ＴＧ４を順次ハイレベルに立ち上げ、光電変換素子２５１からの電荷の読み出しを実行する。
　その後、読出し対象の画素ブロック５１における全ての受光部６１からの信号レベルの読出しが完了すると、駆動部１３は、撮像フェーズから検出フェーズとなり、前述の検出フェーズ及び撮像フェーズに係る処理を繰り返す。
　このような検出フェーズ及び撮像フェーズに係る処理によれば、図１１に示すように、イベント発生画素のみから、読み出し（Ｒｅａｄ）が行われる。図１１の例では、縦軸がアドレス（Ｖ　ａｄｄｒｅｓｓ）であり、横軸が時間（Ｔｉｍｅ）であり、「１」がイベント検出有りを示し、「０」が「イベント検出無し」を示す。「１」のときのみ読み出しが行われるので、全体の読み出し時間（Ｒｅａｄ時間）を短縮することができる。また、ブランク時間の前倒しやブランク時間の延長を実現することもできる。
　なお、図１０に示すように、検出フェーズにおいて、各転送トランジスタ２５２の個々の転送信号ＴＧ１、転送信号ＴＧ２、転送信号ＴＧ３及び転送信号ＴＧ４を同時にハイレベルに立ち上げて、各受光部６１の個々の光電変換素子２５１で発生した電荷に基づく光電流を重畳することを例示したが、これに限るものではない。例えば、図１２に示すように、各転送トランジスタ２５２の個々の転送信号ＴＧ１、転送信号ＴＧ２、転送信号ＴＧ３及び転送信号ＴＧ４を順次ハイレベルに立ち上げ、各受光部６１の個々の光電変換素子２５１で発生した電荷に基づく光電流を重畳せずに用いてもよい。
　このように、本実施形態では、イベント（アドレスイベント）の発火を画素ブロック５１ごとに検出し、イベントの発火が検出された画素ブロック５１に属する全ての受光部６１から画素信号ＳＩＧを読み出す。例えば、撮像素子２００は、イベントの発火が検出された画素ブロック５１に含まれる各受光部６１からの画素信号ＳＩＧをカラム処理部１５に出力する。これにより、イベントの発火の有無に関わらず、全ての単位画素から画素信号ＳＩＧを読み出す場合と比較して、撮像素子２００の消費電力や、画像処理の処理量を低減することができる。
　＜１－８．効果＞
　以上説明したように、第１の実施形態によれば、切替素子（例えば、切替トランジスタ２５３）が、受光部６１からイベント検出部６３に電荷を供給する第１の電気経路と、受光部６１から画素信号生成部６２に電荷を供給する第２の電気経路とを切り替える。これにより、単一の切替素子により第１の電気経路と第２の電気経路とを切り替えることが可能になり、一つの光電変換素子２５１に対して二つの転送ゲートを搭載する必要が無くなる。このため、光電変換素子２５１の面積が広くなり、光の利用効率が向上するので、画質の悪化や低照度時のイベント誤検出等の画素特性の悪化を抑えることができる。また、微細化が進んでも、画素感度の低下を抑制し、画素特性の悪化を抑えることができる。
　また、受光部６１は、所定数で画素ブロック５１を構成しており、イベント検出部６３及び画素信号生成部６２は、画素ブロック５１毎に設けられていてもよい。これにより、受光部６１（画素１１）毎にイベント検出部６３及び画素信号生成部６２を設ける場合に比べ、撮像素子２００の構成を簡略化することができる。
　また、受光部６１は、所定数で画素ブロック５１を構成しており、イベント検出部６３は、画素ブロック５１内の所定数の受光部６１から個別に得られる電荷を加算し、加算した電荷に基づいてイベント検出信号を生成してもよい。これにより、処理を簡略化することができる。
　また、画素信号生成部６２は、イベント検出信号がイベント検出部６３により生成された場合、イベント検出信号の生成に用いられた受光部６１から供給される電荷に基づいて画素信号を生成してもよい。これにより、イベント信号の生成の有無に関わらず、全ての受光部６１（画素１１）から画素信号を生成する場合に比べ、撮像素子２００の消費電力や画像処理の処理量を低減することができる。
　＜２．第２の実施形態＞
　＜２－１．画素回路の概略構成の一例＞
　本実施形態に係る画素回路３０１の概略構成の一例について図１３を参照して説明する。図１３は、本実施形態に係る画素回路３０１の概略構成の一例を示す図である。以下、第１の実施形態との相違点を中心に説明を行い、その他の説明を省略する。
　図１３に示すように、切替トランジスタ２５３は、リセットトランジスタ２１２に対して直列に接続されている。なお、第１の実施形態では、切替トランジスタ２５３は、リセットトランジスタ２１２に対して並列に接続されている。この並列の構造では、光電変換素子２５１に常に余分な容量がついている状態であり、変換効率が低くなる。通常の駆動時には支障を受けないが、変換効率を高めたいようなユースケースでは、図１３に示すような直列の構造が適している。
　＜２－２．効果＞
　以上説明したように、第２の実施形態によれば、第１の実施形態と同様の効果を得ることができる。すなわち、画素特性の悪化を抑えることができる。また、切替素子（例えば、切替トランジスタ２５３）は、リセット素子（例えば、リセットトランジスタ２１２）に対して直列に接続されている。これにより、変換効率を高めることが可能になるので、画素特性を向上させることができる。
　＜３．第３の実施形態＞
　＜３－１．画素回路の概略構成の一例＞
　本実施形態に係る画素回路３０１の概略構成の一例について図１４を参照して説明する。図１４は、本実施形態に係る画素回路３０１の概略構成の一例を示す図である。以下、第１の実施形態との相違点を中心に説明を行い、その他の説明を省略する。
　図１４に示すように、リセットトランジスタ２１２は、検出チップ２０２に設けられている。これにより、受光チップ２０１に搭載されるトランジスタ数が少なくなるので、光電変換素子２５１の面積（体積）が拡大するので、光の利用効率（例えば、受光効率）を高めることができる。なお、リセットトランジスタ２１２のソースは、Ｎ型トランジスタ３１２のゲートに接続され、ドレインは電源端子に接続される。リセットトランジスタ２１２のドレインを電源端子につなぐことで、駆動上問題なく、光電変換素子２５１をリセットできる。
　＜３－２．効果＞
　以上説明したように、第３の実施形態によれば、第１の実施形態と同様の効果を得ることができる。すなわち、画素特性の悪化を抑えることができる。また、リセット素子（例えば、リセットトランジスタ２１２）は、第２の基板（例えば、検出チップ２０２）に設けられている。これにより、第１の基板（例えば、受光チップ２０１）の素子数が減少し、光の利用効率を高めることが可能になるので、画素特性を向上させることができる。
　＜４．第４の実施形態＞
　＜４－１．画素回路の概略構成の一例＞
　本実施形態に係る画素回路３０１の概略構成の一例について図１５を参照して説明する。図１５は、本実施形態に係る画素回路３０１の概略構成の一例を示す図である。以下、第３の実施形態との相違点を中心に説明を行い、その他の説明を省略する。
　図１５に示すように、切替トランジスタ２５３は、検出チップ２０２に設けられている。これにより、受光チップ２０１に搭載されるトランジスタ数が少なくなるので、光電変換素子２５１の面積（体積）が拡大するので、光の利用効率（例えば、受光効率）を高めることができる。なお、切替トランジスタ２５３のソースは、Ｎ型トランジスタ３１２のゲートに接続され、ドレインは接地端子に接続される。
　ここで、切替トランジスタ２５３は、光電変換素子２５１に直接接続されなくても（例えば、光電変換素子２５１の直下に無くても）、イベント検出部６３においては、光電変換素子２５１に流れる光電流（フォトカレント）を一定電流分、リセットトランジスタ２１２で引き抜くことで、差分信号を読み出すことが可能である。このため、リセットトランジスタ２１２をオフ状態にできれば、切替トランジスタ２５３が光電変換素子２５１の直下に無くても、画素信号生成部６２で読み出すことができる。イベント検出（イベント検出用の読み出し）を行う場合には、画素信号生成部６２の選択トランジスタ２１４をオフ状態にし、撮像用の読み出しを行う場合には、切替トランジスタ２５３をオフ状態にし、リセットトランジスタ２１２をオフ状態にすることで、電流が引き抜かれることなく、イベント検出部６３により読み出される。
　＜４－２．効果＞
　以上説明したように、第４の実施形態によれば、第３の実施形態と同様の効果を得ることができる。すなわち、画素特性の悪化を抑えることができ、また、画素特性を向上させることができる。さらに、切替素子（例えば、切替トランジスタ２５３）は、リセット素子（例えば、リセットトランジスタ２１２）に加え、第２の基板（例えば、検出チップ２０２）に設けられている。これにより、第１の基板（例えば、受光チップ２０１）の素子数が減少し、光の利用効率を高めることが可能になるので、画素特性をより向上させることができる。
　＜５．第５の実施形態＞
　＜５－１．画素回路の概略構成の一例＞
　本実施形態に係る画素回路３０１の概略構成の一例について図１６を参照して説明する。図１６は、本実施形態に係る画素回路３０１の概略構成の一例を示す図である。以下、第４の実施形態との相違点を中心に説明を行い、その他の説明を省略する。
　図１６に示すように、Ｎ型トランジスタ３１２及びＮ型トランジスタ３１５は、検出チップ２０２に設けられている。したがって、イベント検出部６３は、検出チップ２０２に設けられている。また、受光チップ２０１及び検出チップ２０２は、Ｃｕ－Ｃｕ接合（ＣＣＣ）により接合されている。Ｃｕ－Ｃｕ接合の位置は、第４の実施形態に係るＰ型トランジスタ３１４のノードではなく、光電変換素子２５１の端子、詳しくは、光電変換素子２５１につながる転送トランジスタ２５２の端子である。
　ここで、前述のように、Ｎ型トランジスタ３１２及びＮ型トランジスタ３１５は、検出チップ２０２に設けられている。これにより、イベント検出部６３に関与するトランジスタを全て検出チップ２０２に置くことが可能になる。したがって、受光チップ２０１に搭載されるトランジスタ数が少なくなるので、光電変換素子２５１の面積（体積）が拡大するので、光の利用効率（例えば、受光効率）を高めることができる。
　＜５－２．効果＞
　以上説明したように、第５の実施形態によれば、第４の実施形態と同様の効果を得ることができる。すなわち、画素特性の悪化を抑えることができ、また、画素特性を向上させることができる。さらに、イベント検出部６３は、第２の基板（例えば、検出チップ２０２）に設けられている。これにより、第１の基板（例えば、受光チップ２０１）の素子数が減少し、光の利用効率を高めることが可能になるので、画素特性を向上させることができる。
　＜６．第６の実施形態＞
　＜６－１．画素の概略構成の一例＞
　本実施形態に係る画素１１の概略構成の一例について図１７を参照して説明する。図１７は、本実施形態に係る画素１１の概略構成の一例を示す図である。以下、第１の実施形態（図８参照）との相違点を中心に説明を行い、その他の説明を省略する。
　図１７に示すように、所定数（例えば、４つ）の画素１１を含む画素ブロック５１は、画素ブロック分離部２２１により区画されている。例えば、画素ブロック分離部２２１は、光が入射する光入射面（受光面）から見た形状が格子状になるように形成されている。この画素ブロック分離部２２１は、画素ブロック５１を分離して光を反射する貫通障壁として機能する。また、浮遊拡散層２１１は、４つの画素１１で共通となる。なお、画素ブロック分離部２２１は、例えば、光電変換素子２５１の高さ方向の長さ以上の長さを有する障壁である（図１９参照）。
　ここで、撮像素子２００では、ＮＩＲ（近赤外線）光を利用する場面が多いため、通常、画素１１の間に物理的な貫通障壁を形成しているが、画素１１毎に貫通障壁を形成することで、光電変換素子２５１の面積が少なくなり、光の利用効率が低い構造となっている。そこで、本実施形態では、画素障壁の形成構造も考慮し、光電変換素子２５１の利用面積をより確保する。画素ブロック５１（共有画素）では、各受光部６１のイベント信号を加算して読み出すことを前提とすることで、共有画素内のＮＩＲ混色は気にならないため、貫通障壁の形成周期も画素ブロック５１に一つとしている。これにより、微細化によるプロセス難易度が上がらないことや、共有画素内での画素１１の間にトランジスタを置くスペースを確保することができる。さらに、浮遊拡散層２１１を共有することが可能となり、光電変換素子２５１の面積を確保することができる。
　＜６－２．効果＞
　以上説明したように、第６の実施形態によれば、第１の実施形態と同様の効果を得ることができる。すなわち、画素特性の悪化を抑えることができる。さらに、各画素１１（各受光部６１）を含む画素ブロック５１は、それぞれ画素ブロック分離部２２１により区画されており、また、浮遊拡散層２１１が所定数（例えば、４つ）の画素１１で共通となる。これにより、画素ブロック５１間の光混色（例えば、ＮＩＲ可視光混色）を抑えることが可能になり、また、光の利用効率を高めることが可能になるので、画素特性を向上させることができる。
　また、画素ブロック分離部２２１は、光電変換素子２５１の高さ方向の長さ以上の長さを有する障壁であってもよい。これにより、画素ブロック５１間の光混色（例えば、ＮＩＲ可視光混色）を確実に抑えることが可能になるので、画素特性をより向上させることができる。
　＜７．第７の実施形態＞
　＜７－１．画素の概略構成の一例＞
　本実施形態に係る画素１１の概略構成の一例について図１８及び図１９を参照して説明する。図１８及び図１９は、それぞれ本実施形態に係る画素１１の概略構成の一例を示す図である。なお、図１９は、図１８のＢ１－Ｂ１線断面図である。以下、第６の実施形態（図１７参照）との相違点を中心に説明を行い、その他の説明を省略する。
　図１８及び図１９に示すように、画素ブロック５１内の所定数（例えば、４つ）の画素１１は、非貫通の画素分離部２２２により区画されている。例えば、画素分離部２２２は、光が入射する光入射面（受光面）から見た形状が格子状に形成されている。この画素分離部２２２は、各画素１１を分離して光を反射する非貫通障壁として機能する。
　図１９に示すように、画素分離部２２２は、例えば、光電変換素子２５１の高さ方向の長さより短い長さを有する障壁である。この画素分離部２２２の長さ（図１９の上下方向の長さ）は、例えば、画素ブロック分離部２２１の長さ（一例として、６μｍ）の半分程度である。
　なお、図１９の例では、カラーフィルタ２１、受光レンズ２２及び配線層２３が示されている。カラーフィルタ２１や受光レンズ２２、光電変換素子２５１は、画素１１ごとに１つずつ設けられている。配線層２３は、全ての画素１１に共通である。
　ここで、カラーフィルタ配列や共有画素単位にもよるが、例えば、２×２画素のべイヤー配列では、イベントを検出する際のＮＩＲ光混色を画素ブロック分離部２２１で抑制できるが、可視光混色が問題となることがある。このため、撮像用画素の混色抑制のために、非貫通障壁となる画素分離部２２２が形成される。通常、撮像素子２００はＮＩＲ光向けセンサであり、可視光の侵入長を考慮すれば、貫通障壁は必要ないことが想定される。また、非貫通障壁となる画素分離部２２２により、浮遊拡散層２１１を画素１１の間で共有することが可能であり、光電変換素子２５１の面積を確保することもできる。
　＜７－２．効果＞
　以上説明したように、第７の実施形態によれば、第６の実施形態と同様の効果を得ることができる。すなわち、画素特性の悪化を抑えることができ、また、画素特性を向上させることができる。さらに、画素ブロック５１内の各画素１１（各受光部６１）は、それぞれ画素分離部２２２により区画されている。これにより、画素ブロック５１内の各画素１１間の光混色（例えば、可視光混色）を抑えることが可能になるので、画素特性をより向上させることができる。
　また、画素分離部２２２は、光電変換素子２５１の高さ方向の長さより短い長さを有する障壁であってもよい。これにより、画素ブロック５１間の光混色（例えば、可視光混色）を確実に抑えることが可能になるので、画素特性をより向上させることができる。
　＜８．第８の実施形態＞
　＜８－１．画素の概略構成の一例＞
　本実施形態に係る画素１１の概略構成の一例について図２０を参照して説明する。図２０は、本実施形態に係る画素１１の概略構成の一例を示す図である。以下、第７の実施形態（図１８参照）との相違点を中心に説明を行い、その他の説明を省略する。
　図２０に示すように、オーバーフロードレイン層２３１が画素ブロック５１の中央（図２０の平面視）に形成されている。このオーバーフロードレイン層２３１の周囲には、転送トランジスタ２３２が画素１１毎に設けられている。転送トランジスタ２３２は、オーバフローゲートとして機能する。なお、浮遊拡散層２１１及び転送トランジスタ２５２も画素１１毎に設けられており、オーバーフロードレイン層２３１及び転送トランジスタ２３２が設けられた位置と異なる位置に配置されている。
　ここで、オーバーフロードレイン機能を画素ブロック５１に搭載した上で、光電変換素子２５１の面積（体積）を効率的に利用することができる。画素ブロック５１内の各画素１１でオーバーフロードレイン層２３１を共有することで、光電変換素子２５１の面積を確保することができる。なお、オーバーフロードレイン機能とは、強い入射光によって発生した過剰電荷をオーバーフロードレイン層２３１に流し込むことで、例えば、ブルーミングを抑制する機能である。
　＜８－２．効果＞
　以上説明したように、第８の実施形態によれば、第７の実施形態と同様の効果を得ることができる。すなわち、画素特性の悪化を抑えることができ、また、画素特性を向上させることができる。さらに、画素ブロック５１内の各画素１１（各受光部６１）は、オーバーフロードレイン層２３１を共有する。これにより、光の利用効率を高めることが可能になるので、画素特性をより向上させることができる。
　＜９．他の実施形態＞
　上述した実施形態（又は変形例）に係る処理は、上記実施形態以外にも種々の異なる形態（変形例）にて実施されてよい。例えば、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
　また、上述した実施形態（又は変形例）は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　＜１０．応用例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２１は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２１に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２１では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図２２は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２２には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図２１に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２１の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図２１に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　なお、各実施形態（変形例も含む）において説明した撮像装置１００の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　以上説明した車両制御システム７０００において、各実施形態（変形例も含む）において説明した撮像装置１００は、図２１に示した応用例の統合制御ユニット７６００に適用することができる。例えば、撮像装置１００の制御部１３０や記録部（記憶部）１２０等は、統合制御ユニット７６００のマイクロコンピュータ７６１０や記憶部７６９０により実現されてもよい。また、各実施形態において説明した撮像装置１００は、図２１に示した応用例の撮像部７４１０及び車外情報検出部７４２０、例えば、図２２に示した応用例の撮像部７９１０、７９１２、７９１４、７９１６、７９１８や車外情報検出部７９２０～７９３０などに適用することができる。各実施形態において説明した撮像装置１００を用いることによって、車両制御システム７０００においても、画素特性の悪化を抑えることができる。
　また、各実施形態（変形例も含む）において説明した撮像装置１００の少なくとも一部の構成要素は、図２１に示した応用例の統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、各実施形態において説明した撮像装置１００の一部が、図２１に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。
　＜１１．付記＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　電荷を生成する光電変換素子を有する受光部と、
　前記受光部から供給される前記電荷に基づいてイベント検出信号を生成するイベント検出部と、
　前記受光部から供給される前記電荷に基づいて画素信号を生成する画素信号生成部と、
　前記受光部から前記イベント検出部に前記電荷を供給する第１の電気経路と、前記受光部から前記画素信号生成部に前記電荷を供給する第２の電気経路とを切り替える切替素子と、
を備える撮像素子。
（２）
　前記光電変換素子から供給される前記電荷を蓄積する浮遊拡散層をさらに備え、
　前記画素信号生成部は、前記浮遊拡散層に蓄積された前記電荷を初期化するためのリセット素子を有し、
　前記切替素子は、前記リセット素子に対して直列に接続されている、
　上記（１）に記載の撮像素子。
（３）
　前記光電変換素子から供給される前記電荷を蓄積する浮遊拡散層をさらに備え、
　前記画素信号生成部は、前記浮遊拡散層に蓄積された前記電荷を初期化するためのリセット素子を有し、
　前記受光部及び前記切替素子は、第１の基板に設けられており、
　前記リセット素子は、前記第１の基板に積層される第２の基板に設けられている、
　上記（１）に記載の撮像素子。
（４）
　前記受光部及び前記切替素子は、異なる基板に設けられている、
　上記（１）から（３）のいずれか一つに記載の撮像素子。
（５）
　前記受光部は、第１の基板に設けられており、
　前記切替素子は、前記第１の基板に積層される第２の基板に設けられている、
　上記（４）に記載の撮像素子。
（６）
　前記光電変換素子から供給される前記電荷を蓄積する浮遊拡散層をさらに備え、
　前記画素信号生成部は、前記浮遊拡散層に蓄積された前記電荷を初期化するためのリセット素子を有し、
　前記リセット素子は、前記第２の基板に設けられている、
　上記（５）に記載の撮像素子。
（７）
　前記イベント検出部は、前記第２の基板に設けられている、
　上記（５）に記載の撮像素子。
（８）
　前記受光部は、所定数で画素ブロックを構成しており、
　前記画素ブロックを分離して光を反射する画素ブロック分離部をさらに備える、
　上記（１）から（７）のいずれか一つに記載の撮像素子。
（９）
　前記画素ブロック分離部は、前記光電変換素子の高さ方向の長さ以上の長さを有する障壁である、
　上記（８）に記載の撮像素子。
（１０）
　前記受光部は、所定数で画素ブロックを構成しており、
　前記画素ブロック内の所定数の前記受光部を分離して光を反射する画素分離部をさらに備える、
　上記（１）から（７）のいずれか一つに記載の撮像素子。
（１１）
　前記画素分離部は、前記光電変換素子の高さ方向の長さより短い長さを有する障壁である、
　上記（１０）に記載の撮像素子。
（１２）
　前記画素ブロック内の所定数の前記受光部の個々の前記光電変換素子から供給される前記電荷を蓄積する浮遊拡散層をさらに備える、
　上記（１０）に記載の撮像素子。
（１３）
　前記受光部は、所定数で画素ブロックを構成しており、
　前記画素ブロックを分離して光を反射する画素ブロック分離部と、
　前記画素ブロック内の所定数の前記受光部を分離して光を反射する画素分離部と、
をさらに備える、
　上記（１）から（７）のいずれか一つに記載の撮像素子。
（１４）
　前記画素ブロック分離部は、前記光電変換素子の高さ方向の長さ以上の長さを有する障壁である、
　前記画素分離部は、前記光電変換素子の高さ方向の長さより短い長さを有する障壁である、
　上記（１３）に記載の撮像素子。
（１５）
　前記受光部は、所定数で画素ブロックを構成しており、
　前記画素ブロック内の所定数の前記受光部に対するオーバーフロードレイン層をさらに備える、
　上記（１）から（１４）のいずれか一つに記載の撮像素子。
（１６）
　前記受光部は、所定数で画素ブロックを構成しており、
　前記イベント検出部及び前記画素信号生成部は、前記画素ブロック毎に設けられている、
　上記（１）から（１５）のいずれか一つに記載の撮像素子。
（１７）
　前記受光部は、所定数で画素ブロックを構成しており、
　前記イベント検出部は、前記画素ブロック内の所定数の前記受光部から個別に得られる前記電荷を加算し、加算した前記電荷に基づいて前記イベント検出信号を生成する、
　上記（１）から（１６）のいずれか一つに記載の撮像素子。
（１８）
　前記画素信号生成部は、前記イベント検出信号が前記イベント検出部により生成された場合、前記受光部から供給される前記電荷に基づいて前記画素信号を生成する、
　上記（１）から（１７）のいずれか一つに記載の撮像素子。
（１９）
　撮像レンズと、
　撮像素子と、
を備え、
　前記撮像素子は、
　電荷を生成する光電変換素子を有する受光部と、
　前記受光部から供給される前記電荷に基づいてイベント検出信号を生成するイベント検出部と、
　前記受光部から供給される前記電荷に基づいて画素信号を生成する画素信号生成部と、
　前記受光部から前記イベント検出部に前記電荷を供給する第１の電気経路と、前記受光部から前記画素信号生成部に前記電荷を供給する第２の電気経路とを切り替える切替素子と、
を有する撮像装置。
（２０）
　切替素子が、電荷を生成する光電変換素子を有する受光部から、前記電荷に基づいてイベント検出信号を生成するイベント検出部に前記電荷を供給する第１の電気経路と、前記受光部から、前記電荷に基づいて画素信号を生成する画素信号生成部に前記電荷を供給する第２の電気経路とを切り替える、
ことを含む撮像素子の制御方法。
（２１）
　上記（１）から（１８）のいずれか一つに記載の撮像素子を備える撮像装置。
（２２）
　上記（１）から（１８）のいずれか一つに記載の撮像素子を制御する撮像素子の制御方法。
　１１　　画素
　１２　　画素アレイ部
　１３　　駆動部
　１４　　アービタ部
　１５　　カラム処理部
　１６　　信号処理部
　２１　　カラーフィルタ
　２２　　受光レンズ
　２３　　配線層
　５１　　画素ブロック
　６１　　受光部
　６２　　画素信号生成部
　６３　　イベント検出部
　１００　撮像装置
　１１０　撮像レンズ
　１２０　記録部
　１３０　制御部
　１３９　信号線
　２００　撮像素子
　２０１　受光チップ
　２０２　検出チップ
　２０９　信号線
　２１１　浮遊拡散層
　２１２　リセットトランジスタ
　２１３　増幅トランジスタ
　２１４　選択トランジスタ
　２２０　信号処理部
　２２１　画素ブロック分離部
　２２２　画素分離部
　２３１　オーバーフロードレイン層
　２３２　転送トランジスタ
　２５１　光電変換素子
　２５２　転送トランジスタ
　２５３　切替トランジスタ
　３０１　画素回路
　３１０　電流電圧変換部
　３１２　Ｎ型トランジスタ
　３１４　Ｐ型トランジスタ
　３１５　Ｎ型トランジスタ
　３３０　微分回路
　３３１　容量
　３３２　スイッチ
　３３３　Ｐ型トランジスタ
　３３４　容量
　３４０　コンパレータ
　３４１　Ｐ型トランジスタ
　３４２　Ｎ型トランジスタ
　３４３　Ｐ型トランジスタ
　３４４　Ｎ型トランジスタ
　３５０　転送部
　３９１　入力端子
　３９２　出力端子

Claims (20)

  1. 　電荷を生成する光電変換素子を有する受光部と、
    　前記受光部から供給される前記電荷に基づいてイベント検出信号を生成するイベント検出部と、
    　前記受光部から供給される前記電荷に基づいて画素信号を生成する画素信号生成部と、
    　前記受光部から前記イベント検出部に前記電荷を供給する第１の電気経路と、前記受光部から前記画素信号生成部に前記電荷を供給する第２の電気経路とを切り替える切替素子と、
    を備える撮像素子。
  2. 　前記光電変換素子から供給される前記電荷を蓄積する浮遊拡散層をさらに備え、
    　前記画素信号生成部は、前記浮遊拡散層に蓄積された前記電荷を初期化するためのリセット素子を有し、
    　前記切替素子は、前記リセット素子に対して直列に接続されている、
    　請求項１に記載の撮像素子。
  3. 　前記光電変換素子から供給される前記電荷を蓄積する浮遊拡散層をさらに備え、
    　前記画素信号生成部は、前記浮遊拡散層に蓄積された前記電荷を初期化するためのリセット素子を有し、
    　前記受光部及び前記切替素子は、第１の基板に設けられており、
    　前記リセット素子は、前記第１の基板に積層される第２の基板に設けられている、
    　請求項１に記載の撮像素子。
  4. 　前記受光部及び前記切替素子は、異なる基板に設けられている、
    　請求項１に記載の撮像素子。
  5. 　前記受光部は、第１の基板に設けられており、
    　前記切替素子は、前記第１の基板に積層される第２の基板に設けられている、
    　請求項４に記載の撮像素子。
  6. 　前記光電変換素子から供給される前記電荷を蓄積する浮遊拡散層をさらに備え、
    　前記画素信号生成部は、前記浮遊拡散層に蓄積された前記電荷を初期化するためのリセット素子を有し、
    　前記リセット素子は、前記第２の基板に設けられている、
    　請求項５に記載の撮像素子。
  7. 　前記イベント検出部は、前記第２の基板に設けられている、
    　請求項５に記載の撮像素子。
  8. 　前記受光部は、所定数で画素ブロックを構成しており、
    　前記画素ブロックを分離して光を反射する画素ブロック分離部をさらに備える、
    　請求項１に記載の撮像素子。
  9. 　前記画素ブロック分離部は、前記光電変換素子の高さ方向の長さ以上の長さを有する障壁である、
    　請求項８に記載の撮像素子。
  10. 　前記受光部は、所定数で画素ブロックを構成しており、
    　前記画素ブロック内の所定数の前記受光部を分離して光を反射する画素分離部をさらに備える、
    　請求項１に記載の撮像素子。
  11. 　前記画素分離部は、前記光電変換素子の高さ方向の長さより短い長さを有する障壁である、
    　請求項１０に記載の撮像素子。
  12. 　前記画素ブロック内の所定数の前記受光部の個々の前記光電変換素子から供給される前記電荷を蓄積する浮遊拡散層をさらに備える、
    　請求項１０に記載の撮像素子。
  13. 　前記受光部は、所定数で画素ブロックを構成しており、
    　前記画素ブロックを分離して光を反射する画素ブロック分離部と、
    　前記画素ブロック内の所定数の前記受光部を分離して光を反射する画素分離部と、
    をさらに備える、
    　請求項１に記載の撮像素子。
  14. 　前記画素ブロック分離部は、前記光電変換素子の高さ方向の長さ以上の長さを有する障壁である、
    　前記画素分離部は、前記光電変換素子の高さ方向の長さより短い長さを有する障壁である、
    　請求項１３に記載の撮像素子。
  15. 　前記受光部は、所定数で画素ブロックを構成しており、
    　前記画素ブロック内の所定数の前記受光部に対するオーバーフロードレイン層をさらに備える、
    　請求項１に記載の撮像素子。
  16. 　前記受光部は、所定数で画素ブロックを構成しており、
    　前記イベント検出部及び前記画素信号生成部は、前記画素ブロック毎に設けられている、
    　請求項１に記載の撮像素子。
  17. 　前記受光部は、所定数で画素ブロックを構成しており、
    　前記イベント検出部は、前記画素ブロック内の所定数の前記受光部から個別に得られる前記電荷を加算し、加算した前記電荷に基づいて前記イベント検出信号を生成する、
    　請求項１に記載の撮像素子。
  18. 　前記画素信号生成部は、前記イベント検出信号が前記イベント検出部により生成された場合、前記受光部から供給される前記電荷に基づいて前記画素信号を生成する、
    　請求項１に記載の撮像素子。
  19. 　撮像レンズと、
    　撮像素子と、
    を備え、
    　前記撮像素子は、
    　電荷を生成する光電変換素子を有する受光部と、
    　前記受光部から供給される前記電荷に基づいてイベント検出信号を生成するイベント検出部と、
    　前記受光部から供給される前記電荷に基づいて画素信号を生成する画素信号生成部と、
    　前記受光部から前記イベント検出部に前記電荷を供給する第１の電気経路と、前記受光部から前記画素信号生成部に前記電荷を供給する第２の電気経路とを切り替える切替素子と、
    を有する撮像装置。
  20. 　切替素子が、電荷を生成する光電変換素子を有する受光部から、前記電荷に基づいてイベント検出信号を生成するイベント検出部に前記電荷を供給する第１の電気経路と、前記受光部から、前記電荷に基づいて画素信号を生成する画素信号生成部に前記電荷を供給する第２の電気経路とを切り替える、
    ことを含む撮像素子の制御方法。
PCT/JP2022/003936 2021-03-29 2022-02-02 撮像素子、撮像装置及び撮像素子の制御方法 WO2022209256A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-055478 2021-03-29
JP2021055478A JP2022152636A (ja) 2021-03-29 2021-03-29 撮像素子、撮像装置及び撮像素子の制御方法

Publications (1)

Publication Number Publication Date
WO2022209256A1 true WO2022209256A1 (ja) 2022-10-06

Family

ID=83458661

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/003936 WO2022209256A1 (ja) 2021-03-29 2022-02-02 撮像素子、撮像装置及び撮像素子の制御方法

Country Status (2)

Country Link
JP (1) JP2022152636A (ja)
WO (1) WO2022209256A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010213231A (ja) * 2009-03-12 2010-09-24 Canon Inc 固体撮像素子、その駆動方法及び撮像システム
US20200084403A1 (en) * 2018-09-07 2020-03-12 Samsung Electronics Co., Ltd. Image sensor incuding cmos image sensor pixel and dynamic vision sensor pixel
JP2020068483A (ja) * 2018-10-25 2020-04-30 ソニー株式会社 固体撮像装置及び撮像装置
WO2020100663A1 (ja) * 2018-11-16 2020-05-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び撮像装置
US20210074745A1 (en) * 2019-09-05 2021-03-11 Sony Semiconductor Solutions Corporation Solid-state imaging device and imaging device with shared circuit elements

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010213231A (ja) * 2009-03-12 2010-09-24 Canon Inc 固体撮像素子、その駆動方法及び撮像システム
US20200084403A1 (en) * 2018-09-07 2020-03-12 Samsung Electronics Co., Ltd. Image sensor incuding cmos image sensor pixel and dynamic vision sensor pixel
JP2020068483A (ja) * 2018-10-25 2020-04-30 ソニー株式会社 固体撮像装置及び撮像装置
WO2020100663A1 (ja) * 2018-11-16 2020-05-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び撮像装置
US20210074745A1 (en) * 2019-09-05 2021-03-11 Sony Semiconductor Solutions Corporation Solid-state imaging device and imaging device with shared circuit elements

Also Published As

Publication number Publication date
JP2022152636A (ja) 2022-10-12

Similar Documents

Publication Publication Date Title
US11863911B2 (en) Imaging system, method of controlling imaging system, and object recognition system
US11895398B2 (en) Imaging device and imaging system
US20220172488A1 (en) Imaging system, method for controlling imaging system, and object recognition system
US11683606B2 (en) Imaging device and electronic equipment
TWI788818B (zh) 攝像裝置及攝像方法
US20230047180A1 (en) Imaging device and imaging method
WO2022009664A1 (ja) 撮像装置及び撮像方法
WO2019073726A1 (ja) 固体撮像素子、固体撮像素子の駆動方法、及び、電子機器
US20220148432A1 (en) Imaging system
WO2021153428A1 (ja) 撮像装置、電子機器及び撮像方法
WO2022209256A1 (ja) 撮像素子、撮像装置及び撮像素子の制御方法
JP2023093778A (ja) 撮像装置及び撮像方法
JP2023110108A (ja) 撮像装置及び撮像方法
WO2022239345A1 (ja) 撮像素子、撮像装置及び撮像素子の制御方法
WO2022149556A1 (ja) 撮像装置および電子機器
WO2022202053A1 (ja) 撮像素子、撮像装置及び撮像素子の制御方法
WO2022065032A1 (ja) 撮像装置及び撮像方法
WO2023248855A1 (ja) 光検出装置及び電子機器
WO2022186040A1 (ja) 撮像装置、その駆動方法、および電子機器
US20240080587A1 (en) Solid-state imaging device and electronic instrument
WO2024075492A1 (ja) 固体撮像装置及び比較装置
WO2024070523A1 (ja) 光検出素子及び電子機器
WO2023067755A1 (ja) 光検出装置、撮像装置および測距装置
WO2022102549A1 (ja) 固体撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22779485

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18551236

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22779485

Country of ref document: EP

Kind code of ref document: A1