WO2022270034A1 - 撮像装置、電子機器、および光検出方法 - Google Patents

撮像装置、電子機器、および光検出方法 Download PDF

Info

Publication number
WO2022270034A1
WO2022270034A1 PCT/JP2022/010374 JP2022010374W WO2022270034A1 WO 2022270034 A1 WO2022270034 A1 WO 2022270034A1 JP 2022010374 W JP2022010374 W JP 2022010374W WO 2022270034 A1 WO2022270034 A1 WO 2022270034A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
data
signal
evs
circuit
Prior art date
Application number
PCT/JP2022/010374
Other languages
English (en)
French (fr)
Inventor
和俊 児玉
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to DE112022003194.8T priority Critical patent/DE112022003194T5/de
Priority to US18/558,636 priority patent/US20240236519A1/en
Priority to CN202280043147.1A priority patent/CN117546477A/zh
Priority to KR1020237041725A priority patent/KR20240024796A/ko
Publication of WO2022270034A1 publication Critical patent/WO2022270034A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/7795—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Definitions

  • the present disclosure relates to imaging devices, electronic devices, and light detection methods.
  • EVS Event-based Vision Sensor
  • An imaging device called EVS Event-based Vision Sensor
  • EVS outputs the data of the portion where the brightness level changes caused by some event (for example, movement) occurring in the scene.
  • An arbiter method and a scan method are known for EVS.
  • the arbiter method specifies a pixel that has detected a change in luminance of incident light by arbitrating signals output from a plurality of pixels arranged in a pixel array.
  • the scanning method rows of detection pixels are sequentially selected from the pixel array, and whether or not the luminance of incident light has changed is determined based on the signals output in units of rows.
  • the number of detection pixels for detecting changes in luminance of incident light changes according to the imaging environment.
  • the scanning EVS reads signals of all rows from the pixel array based on the selected order regardless of the number of detected pixels. Therefore, there is room for improvement in high-speed data output performance required for EVS.
  • the present disclosure provides an imaging device, an electronic device, and a light detection method that are capable of outputting data regarding luminance changes of incident light at high speed.
  • An imaging device includes a pixel array in which a plurality of pixel circuits that photoelectrically convert incident light are arranged in a matrix, and a first signal output from the pixel array in units of rows or columns.
  • a timing control circuit for specifying a detection pixel row or a detection pixel column including a pixel circuit that detects a luminance change of incident light among a plurality of pixel circuits; and a readout circuit for reading out.
  • the timing control circuit transmits a frame synchronization signal at a predetermined cycle
  • the readout circuit may read out the first signal across a plurality of the frame synchronization signals.
  • the reading circuit may read the first signal at intervals when straddling the plurality of frame synchronization signals.
  • the timing control circuit may transmit a frame synchronization signal synchronized with the timing at which the reading circuit completes reading of the first signal.
  • the EVS signal processing section may embed at least one dummy data in the first output data according to the number of the detected pixel rows or the number of the detected pixel columns.
  • the EVS signal processing section may embed the dummy data so that the number of data in the first output data is the same between a plurality of frames.
  • the EVS signal processing unit may combine the first output data of a plurality of frames.
  • the EVS signal processing unit may embed a frame start in the first output data of the leading frame among the plurality of frames, and embed a frame end in the first output data of the last frame.
  • All of the first output data of the final frame may be the dummy data.
  • each of the plurality of pixel circuits has a first pixel circuit that outputs the first signal and a second pixel circuit that outputs a second signal according to the luminance of the incident light;
  • An output interface may be further provided for outputting first output data obtained by processing the first signal and second output data obtained by processing the second signal simultaneously.
  • a plurality of second pixel circuits may be provided for one of the first pixel circuits.
  • the output interface may output the first output data and the second output data using different bar channels.
  • the output interface may combine and output a plurality of the first output data for one of the second output data.
  • the first output data and the second output data may be embedded in the same data line.
  • a data header indicating the area of the first output data and the area of the second output data may be embedded.
  • the data header may be embedded at the beginning of the first output data and at the beginning of the second output data.
  • An electronic device includes a pixel array in which a plurality of pixel circuits that photoelectrically convert incident light are arranged in a matrix, and a first signal output from the pixel array in units of rows or columns.
  • a timing control circuit for specifying a detection pixel row or a detection pixel column including a pixel circuit that has detected a luminance change of the incident light among the plurality of pixel circuits based on the pixel circuit; and a readout circuit for reading out the first signal of the pixel column.
  • a photodetection method comprises: A luminance change of the incident light in the plurality of pixel circuits based on a first signal output in units of rows or columns from a pixel array in which a plurality of pixel circuits for photoelectrically converting incident light are arranged in a matrix. Identify a detection pixel row or a detection pixel column that includes the pixel circuit that detected the The first signal of the detection pixel row or the detection pixel column is read out from the pixel array.
  • FIG. 1 is a block diagram showing a configuration example of an electronic device in which an imaging device according to a first embodiment is mounted;
  • FIG. 1 is a block diagram showing the configuration of an imaging device according to a first embodiment;
  • FIG. 3 is a circuit diagram showing the configuration of an EVS pixel circuit;
  • FIG. 1 is an exploded perspective view showing an outline of a chip structure of an imaging device;
  • FIG. 4 is a flow chart showing a procedure of light detection operation of the imaging device; 4 is a timing chart of light detection operation of the imaging device; 9 is another timing chart of the read operation of the read circuit;
  • FIG. 4 is a diagram showing a structure example of EVS data according to the first embodiment;
  • FIG. 11 is a timing chart showing transmission timings of frame synchronization signals in the second embodiment;
  • FIG. 13 is a diagram showing a structure example of EVS data according to the third embodiment
  • FIG. 12 is a diagram showing a structure example of EVS data according to the fourth embodiment
  • FIG. 12 is a block diagram showing the configuration of an imaging device according to a fifth embodiment
  • FIG. 11 is a diagram showing the configuration of a pixel circuit according to a fifth embodiment
  • 4 is a diagram showing a configuration example of a grayscale pixel circuit
  • FIG. FIG. 4 is a diagram showing an example of an output format of EVS data and gradation data
  • FIG. 10 is a diagram showing another example of the output format of EVS data and gradation data
  • FIG. 10 is a diagram showing still another example of the output format of EVS data and gradation data
  • FIG. 4 is a diagram showing an example of the structure of a data group consisting of luminance data and event data;
  • FIG. 4 is a diagram showing an example of the structure of a data group consisting of luminance data and event data;
  • 1 is a block diagram showing an example of a schematic configuration of a vehicle control system;
  • FIG. 4 is an explanatory diagram showing an example of installation positions of an outside information detection unit and an imaging unit;
  • an imaging device and a light detection method will be described below with reference to the drawings.
  • the main components of the imaging device will be mainly described below, the imaging device may have components and functions that are not illustrated or described. The following description does not exclude components or features not shown or described.
  • FIG. 1 is a block diagram showing a configuration example of an electronic device in which an imaging device according to the first embodiment is installed.
  • the electronic device 10 shown in FIG. 1 includes an imaging lens 11, an imaging device 20, a recording unit 12, and a control unit 13.
  • the electronic device 10 can be applied to, for example, a camera system mounted on a communication device such as a smart phone, a camera system mounted on an industrial robot, an in-vehicle camera system, and the like.
  • the imaging lens 11 captures incident light from a subject and forms an image on the imaging surface of the imaging device 20 .
  • the imaging device 20 photoelectrically converts incident light captured by the imaging lens 11 on a pixel-by-pixel basis to obtain imaging data.
  • the imaging device 20 executes predetermined signal processing such as image recognition processing on the captured image data, and outputs data indicating the processing result to the recording unit 12 .
  • the recording unit 12 stores data supplied from the imaging device 20 via the signal line 14 .
  • the control unit 13 is configured by, for example, a microcomputer, and controls the imaging operation of the imaging device 20 .
  • FIG. 2 is a block diagram showing the configuration of the imaging device 20 according to the first embodiment.
  • the image pickup apparatus 20 shown in FIG. 2 is a scan-type image pickup apparatus, and includes a pixel array 21, an access control circuit 22, a timing control circuit 23, a readout circuit 24, an EVS signal processing section 25, and a time stamp generation circuit. 26 and an output interface 27 .
  • the pixel array 21 includes a plurality of EVS pixel circuits 30 (first pixel circuits) two-dimensionally arranged in a matrix. Each EVS pixel circuit 30 generates a voltage signal by photoelectrically converting incident light. Each EVS pixel circuit 30 also outputs a luminance change signal (first signal) indicating whether or not the luminance of incident light has changed based on the generated voltage signal.
  • the luminance change signal is output row by row (each row). Note that the luminance change signal may be output on a column-by-column basis (each column).
  • the access control circuit 22 is composed of, for example, a shift register, and accesses each EVS pixel circuit 30 based on the control of the timing control circuit 23 . This access causes the luminance change signal of each EVS pixel circuit 30 to be read out to the readout circuit 24 .
  • the timing control circuit 23 transmits a frame synchronization signal to each circuit within the imaging device 20 .
  • This frame synchronization signal is a signal that is transmitted at a cycle in which processing for one frame is repeated within the imaging device 20 .
  • the timing control circuit 23 identifies the detection pixel row in which the event is detected based on the luminance change signal input from the pixel array 21 via the access control circuit 22 .
  • a detection pixel row includes at least one active pixel circuit.
  • An active pixel circuit is a pixel circuit whose voltage value corresponding to the brightness of the incident light is above or below a preset threshold.
  • the timing control circuit 23 identifies the detection pixel column that detected the event.
  • a detection pixel column also includes at least one active pixel circuit.
  • the readout circuit 24 reads from the pixel array 21 the luminance change signal of the detection pixel row specified by the timing control circuit 23 . That is, the readout circuit 24 does not read the luminance change signals of all rows of the pixel array 21, but reads only the luminance change signals of the detection pixel row including the active pixels.
  • the readout circuit 24 reads the luminance change signal of the detection pixel column specified by the timing control circuit 23 from the pixel array 21 . That is, the readout circuit 24 does not read the luminance change signals of all the columns of the pixel array 21, but reads only the luminance change signals of the detection pixel columns including the active pixels.
  • the EVS signal processing unit 25 performs predetermined signal processing on the luminance change signal read out by the readout circuit 24 .
  • the EVS signal processing unit 25 creates EVS data for each frame separated by a frame synchronization signal.
  • the EVS data includes the address of the detected pixel row (or detected pixel column), the time stamp indicating the time information when the event was detected, and the like.
  • the time stamp generation circuit 26 generates a time stamp, which is time information when the EVS pixel circuit 30 of the pixel array 21 detects the luminance change of incident light. Also, the time stamp generation circuit 26 outputs the generated time stamp to the EVS signal processing section 25 .
  • the output interface 27 outputs the EVS data to the recording section 12 as the first output data of the EVS signal processing section 25 .
  • FIG. 3 is a circuit diagram showing the configuration of the EVS pixel circuit 30.
  • the EVS pixel circuit 30 shown in FIG. 3 is an example of an EVS pixel circuit and has a logarithmic conversion circuit 310, a buffer circuit 320, a subtraction circuit 330, and a quantization circuit 340.
  • FIG. Buffer circuit 320, subtraction circuit 330, and quantization circuit 340 form an analog front end (AFE) for generating a luminance varying signal.
  • AFE analog front end
  • the logarithmic conversion circuit 310 has a photoelectric conversion element 300 , an N-channel MOS transistor 311 , a P-channel MOS transistor 312 , and an N-channel MOS transistor 313 .
  • the photoelectric conversion element 300 photoelectrically converts the incident light to generate electric charges corresponding to the amount of incident light.
  • the photoelectric conversion element 300 is composed of, for example, a photodiode.
  • the photoelectric conversion element 300 is connected in series with the MOS transistor 514 .
  • the MOS transistor 312 is connected in series with the MOS transistor 313 .
  • the gate of MOS transistor 311 is connected to the drain of MOS transistor 312 and the drain of MOS transistor 313 .
  • the logarithmic conversion circuit 310 converts the charge photoelectrically converted by the photoelectric conversion element 300 into a logarithmic output voltage signal Vlog.
  • the buffer circuit 320 has a P-channel MOS transistor 321 and a P-channel MOS transistor 322 .
  • MOS transistor 321 is connected in series with MOS transistor 522 .
  • the buffer circuit 320 outputs a source follower voltage signal VSF obtained by performing impedance conversion on the voltage signal Vlog input to the gate of the MOS transistor 322 .
  • the subtraction circuit 330 has a P-channel MOS transistor 331 , a P-channel MOS transistor 332 , an N-channel MOS transistor 333 , a capacitor 334 and a capacitor 335 .
  • the MOS transistor 332 is connected in series with the MOS transistor 333 .
  • a capacitor 334 is connected to the gate of the MOS transistor 332 .
  • MOS transistor 331 and capacitor 335 are connected in parallel between the gate and drain of MOS transistor 332 .
  • the MOS transistor 331 is switched from off to on, and the EVS pixel circuit 30 becomes ready for event detection.
  • the subtraction circuit 330 outputs a differential voltage signal Vdiff between the source follower voltage signal VSF before and after resetting.
  • the quantization circuit 340 has a P-channel MOS transistor 341 , an N-channel MOS transistor 342 , a P-channel MOS transistor 343 , and an N-channel MOS transistor 344 .
  • MOS transistor 341 is connected in series with MOS transistor 342 .
  • the MOS transistor 543 is connected in series with the MOS transistor 344 .
  • the MOS transistor 341 and the MOS transistor 342 constitute a first comparator circuit that compares the differential voltage signal Vdiff input to the gate of the MOS transistor 341 with the upper limit threshold.
  • MOS transistor 343 and MOS transistor 344 form a second comparator circuit that compares differential voltage signal Vdiff input to the gate of MOS transistor 343 with the lower limit threshold.
  • the output signals of the first comparator circuit and the second comparator circuit correspond to digital luminance change signals.
  • EVS pixel circuit 30 is not limited to the circuit shown in FIG.
  • a flip-flop circuit that temporarily holds the luminance change signal for each row of the pixel array 21 may be arranged after the quantization circuit 340 .
  • FIG. 4 is an exploded perspective view showing an outline of the chip structure of the imaging device 20.
  • the imaging device 20 has a laminated structure in which at least two chips, a light receiving chip 201 and a detecting chip 202, are laminated.
  • the photoelectric conversion element 300 is arranged on the light receiving chip 201, and all elements other than the photoelectric conversion element 300 and other circuit elements of the imaging device 20 are placed on the detection chip. 202.
  • the light-receiving chip 201 and the detection chip 202 are electrically connected through a connecting portion such as a via (VIA), a Cu--Cu junction, or a bump. That is, the light-receiving chip 201 and the detection chip 202 are bonded together by any one of CoC (Chip on Chip) method, CoW (Chip on Wafer) method, or WoW (Wafer on Wafer) method.
  • CoC Chip on Chip
  • CoW Chip on Wafer
  • WoW WoW
  • the chip layout is not limited to the layout shown in FIG.
  • the pixel array 21 may be arranged on the light receiving chip 201 and other circuit elements may be arranged on the detecting chip 202 .
  • the pixel array 21 , the access control circuit 22 and the readout circuit 24 may be arranged on the light receiving chip 201 and the other circuit elements may be arranged on the detection chip 202 .
  • FIG. 5 the light detection operation of the imaging device 20 configured as described above will be described with reference to FIGS. 5 and 6.
  • FIG. 5 is a flowchart showing the procedure of the photodetection operation of the imaging device 20.
  • FIG. FIG. 6 is a timing chart of the light detection operation of the imaging device 20. As shown in FIG.
  • each EVS pixel circuit 30 of the pixel array 21 generates a luminance change signal during the detection reset period T1 shown in FIG. 6 (step S1). That is, each EVS pixel circuit 30 detects whether the brightness of incident light has changed. The EVS pixel circuit 30 that detects the luminance change is reset.
  • the access control circuit 22 acquires a luminance change signal row by row from the pixel array 21 (step S102). Subsequently, the access control circuit 22 provides the acquired brightness change signal to the timing control circuit 23 and the time stamp generation circuit 26 . As a result, the timing control circuit 23 is notified of all detection pixel rows in the pixel array 21 that have detected a change in luminance of incident light. Also, the time stamp generation circuit 26 generates a time stamp based on the luminance change signal.
  • the timing control circuit 23 selects a row to be accessed by the access control circuit 22 in the pixel array 21 based on the signal value of the luminance change signal (step S103).
  • the timing control circuit 23 identifies rows containing luminance change signals with a signal value of "+1" or "-1" as detection pixel rows, and selects all of the identified rows as access rows.
  • the timing control circuit 23 also notifies the EVS signal processing unit 25 of the number of selected detection pixel rows.
  • step S104 when the access control circuit 22 accesses the detection pixel row selected by the timing control circuit 23, the readout circuit 24 reads the luminance change signal of the detection pixel row during the readout period T2 shown in FIG. 6 (step S104).
  • step S104 when the number of detected pixel rows is small, the readout circuit 24 can read luminance change signals for all detected pixel rows within one frame. However, when the number of detection pixel rows is large, it becomes difficult to read luminance change signals of all the detection pixel rows within one frame. Therefore, in this case, the reading circuit 24 reads the luminance change signal across a plurality of consecutive frames (frame A, frame B).
  • FIG. 7 is another timing chart of the read operation of the read circuit 24.
  • the reading circuit 24 may leave an interval .DELTA.T at the boundary between frames when reading the luminance change signal over a plurality of frames.
  • the length of this interval ⁇ T can be set, for example, in association with the length of the detection reset period T1. Thereby, the readout period T2 in each frame is uniformly set.
  • the readout circuit 24 sequentially outputs the luminance change signals of the detected pixel rows read out from the pixel array 21 to the EVS signal processing section 25 .
  • the EVS signal processing unit 25 compares the number of luminance change signals input from the readout circuit 24 with the number of detected pixel rows notified from the timing control circuit 23 in step S103, thereby determining whether the readout operation of the readout circuit 24 is completed. It is determined whether or not it is completed (step S105).
  • the EVS signal processing unit 25 creates EVS data based on the luminance change signal (step S106). Subsequently, the output interface 27 outputs the EVS data generated by the EVS signal processing section 25 (step S107). After that, the operations of steps S101 to S107 are repeated again.
  • FIG. 8 is a diagram showing a structure example of EVS data according to the first embodiment.
  • the EVS signal processing unit 25 creates EVS data for each frame.
  • a frame start (FS) is embedded at the head of the EVS data, and a frame end (FE) is embedded at the tail.
  • event data (Event) related to the brightness change signal of each detection pixel row and a time stamp of detecting the brightness change of incident light are embedded.
  • the reading circuit 24 reads the luminance change signal from frame A to frame B, the time stamp embedded in the EVS data of frame A is the same as the time stamp embedded in the EVS data of frame B. be.
  • a packet header (PH) and a packet footer (PF) are embedded before and after each event data.
  • the event data can be recognized when reading the EVS data.
  • the address of the detected pixel row is embedded at the head of each event data. Thereby, in the pixel array 21, the position of the detection pixel row in the pixel array 21 can be specified.
  • the frame length corresponds to the number of event data.
  • the number of event data changes according to the number of detected pixel rows. Therefore, the frame length of EVS data may vary from frame to frame. For example, in FIG. 8, frame A has more detected pixel rows than frame B has more detected pixel rows. Therefore, the frame length of the EVS data of the frame A is longer than the frame length of the EVS data of the frame B. Thus, in this embodiment, the frame length of EVS data is variable according to the number of detected pixel rows.
  • the readout circuit 24 reads out only the luminance change signal of the detected pixel row including the EVS pixel circuit 30 that detected the event from the pixel array 21 . Therefore, the readout time can be shortened compared to the case where luminance change signals of all rows are read out from the pixel array 21 . This makes it possible to output EVS data at high speed.
  • the second embodiment differs from the first embodiment in the transmission timing of the frame synchronization signal. Therefore, with reference to FIG. 9, the transmission timing of the frame synchronization signal in the second embodiment will be described.
  • the configuration of the imaging device 20 is the same as in the first embodiment. Therefore, the same reference numerals are given to the constituent elements of the imaging device 20, and detailed description thereof is omitted.
  • FIG. 9 is a timing chart showing the transmission timing of frame synchronization signals in the second embodiment.
  • the timing control circuit 23 transmits a frame synchronization signal in synchronization with the timing at which the readout period T2 ends. Therefore, when the number of detected pixel rows is large, the cycle of the frame synchronization signal becomes long, while when the number of detected pixel rows is small, the cycle of the frame synchronization signal becomes short. Thus, the period of the frame synchronization signal is variable according to the number of detected pixel rows.
  • the EVS signal processing unit 25 recognizes the completion of the readout operation of the readout circuit 24 based on the frame synchronization signal. Therefore, the EVS signal processing unit 25 starts creating EVS data with the frame synchronization signal as a trigger.
  • the readout circuit 24 reads out only the luminance change signal of the detection pixel row, so it is possible to output the EVS data at high speed. Furthermore, in the present embodiment, the timing control circuit 23 transmits the frame synchronization signal at the timing when the reading circuit 24 completes reading the brightness change signal. Therefore, the EVS signal processing unit 25 can create EVS data without being notified of the number of detected pixel rows from the timing control circuit 23 . As a result, the load required for notification processing of the timing control circuit 23 can be reduced.
  • a third embodiment will be described below.
  • the third embodiment differs from the first embodiment in the structure of EVS data. Therefore, the structure of EVS data according to the third embodiment will be described with reference to FIG. It should be noted that the configuration of the imaging device 20 in this embodiment is the same as that in the first embodiment. Therefore, the same reference numerals are given to the constituent elements of the imaging device 20, and detailed description thereof is omitted.
  • FIG. 10 is a diagram showing an example structure of EVS data according to the third embodiment.
  • the EVS signal processing unit 25 embeds dummy data in EVS data with a small number of detected pixel rows.
  • the EVS data of frame A shown in FIG. 10 has six event data.
  • the EVS data of frame B has five event data.
  • the EVS signal processing unit 25 embeds one piece of dummy data in the EVS data of frame B.
  • the frame length of the EVS data of frame B becomes equal to the frame length of the EVS data of frame A.
  • the output interface 27 then outputs the EVS data for each frame.
  • the readout circuit 24 reads out only the luminance change signal of the detection pixel row, so it is possible to output the EVS data at high speed. Furthermore, in this embodiment, the EVS signal processing unit 25 embeds at least one piece of dummy data into the EVS data according to the number of detected pixel rows. Therefore, the number of data in each frame, in other words, the frame length is the same. This makes it possible to fix the frame length of EVS data regardless of the number of detection pixel rows.
  • a fourth embodiment will be described below.
  • the fourth embodiment differs from the third embodiment in the structure of EVS data. Therefore, with reference to FIG. 11, the structure of EVS data according to the fourth embodiment will be described.
  • the configuration of the imaging device 20 in this embodiment is the same as that in the first embodiment. Therefore, the same reference numerals are given to the constituent elements of the imaging device 20, and detailed description thereof is omitted.
  • FIG. 11 is a diagram showing a structure example of EVS data according to the fourth embodiment.
  • the EVS signal processing unit 25 embeds dummy data in EVS data with a small number of detected pixel rows.
  • the EVS signal processing unit 25 combines EVS data of a plurality of frames to create one piece of EVS data in order to fix the frame rate, which is the update rate of EVS data.
  • the EVS signal processing unit 25 combines EVS data of four frames A, B, C, and D.
  • the frame start (FS) is embedded only in the EVS data of the leading frame A, and is not embedded in the EVS data of the remaining frames.
  • the frame end (FE) is embedded only in the EVS data of the final frame D, and is not embedded in the EVS data of the remaining frames.
  • EVS data spanning multiple frames cannot be embedded in the final frame D. Therefore, the EVS data of the final frame D does not contain event data, and consists entirely of dummy data.
  • the readout circuit 24 reads out only the luminance change signal of the detection pixel row, so it is possible to output the EVS data at high speed. Furthermore, in this embodiment, by combining EVS data of a plurality of frames, it is possible to fix the frame rate regardless of the number of detection pixel rows.
  • FIG. 12 is a block diagram showing the configuration of an imaging device according to the fifth embodiment.
  • the same components as those of the imaging apparatus according to the first embodiment described above are denoted by the same reference numerals, and detailed description thereof will be omitted.
  • the imaging device 200 further includes an AD converter 28 and a gradation signal processing section 29 in addition to the constituent elements of the imaging device 20 according to the first embodiment.
  • the configuration of the pixel circuit 40 of the pixel array 21 is different from the configuration of the EVS pixel circuit 30 according to the first embodiment.
  • the configuration of the pixel circuit 40 will be described.
  • FIG. 13 is a diagram showing the configuration of the pixel circuit 40 according to the fifth embodiment.
  • the pixel circuit 40 shown in FIG. 13 further has three gradation pixel circuits 41 (second pixel circuits) in addition to the EVS pixel circuit 30 described in the first embodiment.
  • the three gradation pixel circuits 41 photoelectrically convert, for example, red light (R), green light (G), and blue light (B), respectively, and produce gradation luminance signals (second signals) corresponding to the amount of charge. Output.
  • the number of gradation pixel circuits 41 is not particularly limited, and may be at least one.
  • FIG. 14 is a diagram showing a configuration example of the gradation pixel circuit 41.
  • FIG. The gradation pixel circuit 41 shown in FIG. 14 has a photoelectric conversion section 410 and a signal generation section 420 .
  • the photoelectric conversion unit 410 has a photoelectric conversion element 411 , a transfer transistor 412 , and an OFG (Over Flow Gate) transistor 413 .
  • a transfer transistor 412 and the OFG transistor 413 for example, an N-channel MOS (Metal Oxide Semiconductor) transistor is used. Transfer transistor 412 and OFG transistor 413 are connected in series with each other.
  • the photoelectric conversion element 411 is connected between a common connection node N1 of the transfer transistor 412 and the OFG transistor 413 and the ground, photoelectrically converts incident light, and converts the amount of charge corresponding to the amount of incident light. Generate.
  • the photoelectric conversion element 411 is composed of, for example, a photodiode.
  • a transfer signal TRG is supplied to the gate electrode of the transfer transistor 412 from the access control circuit 22 (see FIG. 2).
  • the transfer transistor 412 supplies the charge photoelectrically converted by the photoelectric conversion element 411 to the signal generator 420 in response to the transfer signal TRG.
  • a control signal OFG is supplied from the access control circuit 22 to the gate electrode of the OFG transistor 413 .
  • the OFG transistor 413 discharges charges remaining in the photoelectric conversion element 411 in response to the control signal OFG.
  • the signal generator 420 has a reset transistor 421 , an amplification transistor 422 , a selection transistor 423 and a floating diffusion layer 424 .
  • N-channel MOS transistors for example, are used for the reset transistor 421 , the amplification transistor 422 , and the selection transistor 423 .
  • the charge photoelectrically converted by the photoelectric conversion element 411 is supplied from the photoelectric conversion unit 410 to the signal generation unit 420 by the transfer transistor 412 .
  • Charges supplied from the photoelectric conversion unit 410 are accumulated in the floating diffusion layer 424 .
  • the floating diffusion layer 424 generates a voltage signal with a voltage value corresponding to the amount of accumulated charge. That is, the floating diffusion layer 424 converts charge into voltage.
  • the reset transistor 421 is connected between the power supply line of the power supply voltage VDD and the floating diffusion layer 424 .
  • a reset signal RST is supplied from the access control circuit 22 to the gate electrode of the reset transistor 421 .
  • the reset transistor 421 initializes (resets) the charge amount of the floating diffusion layer 424 in response to the reset signal RST.
  • the amplification transistor 422 is connected in series with the selection transistor 423 between the power supply line of the power supply voltage VDD and the vertical signal line VSL.
  • the amplification transistor 422 amplifies the voltage signal that has undergone charge-voltage conversion in the floating diffusion layer 424 .
  • a selection signal SEL is supplied from the access control circuit 22 to the gate electrode of the selection transistor 423 .
  • the selection transistor 423 outputs the voltage signal amplified by the amplification transistor 422 to the AD converter 28 via the vertical signal line VSL as a gradation luminance signal in response to the selection signal SEL.
  • the configuration of the gradation pixel circuit 41 described above is an example, and the configuration is not limited to this example.
  • the gradation pixel circuit 41 has a configuration of a ToF (Time of Flight) pixel circuit that measures the distance to the object based on the time from when the object is irradiated with light to when the reflected light is received.
  • ToF Time of Flight
  • SPAD Single Photon Avalanche Diode
  • the AD converter 28 converts the analog gradation luminance signal output from the gradation pixel circuit 41 of that column into a digital signal. Subsequently, the AD converter 28 outputs this digital signal to the gradation signal processing section 29 .
  • the method for reading out the gradation luminance signal from the pixel array 21 is not particularly limited, and may be a rolling shutter method in which the charge accumulation timing shifts for each pixel row, even if it is a global shutter method in which the charge accumulation timing of all pixels is the same. may
  • the gradation signal processing unit 29 executes predetermined signal processing such as CDS (Correlated Double Sampling) processing and image recognition processing on the digital signal acquired from the AD converter 28 . Subsequently, the gradation signal processing section 29 outputs gradation data indicating the processing result to the output interface 27 .
  • the output interface 27 outputs gradation data simultaneously with the EVS data created by the EVS signal processing section 25 .
  • FIG. 15 is a diagram showing an example of the output format of EVS data and gradation data.
  • a frame start (FS) is embedded at the head of the gradation data created by the gradation signal processing unit 29, and a frame end (FE) is embedded at the tail, similarly to the EVS data.
  • Luminance data (Intensity) related to the gradation luminance signal is embedded between the frame start (FS) and the frame end (FE).
  • the output interface 27 simultaneously outputs EVS data and gradation data using different bar channels. Therefore, the EVS data of each frame is separated by a frame start (FS) and a frame end (FE).
  • FS frame start
  • FE frame end
  • the output format of EVS data and gradation data is not limited to the example shown in FIG.
  • FIG. 16 is a diagram showing another example of the output format of EVS data and gradation data. Since the frame rate of EVS data is higher than the frame rate of gradation data, the number of event data per frame differs from the number of luminance data. Therefore, in the EVS data shown in FIG. 16, EVS data of a plurality of frames are combined in order to match with the superframe of the gradation data. Therefore, the frame start (FS) is embedded only in the EVS data of the first frame and is not embedded in the EVS data of the remaining frames. Also, the frame end (FE) is embedded only in the EVS data of the final frame, and is not embedded in the EVS data of the remaining frames.
  • FS the frame start
  • FE frame end
  • FIG. 17 is a diagram showing still another example of the output format of EVS data and gradation data.
  • luminance data and event data are continuously embedded in the same data row.
  • a packet header (PH) is embedded at the head of a data group consisting of luminance data and event data, and a packet footer (PF) is embedded at the end. If the number of event data is smaller than the luminance data, dummy data may be embedded in the data group. In this case, the number of data can be matched between the EVS data and the gradation data.
  • FIG. 18 is a diagram showing an example of the structure of a data group consisting of luminance data and event data.
  • a data header is embedded at the beginning of the luminance data. This data header indicates a luminance data area and an event data area. Therefore, luminance data and event data can be distinguished from each other when reading this data group.
  • FIG. 19 is a diagram showing an example of the structure of a data group consisting of luminance data and event data.
  • data headers are embedded at the beginning of the luminance data and at the beginning of the event data.
  • a data header embedded at the beginning of the luminance data indicates the area of the luminance data.
  • a data header embedded at the beginning of the event data indicates the area of the event data.
  • luminance data and event data can be distinguished from each other when reading the data group.
  • the readout circuit 24 reads out only the luminance change signal of the detection pixel row, so it is possible to output the EVS data at high speed. Furthermore, in this embodiment, it is possible to acquire not only EVS data indicating whether or not an event is detected, but also gradation data indicating the luminance value of the object to be imaged.
  • the technology (the present technology) according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure can be realized as a device mounted on any type of moving body such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, and robots. may
  • FIG. 20 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • a vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • vehicle control system 12000 includes drive system control unit 12010 , body system control unit 12020 , vehicle exterior information detection unit 12030 , vehicle interior information detection unit 12040 , and integrated control unit 12050 .
  • a microcomputer 12051 , an audio/image output unit 12052 , and an in-vehicle network I/F (Interface) 12053 are illustrated as the functional configuration of the integrated control unit 12050 .
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the driving system control unit 12010 includes a driving force generator for generating driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism to adjust and a brake device to generate braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices equipped on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, winkers or fog lamps.
  • the body system control unit 12020 can receive radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 12020 receives the input of these radio waves or signals and controls the door lock device, power window device, lamps, etc. of the vehicle.
  • the vehicle exterior information detection unit 12030 detects information outside the vehicle in which the vehicle control system 12000 is installed.
  • the vehicle exterior information detection unit 12030 is connected with an imaging section 12031 .
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image of the exterior of the vehicle, and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of received light.
  • the imaging unit 12031 can output the electric signal as an image, and can also output it as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or non-visible light such as infrared rays.
  • the in-vehicle information detection unit 12040 detects in-vehicle information.
  • the in-vehicle information detection unit 12040 is connected to, for example, a driver state detection section 12041 that detects the state of the driver.
  • the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 detects the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing off.
  • the microcomputer 12051 calculates control target values for the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and controls the drive system control unit.
  • a control command can be output to 12010 .
  • the microcomputer 12051 realizes the functions of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation of vehicles, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, etc. Cooperative control can be performed for the purpose of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation of vehicles, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, etc. Cooperative control can be performed for the purpose of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation of vehicles, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, etc. based on the information about the vehicle surroundings acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, so that the driver's Cooperative control can be performed for the purpose of autonomous driving, etc., in which vehicles autonomously travel without depending on operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12030 based on the information outside the vehicle acquired by the information detection unit 12030 outside the vehicle.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the vehicle exterior information detection unit 12030, and performs cooperative control aimed at anti-glare such as switching from high beam to low beam. It can be carried out.
  • the audio/image output unit 12052 transmits at least one of audio and/or image output signals to an output device capable of visually or audibly notifying the passengers of the vehicle or the outside of the vehicle.
  • an audio speaker 12061, a display section 12062 and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
  • FIG. 21 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the imaging unit 12031 has imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided at positions such as the front nose, side mirrors, rear bumper, back door, and windshield of the vehicle 12100, for example.
  • An image pickup unit 12101 provided in the front nose and an image pickup unit 12105 provided above the windshield in the passenger compartment mainly acquire images in front of the vehicle 12100 .
  • Imaging units 12102 and 12103 provided in the side mirrors mainly acquire side images of the vehicle 12100 .
  • An imaging unit 12104 provided in the rear bumper or back door mainly acquires an image behind the vehicle 12100 .
  • the imaging unit 12105 provided above the windshield in the passenger compartment is mainly used for detecting preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
  • FIG. 21 shows an example of the imaging range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided in the front nose
  • the imaging range 1211212113 indicates the imaging ranges of the imaging units 12102 and 12103 provided in the side mirrors
  • the imaging range 12114 indicates the imaging range of the rear bumper or
  • the imaging range of the imaging unit 12104 provided in the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera composed of a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 determines the distance to each three-dimensional object within the imaging ranges 12111 to 12114 and changes in this distance over time (relative velocity with respect to the vehicle 12100). , it is possible to extract, as the preceding vehicle, the closest three-dimensional object on the traveling path of the vehicle 12100, which runs at a predetermined speed (for example, 0 km/h or more) in substantially the same direction as the vehicle 12100. can. Furthermore, the microcomputer 12051 can set the inter-vehicle distance to be secured in advance in front of the preceding vehicle, and perform automatic brake control (including following stop control) and automatic acceleration control (including following start control). In this way, cooperative control can be performed for the purpose of automatic driving in which the vehicle runs autonomously without relying on the operation of the driver.
  • automatic brake control including following stop control
  • automatic acceleration control including following start control
  • the microcomputer 12051 converts three-dimensional object data related to three-dimensional objects to other three-dimensional objects such as motorcycles, ordinary vehicles, large vehicles, pedestrians, and utility poles. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into those that are visible to the driver of the vehicle 12100 and those that are difficult to see. Then, the microcomputer 12051 judges the collision risk indicating the degree of danger of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, an audio speaker 12061 and a display unit 12062 are displayed. By outputting an alarm to the driver via the drive system control unit 12010 and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not the pedestrian exists in the captured images of the imaging units 12101 to 12104 .
  • recognition of a pedestrian is performed by, for example, a procedure for extracting feature points in images captured by the imaging units 12101 to 12104 as infrared cameras, and performing pattern matching processing on a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian.
  • the audio image output unit 12052 outputs a rectangular outline for emphasis to the recognized pedestrian. is superimposed on the display unit 12062 . Also, the audio/image output unit 12052 may control the display unit 12062 to display an icon or the like indicating a pedestrian at a desired position.
  • the technology according to the present disclosure can be applied, for example, to the imaging unit 12031 among the configurations described above.
  • the imaging devices according to the first to fifth embodiments can be applied to the imaging unit 12031 .
  • this technique can take the following structures. (1) a pixel array in which a plurality of pixel circuits that photoelectrically convert incident light are arranged in a matrix; A detection pixel row or a detection pixel column including a pixel circuit that detects the luminance change of the incident light is specified among the plurality of pixel circuits based on the first signal output from the pixel array in units of rows or columns.
  • a timing control circuit for a readout circuit for reading out the first signal of the detection pixel row or the detection pixel column from the pixel array An imaging device comprising: (2) the timing control circuit transmits a frame synchronization signal at a predetermined cycle; The imaging device according to (1), wherein the readout circuit reads out the first signal straddling a plurality of the frame synchronization signals. (3) The imaging apparatus according to (2), wherein the readout circuit reads out the first signals at intervals when straddling the plurality of frame synchronization signals. (4) The imaging apparatus according to (1), wherein the timing control circuit transmits a frame synchronization signal synchronized with timing at which the reading circuit completes reading the first signal.
  • the EVS signal processing unit embeds a frame start in the first output data of the leading frame among the plurality of frames, and embeds a frame end in the first output data of the last frame;
  • the imaging device according to .
  • each of the plurality of pixel circuits has a first pixel circuit that outputs the first signal and a second pixel circuit that outputs a second signal according to the luminance of the incident light;
  • the imaging apparatus according to any one of (1) to (9), further comprising an output interface that outputs first output data obtained by processing the first signal and second output data obtained by processing the second signal simultaneously.
  • the output interface outputs the first output data and the second output data using different bar channel channels.
  • the output interface outputs a combination of a plurality of the first output data for one of the second output data.
  • the imaging device according to (10) or (11), wherein the first output data and the second output data are embedded in the same data line.
  • a data header indicating the area of the first output data and the area of the second output data is embedded.
  • a pixel array in which a plurality of pixel circuits for photoelectrically converting incident light are arranged in a matrix, and the plurality of pixel circuits based on a first signal output from the pixel array in units of rows or columns.
  • a timing control circuit for specifying a detection pixel row or a detection pixel column including a pixel circuit that detects a luminance change of the incident light; and reading out the first signal of the detection pixel row or the detection pixel column from the pixel array.
  • An electronic device comprising an imaging device having a readout circuit.
  • Pixel array 23 Timing control circuit 24: Readout circuit 25: EVS signal processing unit 27: Output interface 30: EVS pixel circuit 40: Pixel circuit 41: Grayscale pixel circuit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

［課題］入射光の輝度変化に関するデータを高速に出力することが可能な撮像装置を提供する。 ［解決手段］本開示の一実施形態に係る撮像装置は、入射光を光電変換する複数の画素回路が行列状に配列された画素アレイと、画素アレイから行単位または列単位で出力された第１信号に基づいて、複数の画素回路の中で入射光の輝度変化を検出した画素回路を含む検出画素行または検出画素列を特定するタイミング制御回路と、画素アレイから検出画素行または検出画素列の第１信号を読み出す読出し回路と、を備える。

Description

撮像装置、電子機器、および光検出方法
　本開示は、撮像装置、電子機器、および光検出方法に関する。
　イベントドリブン方式の撮像装置の一つとして、ＥＶＳ(Event-based Vision Sensor)と呼ばれる撮像装置が知られている。ＥＶＳは、シーンの中で何らかのイベント（例えば、動き）が発生したときに、当該イベントによって生じる輝度レベルの変化した部分のデータを出力する。ＥＶＳには、アービタ方式とスキャン方式が知られている。アービタ方式は、画素アレイに配列された複数の画素から出力された信号を調停することによって入射光の輝度変化を検出した画素を特定する。一方、スキャン方式では、画素アレイから検出画素の行を順番に選択し、行単位で出力された信号に基づいて入射光の輝度が変化したか否かを判断する。
特開２０１８－１４８５５３号公報 特表２０１５－５０１９３６号公報 特開２０２０－６８５２２号公報
　ＥＶＳでは、入射光の輝度変化を検出する検出画素数は、撮像環境に応じて変化する。しかし、スキャン方式のＥＶＳは、検出画素数に関わらず、選択した順番に基づいて、画素アレイから全ての行の信号を読み出す。そのため、ＥＶＳに求められる高速なデータ出力性能に改善の余地がある。
　本開示は、入射光の輝度変化に関するデータを高速に出力することが可能な撮像装置、電子機器、および光検出方法を提供する。
　本開示の一実施形態に係る撮像装置は、入射光を光電変換する複数の画素回路が行列状に配列された画素アレイと、画素アレイから行単位または列単位で出力された第１信号に基づいて、複数の画素回路の中で入射光の輝度変化を検出した画素回路を含む検出画素行または検出画素列を特定するタイミング制御回路と、画素アレイから検出画素行または検出画素列の第１信号を読み出す読出し回路と、を備える。
　前記タイミング制御回路は、所定の周期でフレーム同期信号を発信し、
　前記読出し回路は、複数の前記フレーム同期信号を跨いで前記第１信号を読み出してもよい。
　前記読出し回路は、前記複数のフレーム同期信号を跨ぐ際に、間隔を空けて前記第１信号を読み出してもよい。
　前記タイミング制御回路は、前記読出し回路が前記第１信号の読み出しを完了するタイミングに同期するフレーム同期信号を発信してもよい。
　前記読出し回路から読み出された前記第１信号を処理するＥＶＳ信号処理部をさらに備え、
　前記ＥＶＳ信号処理部は、前記検出画素行の数または前記検出画素列の数に応じて少なくとも１つのダミーデータを第１出力データに埋め込んでもよい。
　前記ＥＶＳ信号処理部は、複数のフレーム間で前記第１出力データのデータ数が同じになるように、前記ダミーデータを埋め込んでもよい。
　前記ＥＶＳ信号処理部は、複数のフレームの前記第１出力データを組み合わせてもよい。
　前記ＥＶＳ信号処理部は、前記複数のフレームの中で先頭のフレームの前記第１出力データにフレームスタートを埋め込み、最終のフレームの前記第１出力データにフレームエンドを埋め込んでもよい。
　前記最終のフレームの前記第１出力データが、全て前記ダミーデータであってもよい。
　前記複数の画素回路の各々が、前記第１信号を出力する第１画素回路と、前記入射光の輝度に応じた第２信号を出力する第２画素回路と、を有し、
　前記第１信号を処理した第１出力データを、前記第２信号を処理した第２出力データと同時に出力する出力インターフェースをさらに備えていてもよい。
　１つの前記第１画素回路に対して複数の第２画素回路が設けられていてもよい。
　前記出力インターフェースは、互いに異なるバーチャネルチャネルを使用して前記第１出力データおよび前記第２出力データを出力してもよい。
　前記出力インターフェースは、１つの前記第２出力データに対して複数の前記第１出力データを組み合わせて出力してもよい。
　前記第１出力データおよび前記第２出力データが、同一のデータ行に埋め込まれていてもよい。
　前記第１出力データの領域および前記第２出力データの領域を示すデータヘッダが埋め込まれていてもよい。
　前記データヘッダが、前記第１出力データの先頭および前記第２出力データの先頭にそれぞれ埋め込まれていてもよい。
　本開示の一実施形態に係る電子機器は、入射光を光電変換する複数の画素回路が行列状に配列された画素アレイと、前記画素アレイから行単位または列単位で出力された第１信号に基づいて、前記複数の画素回路の中で前記入射光の輝度変化を検出した画素回路を含む検出画素行または検出画素列を特定するタイミング制御回路と、前記画素アレイから前記検出画素行または前記検出画素列の前記第１信号を読み出す読出し回路と、を有する撮像装置を備える。
　本開示の一実施形態に係る光検出方法は、
　入射光を光電変換する複数の画素回路が行列状に配列された画素アレイから行単位または列単位で出力された第１信号に基づいて、前記複数の画素回路の中で前記入射光の輝度変化を検出した画素回路を含む検出画素行または検出画素列を特定し、
　前記画素アレイから前記検出画素行または前記検出画素列の前記第１信号を読み出す。
第１実施形態に係る撮像装置が搭載される電子機器の一構成例を示すブロック図である。 第１実施形態に係る撮像装置の構成を示すブロック図である。 ＥＶＳ画素回路の構成を示す回路図である。 撮像装置のチップ構造の概略を示す分解斜視図である。 撮像装置の光検出動作の手順を示すフローチャートである。 撮像装置の光検出動作のタイミングチャートである。 読出し回路の読み出し動作の別のタイミングチャートである。 第１実施形態に係るＥＶＳデータの構造例を示す図である。 第２実施形態におけるフレーム同期信号の発信タイミングを示すタイミングチャートである。 第３実施形態に係るＥＶＳデータの構造例を示す図である。 第４実施形態に係るＥＶＳデータの構造例を示す図である。 第５実施形態に係る撮像装置の構成を示すブロック図である。 第５実施形態に係る画素回路の構成を示す図である。 階調画素回路の構成例を示す図である。 ＥＶＳデータおよび階調データの出力形式の一例を示す図である。 ＥＶＳデータおよび階調データの出力形式の別の一例を示す図である。 ＥＶＳデータおよび階調データの出力形式のさらに別の一例を示す図である。 輝度データおよびイベントデータから成るデータ群の構造の一例を示す図である。 輝度データおよびイベントデータから成るデータ群の構造の一例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部および撮像部の設置位置の一例を示す説明図である。
　以下、図面を参照して、撮像装置および光検出方法の実施形態について説明する。以下では、撮像装置の主要な構成部分を中心に説明するが、撮像装置には、図示又は説明されていない構成部分や機能が存在し得る。以下の説明は、図示又は説明されていない構成部分や機能を除外しない。
　（第１実施形態）
　図１は、第１実施形態に係る撮像装置が搭載される電子機器の一構成例を示すブロック図である。
　図１に示す電子機器１０は、撮像レンズ１１と、撮像装置２０と、記録部１２と、制御部１３と、を備える。この電子機器１０は、例えば、スマートフォン等の通信機器に搭載されるカメラシステム、産業用ロボットに搭載されるカメラシステム、および車載カメラシステムなどに適用することができる。
　撮像レンズ１１は、被写体からの入射光を取り込んで撮像装置２０の撮像面上に結像する。撮像装置２０は、撮像レンズ１１によって取り込まれた入射光を画素単位で光電変換して撮像データを取得する。
　撮像装置２０は、撮像した画像データに対して、画像認識処理等の所定の信号処理を実行し、その処理結果を示すデータを記録部１２に出力する。記録部１２は、信号線１４を介して撮像装置２０から供給されるデータを記憶する。制御部１３は、例えば、マイクロコンピュータによって構成され、撮像装置２０における撮像動作の制御を行う。
　図２は、第１実施形態に係る撮像装置２０の構成を示すブロック図である。図２に示す撮像装置２０は、スキャン方式の撮像装置であり、画素アレイ２１と、アクセス制御回路２２と、タイミング制御回路２３と、読出し回路２４と、ＥＶＳ信号処理部２５と、タイムスタンプ生成回路２６と、出力インターフェース２７と、を備える。
　画素アレイ２１は、行列状に２次元配列された複数のＥＶＳ画素回路３０（第１画素回路）を含む。各ＥＶＳ画素回路３０は、入射光を光電変換した電圧信号を生成する。また、各ＥＶＳ画素回路３０は、生成した電圧信号に基づいて、入射光の輝度が変化したか否かを示す輝度変化信号（第１信号）を出力する。輝度変化信号は、行単位で（１行毎に）出力される。なお、輝度変化信号は、列単位（１列毎に）出力されてもよい。
　アクセス制御回路２２は、例えばシフトレジスタで構成され、タイミング制御回路２３の制御に基づいて、各ＥＶＳ画素回路３０にアクセスする。このアクセスによって、各ＥＶＳ画素回路３０の輝度変化信号が読出し回路２４に読み出される。
　タイミング制御回路２３は、撮像装置２０内の各回路にフレーム同期信号を発信する。このフレーム同期信号は、撮像装置２０内で１フレーム分の処理を繰り返し行う周期で発信される信号である。また、タイミング制御回路２３は、画素アレイ２１からアクセス制御回路２２を介して入力された輝度変化信号に基づいて、イベントを検出した検出画素行を特定する。検出画素行には、活性画素回路が少なくとも１つ含まれている。活性画素回路は、入射光の輝度に対応する電圧値が予め設定されたしきい値を上回るかまたは下回る画素回路である。なお、輝度変化信号が画素アレイ２１から列単位で出力される場合には、タイミング制御回路２３は、イベントを検出した検出画素列を特定する。検出画素列にも、活性画素回路が少なくとも１つ含まれている。
　読出し回路２４は、タイミング制御回路２３で特定された検出画素行の輝度変化信号を画素アレイ２１から読み出す。すなわち、読出し回路２４は、画素アレイ２１の全ての行の輝度変化信号を読み出すのではなく、活性画素を含む検出画素行の輝度変化信号のみを読み出す。なお、輝度変化信号が画素アレイ２１から列単位で出力される場合には、読出し回路２４は、タイミング制御回路２３で特定された検出画素列の輝度変化信号を画素アレイ２１から読み出す。すなわち、読出し回路２４は、画素アレイ２１の全ての列の輝度変化信号を読み出すのではなく、活性画素を含む検出画素列の輝度変化信号のみを読み出す。
　ＥＶＳ信号処理部２５は、読出し回路２４で読み出された輝度変化信号に対して所定の信号処理を行う。例えば、ＥＶＳ信号処理部２５は、フレーム同期信号で区切られるフレーム毎にＥＶＳデータを作成する。ＥＶＳデータには、検出画素行（または検出画素列）のアドレスや、イベントを検出した時間情報を示すタイムスタンプなどが含まれている。
　タイムスタンプ生成回路２６は、画素アレイ２１のＥＶＳ画素回路３０で入射光の輝度変化を検出した時間情報であるタイムスタンプを生成する。また、タイムスタンプ生成回路２６は、生成したタイムスタンプをＥＶＳ信号処理部２５へ出力する。
　出力インターフェース２７は、上記ＥＶＳデータをＥＶＳ信号処理部２５の第１出力データとして記録部１２へ出力する。
　図３は、ＥＶＳ画素回路３０の構成を示す回路図である。図３に示すＥＶＳ画素回路３０は、ＥＶＳ画素回路の一例であり、対数変換回路３１０、バッファ回路３２０、減算回路３３０、および量子化回路３４０を有する。バッファ回路３２０、減算回路３３０、および量子化回路３４０は、輝度変化信号を生成するためのアナログフロントエンド（ＡＦＥ）を構成する。
　対数変換回路３１０は、光電変換素子３００と、Ｎチャネル型のＭＯＳトランジスタ３１１と、Ｐチャネル型のＭＯＳトランジスタ３１２と、Ｎチャネル型のＭＯＳトランジスタ３１３と、を有する。光電変換素子３００は、入射光を光電変換して、入射光の光量に応じた電荷量の電荷を生成する。光電変換素子３００は、例えばフォトダイオードで構成される。光電変換素子３００は、ＭＯＳトランジスタ５１４に直列に接続されている。また、ＭＯＳトランジスタ３１２は、ＭＯＳトランジスタ３１３に直列に接続されている。さらに、ＭＯＳトランジスタ３１１のゲートが、ＭＯＳトランジスタ３１２のドレインおよびＭＯＳトランジスタ３１３のドレインに接続されている。対数変換回路３１０では、光電変換素子３００で光電変換された電荷を、対数出力の電圧信号Ｖｌｏｇに変換する。
　バッファ回路３２０は、Ｐチャネル型のＭＯＳトランジスタ３２１と、Ｐチャネル型のＭＯＳトランジスタ３２２と、を有する。ＭＯＳトランジスタ３２１は、ＭＯＳトランジスタ５２２に直列に接続されている。バッファ回路３２０は、ＭＯＳトランジスタ３２２のゲートに入力された電圧信号Ｖｌｏｇに対してインピーダンス変換を行ったソースフォロワ電圧信号ＶＳＦを出力する。
　減算回路３３０は、Ｐチャネル型のＭＯＳトランジスタ３３１と、Ｐチャネル型のＭＯＳトランジスタ３３２と、Ｎチャネル型のＭＯＳトランジスタ３３３と、キャパシタ３３４と、キャパシタ３３５と、を有する。ＭＯＳトランジスタ３３２は、ＭＯＳトランジスタ３３３に直列に接続されている。ＭＯＳトランジスタ３３２のゲートには、キャパシタ３３４が接続されている。ＭＯＳトランジスタ３３２のゲートとドレインとの間には、ＭＯＳトランジスタ３３１よびキャパシタ３３５が並列に接続されている。ＥＶＳ画素回路３０がイベントを検出すると、ＭＯＳトランジスタ３３１がオフからオンに切り替わる。これにより、ＥＶＳ画素回路３０は、イベントを検出できないリセット状態となる。その後、所定の時間が経過すると、ＭＯＳトランジスタ３３１がオフからオンに切り替わり、ＥＶＳ画素回路３０は、イベント検出可能な状態となる。減算回路３３０は、リセット前後のソースフォロワ電圧信号ＶＳＦの差分電圧信号Ｖｄｉｆｆを出力する。
　量子化回路３４０は、Ｐチャネル型のＭＯＳトランジスタ３４１と、Ｎチャネル型のＭＯＳトランジスタ３４２と、Ｐチャネル型のＭＯＳトランジスタ３４３と、Ｎチャネル型のＭＯＳトランジスタ３４４と、を有する。ＭＯＳトランジスタ３４１は、ＭＯＳトランジスタ３４２に直列に接続されている。また、ＭＯＳトランジスタ５４３は、ＭＯＳトランジスタ３４４に直列に接続されている。
　ＭＯＳトランジスタ３４１およびＭＯＳトランジスタ３４２は、ＭＯＳトランジスタ３４１のゲートに入力された差分電圧信号Ｖｄｉｆｆを上限しきい値と比較する第１コンパレータ回路を構成する。また、ＭＯＳトランジスタ３４３およびＭＯＳトランジスタ３４４は、ＭＯＳトランジスタ３４３のゲートに入力された差分電圧信号Ｖｄｉｆｆを下限しきい値と比較する第２コンパレータ回路を構成する。第１コンパレータ回路および第２コンパレータ回路の出力信号が、デジタル方式の輝度変化信号に相当する。差分電圧信号Ｖｄｉｆｆが、上限しきい値を上回る場合、輝度変化信号の信号値は、「＋１」である。差分電圧信号Ｖｄｉｆｆが、下限しきい値を下回る場合、輝度変化信号の信号値は、「－１」である。差分電圧信号Ｖｄｉｆｆが、上限しきい値と下限しきい値との間の範囲内である場合、輝度変化信号の信号値は、「０」である。
　なお、ＥＶＳ画素回路３０は、入射光の輝度変化を検出可能な回路であればよく、図３に示す回路に限定されない。例えば、画素アレイ２１の各行の輝度変化信号を一時的に保持するフリップフロップ回路が、量子化回路３４０の後段に配置されていてもよい。
　図４は、撮像装置２０のチップ構造の概略を示す分解斜視図である。図４に示すように、撮像装置２０は、受光チップ２０１および検出チップ２０２の少なくとも２つのチップが積層された積層構造を有する。例えば、図３に示すＥＶＳ画素回路３０のうち、光電変換素子３００が、受光チップ２０１上に配置され、光電変換素子３００以外の素子の全てや、撮像装置２０の他の回路素子などが検出チップ２０２上に配置される。受光チップ２０１と検出チップ２０２とは、ビア（ＶＩＡ）、Ｃｕ－Ｃｕ接合、バンプなどの接続部を介して電気的に接続される。すなわち、受光チップ２０１と検出チップ２０２とは、ＣｏＣ（Chip on Chip）方式、ＣｏＷ（Chip on Wafer）方式、又はＷｏＷ（Wafer on Wafer）方式のいずれかで貼り合わされる。
　なお、チップレイアウトは、図４に示すレイアウトに限られない。例えば、画素アレイ２１を受光チップ２０１に配置し、他の回路素子を検出チップ２０２に配置してもよい。また、画素アレイ２１、アクセス制御回路２２、および読出し回路２４を受光チップ２０１に配置し、それ以外の回路素子を検出チップ２０２に配置してもよい。
　次に、図５および図６を参照して、上記のように構成された撮像装置２０の光検出動作を説明する。
　図５は、撮像装置２０の光検出動作の手順を示すフローチャートである。図６は、撮像装置２０の光検出動作のタイミングチャートである。
　本実施形態では、まず、画素アレイ２１の各ＥＶＳ画素回路３０が、図６に示す検出リセット期間Ｔ１に輝度変化信号を生成する（ステップＳ１）。すなわち、各ＥＶＳ画素回路３０が、入射光の輝度が変化したか否かを検出する。輝度変化を検出したＥＶＳ画素回路３０は、リセットされる。
　次に、アクセス制御回路２２が、画素アレイ２１から行単位で輝度変化信号を取得する（ステップＳ１０２）。続いて、アクセス制御回路２２は、取得した輝度変化信号をタイミング制御回路２３およびタイムスタンプ生成回路２６に提供する。これにより、画素アレイ２１の中で、入射光の輝度変化を検出した検出画素行の全てが、タイミング制御回路２３に通知される。また、タイムスタンプ生成回路２６は、輝度変化信号に基づいてタイムスタンプを生成する。
　次に、タイミング制御回路２３は、輝度変化信号の信号値に基づいて、画素アレイ２１の中で、アクセス制御回路２２がアクセスする行を選択する（ステップＳ１０３）。ステップＳ１０３では、タイミング制御回路２３は、信号値が「＋１」または「－１」である輝度変化信号を含む行を検出画素行と特定し、特定した全ての行をアクセス行として選択する。また、タイミング制御回路２３は、選択した検出画素行の数をＥＶＳ信号処理部２５へ通知する。
　次に、アクセス制御回路２２が、タイミング制御回路２３によって選択された検出画素行にアクセスすると、読出し回路２４が、図６に示す読出し期間Ｔ２に検出画素行の輝度変化信号を読み出す（ステップＳ１０４）。ステップＳ１０４では、検出画素行の数が少ない場合には、読出し回路２４は、１フレーム内で全ての検出画素行について輝度変化信号を読み出すことができる。しかし、検出画素行の数が多い場合には、１フレーム内で全ての検出画素行の輝度変化信号を読み出すことが困難になる。そこで、この場合には、読出し回路２４は、連続する複数のフレーム（フレームＡ、フレームＢ）に跨って輝度変化信号を読み出す。
　図７は、読出し回路２４の読み出し動作の別のタイミングチャートである。図７に示すように、読出し回路２４は、複数のフレームに渡って輝度変化信号を読み出す際、フレーム間の境界部分に間隔ΔＴを空けてもよい。この間隔ΔＴの長さは、例えば、検出リセット期間Ｔ１の長さに対応付けて設定することができる。これにより、各フレーム内における読出し期間Ｔ２が一律に設定される。
　読出し回路２４は、画素アレイ２１から読み出した検出画素行の輝度変化信号を逐次的にＥＶＳ信号処理部２５へ出力する。ＥＶＳ信号処理部２５は、読出し回路２４から入力された輝度変化信号の数を、ステップＳ１０３でタイミング制御回路２３から通知された検出画素行の数と比較することによって、読出し回路２４の読み出し動作が完了したか否かを判定する（ステップＳ１０５）。
　読出し回路２４の読み出し動作が完了すると、ＥＶＳ信号処理部２５は、輝度変化信号に基づいてＥＶＳデータを作成する（ステップＳ１０６）。続いて、出力インターフェース２７が、ＥＶＳ信号処理部２５で生成されたＥＶＳデータを出力する（ステップＳ１０７）。その後、ステップＳ１０１～ステップＳ１０７の動作が、再び繰り返される。
　図８は、第１実施形態に係るＥＶＳデータの構造例を示す図である。ＥＶＳ信号処理部２５は、フレーム毎にＥＶＳデータを作成する。ＥＶＳデータの先頭にはフレームスタート（ＦＳ）が埋め込まれ、末尾にはフレームエンド（ＦＥ）が埋め込まれている。フレームスタート（ＦＳ）とフレームエンド（ＦＥ）との間には、各検出画素行の輝度変化信号に関連するイベントデータ（Ｅｖｅｎｔ）と、入射光の輝度変化を検出したタイムスタンプとが埋め込まれている。なお、読出し回路２４がフレームＡからフレームＢに渡って輝度変化信号を読み出す場合には、フレームＡのＥＶＳデータに埋め込まれたタイムスタンプは、フレームＢのＥＶＳデータに埋め込まれたタイムスタンプと同じである。
　各イベントデータの前後には、パケットヘッダ（ＰＨ）およびパケットフッダ（ＰＦ）がそれぞれ埋め込まれている。これにより、ＥＶＳデータを読み取る際、イベントデータを認識することができる。また、各イベントデータの先頭には、検出画素行のアドレスが埋め込まれている。これにより、画素アレイ２１において、画素アレイ２１における検出画素行の位置を特定することができる。
　上述したＥＶＳデータでは、フレーム長は、イベントデータの数に対応する。このイベントデータの数は、検出画素行の数に応じて変化する。そのため、ＥＶＳデータのフレーム長は、フレーム毎に異なる場合がある。例えば、図８では、フレームＡの検出画素行は、フレームＢの検出画素行よりも多い。そのため、フレームＡのＥＶＳデータのフレーム長は、フレームＢのＥＶＳデータのフレーム長よりも長くなる。このように、本実施形態では、ＥＶＳデータのフレーム長は、検出画素行の数に対応して可変である。
　以上説明した本実施形態によれば、読出し回路２４は、画素アレイ２１からイベントを検出したＥＶＳ画素回路３０を含む検出画素行の輝度変化信号のみを読み出す。そのため、画素アレイ２１から全ての行の輝度変化信号を読み出す場合に比べて、読み出し時間が短縮宿される。これにより、ＥＶＳデータを高速に出力することが可能となる。
　（第２実施形態）
　以下、第２実施形態について説明する。第２実施形態は、フレーム同期信号の発信タイミングが第１実施形態と異なる。そこで、図９を参照して、第２実施形態におけるフレーム同期信号の発信タイミングを説明する。なお、本実施形態では、撮像装置２０の構成は、第１実施形態と同じである。そのため、撮像装置２０の構成要素には同じ符号を付し、詳細な説明を省略する。
　図９は、第２実施形態におけるフレーム同期信号の発信タイミングを示すタイミングチャートである。本実施形態では、図９に示すように、タイミング制御回路２３は、読出し期間Ｔ２が終了するタイミングに同期してフレーム同期信号を発信する。そのため、検出画素行の数が多いとフレーム同期信号の周期は長くなる一方で、検出画素行の数が少ないとフレーム同期信号の周期は短くなる。このように、フレーム同期信号の周期は、検出画素行の数に応じて可変である。
　また、本実施形態では、ＥＶＳ信号処理部２５は、フレーム同期信号に基づいて読出し回路２４の読み出し動作の完了を認識する。そのため、ＥＶＳ信号処理部２５は、フレーム同期信号をトリガとしてＥＶＳデータの作成を開始する。
　以上説明した本実施形態によれば、第１実施形態と同じく、読出し回路２４が、検出画素行の輝度変化信号のみを読み出すため、ＥＶＳデータを高速に出力することが可能となる。さらに本実施形態では、読出し回路２４が輝度変化信号の読み出しを完了するタイミングでタイミング制御回路２３がフレーム同期信号を発信する。そのため、ＥＶＳ信号処理部２５は、タイミング制御回路２３から検出画素行の数を通知されなくてもＥＶＳデータを作成できる。これにより、タイミング制御回路２３の通知処理に要する負荷を軽減することができる。
　（第３実施形態）
　以下、第３実施形態について説明する。第３実施形態は、ＥＶＳデータの構造が第１実施形態と異なる。そこで、図１０を参照して、第３実施形態に係るＥＶＳデータの構造を説明する。なお、本実施形態でも、撮像装置２０の構成は、第１実施形態と同じである。そのため、撮像装置２０の構成要素には同じ符号を付し、詳細な説明を省略する。
　図１０は、第３実施形態に係るＥＶＳデータの構造例を示す図である。本実施形態では、各フレームの検出画素行の数が異なる場合、ＥＶＳ信号処理部２５は、検出画素行の数が少ないＥＶＳデータにダミーデータを埋め込む。
　例えば、図１０に示すフレームＡのＥＶＳデータは、６つのイベントデータを有する。一方、フレームＢのＥＶＳデータは、５つのイベントデータを有する。この場合、ＥＶＳ信号処理部２５は、フレームＢのＥＶＳデータに１つのダミーデータを埋め込む。その結果、フレームＢのＥＶＳデータのフレーム長が、フレームＡのＥＶＳデータのフレーム長と等しくなる。その後、出力インターフェース２７が、各フレームのＥＶＳデータを出力する。
　以上説明した本実施形態によれば、第１実施形態と同じく、読出し回路２４が、検出画素行の輝度変化信号のみを読み出すため、ＥＶＳデータを高速に出力することが可能となる。さらに本実施形態では、ＥＶＳ信号処理部２５が、検出画素行の数に応じて少なくとも１つのダミーデータをＥＶＳデータに埋め込む。そのため、各フレームのデータ数、換言するとフレーム長が同じになる。これにより、検出画素行の数に関わらず、ＥＶＳデータのフレーム長を固定することが可能となる。
　（第４実施形態）
　以下、第４実施形態について説明する。第４実施形態は、ＥＶＳデータの構造が第３実施形態と異なる。そこで、図１１を参照して、第４実施形態に係るＥＶＳデータの構造を説明する。なお、本実施形態でも、撮像装置２０の構成は、第１実施形態と同じである。そのため、撮像装置２０の構成要素には同じ符号を付し、詳細な説明を省略する。
　図１１は、第４実施形態に係るＥＶＳデータの構造例を示す図である。本実施形態では、第３実施形態と同じく、各フレームの検出画素行の数が異なる場合、ＥＶＳ信号処理部２５は、検出画素行の数が少ないＥＶＳデータにダミーデータを埋め込む。
　さらに、本実施形態では、ＥＶＳ信号処理部２５は、ＥＶＳデータの更新レートであるフレームレートを固定するために、複数のフレームのＥＶＳデータを組み合わせて１つのＥＶＳデータとして作成する。
　例えば、図１１では、ＥＶＳ信号処理部２５は、４つのフレームＡ、Ｂ、Ｃ、ＤのＥＶＳデータを組み合わせる。このとき、フレームスタート（ＦＳ）は、先頭のフレームＡのＥＶＳデータのみに埋め込まれ、残りのフレームのＥＶＳデータには、埋め込まれない。また、フレームエンド（ＦＥ）は、最終のフレームＤのＥＶＳデータのみに埋め込まれ、残りのフレームのＥＶＳデータには、埋め込まれない。
　また、フレームレートを固定する場合、最終のフレームＤには、複数のフレームに跨るＥＶＳデータを埋め込むことはできない。そのため、最終のフレームＤのＥＶＳデータは、イベントデータを含まず、全てダミーデータで構成される。
　以上説明した本実施形態によれば、第１実施形態と同じく、読出し回路２４が、検出画素行の輝度変化信号のみを読み出すため、ＥＶＳデータを高速に出力することが可能となる。さらに、本実施形態では、複数のフレームのＥＶＳデータを組み合わせることによって、検出画素行の数に関わらず、フレームレートを固定することが可能となる。
　（第５実施形態）
　図１２は、第５実施形態に係る撮像装置の構成を示すブロック図である。図１２では、上述した第１実施形態に係る撮像装置と同様の構成要素には同じ符号を付し、詳細な説明を省略する。
　本実施形態に係る撮像装置２００は、第１実施形態に係る撮像装置２０の構成要素に加えて、ＡＤ変換器２８および階調信号処理部２９をさらに備える。また、画素アレイ２１の画素回路４０の構成が、第１実施形態に係るＥＶＳ画素回路３０の構成と異なる。ここで、まず、画素回路４０の構成について説明する。
　図１３は、第５実施形態に係る画素回路４０の構成を示す図である。図１３に示す画素回路４０は、第１実施形態で説明したＥＶＳ画素回路３０に加えて、３つの階調画素回路４１（第２画素回路）をさらに有する。３つの階調画素回路４１は、例えば、赤色光（Ｒ）、緑色光（Ｇ）、青色光（Ｂ）をそれぞれ光電変換して、電荷量に応じた階調輝度信号（第２信号）を出力する。なお、階調画素回路４１の数は、特に制限されず、少なくとも１つ以上であればよい。
　図１４は、階調画素回路４１の構成例を示す図である。図１４に示す階調画素回路４１は、光電変換部４１０および信号生成部４２０を有する。
　光電変換部４１０は、光電変換素子４１１と、転送トランジスタ４１２と、ＯＦＧ（Over Flow Gate）トランジスタ４１３と、を有する。転送トランジスタ４１２およびＯＦＧトランジスタ４１３には、例えば、Ｎチャネル型のＭＯＳ（Metal Oxide Semiconductor）トランジスタが用いられる。転送トランジスタ４１２およびＯＦＧトランジスタ４１３は、互いに直列に接続されている。
　光電変換素子４１１は、転送トランジスタ４１２とＯＦＧトランジスタ４１３との共通接続ノードＮ1とグランドとの間に接続されており、入射光を光電変換して入射光の光量に応じた電荷量の電荷を生成する。光電変換素子４１１は、例えばフォトダイオードで構成される。
　転送トランジスタ４１２のゲート電極には、アクセス制御回路２２（図２参照）から転送信号ＴＲＧが供給される。転送トランジスタ４１２は、転送信号ＴＲＧに応答して、光電変換素子４１１で光電変換された電荷を信号生成部４２０に供給する。
　ＯＦＧトランジスタ４１３のゲート電極には、アクセス制御回路２２から制御信号ＯＦＧが供給される。ＯＦＧトランジスタ４１３は、制御信号ＯＦＧに応答して、光電変換素子４１１に残った電荷を排出する。
　信号生成部４２０は、リセットトランジスタ４２１、増幅トランジスタ４２２、選択トランジスタ４２３、および、浮遊拡散層４２４を有する。リセットトランジスタ４２１、増幅トランジスタ４２２、および、選択トランジスタ４２３には、例えば、Ｎチャネル型のＭＯＳトランジスタが用いられる。
　信号生成部４２０には、光電変換部４１０から転送トランジスタ４１２によって、光電変換素子４１１で光電変換された電荷が供給される。光電変換部４１０から供給される電荷は、浮遊拡散層４２４に蓄積される。浮遊拡散層４２４は、蓄積した電荷の量に応じた電圧値の電圧信号を生成する。すなわち、浮遊拡散層４２４は、電荷を電圧に変換する。
　リセットトランジスタ４２１は、電源電圧ＶＤＤの電源ラインと浮遊拡散層４２４との間に接続されている。リセットトランジスタ４２１のゲート電極には、アクセス制御回路２２からリセット信号ＲＳＴが供給される。リセットトランジスタ４２１は、リセット信号ＲＳＴに応答して、浮遊拡散層４２４の電荷量を初期化（リセット）する。
　増幅トランジスタ４２２は、電源電圧ＶＤＤの電源ラインと垂直信号線ＶＳＬとの間に、選択トランジスタ４２３と直列に接続されている。増幅トランジスタ４２２は、浮遊拡散層４２４で電荷電圧変換された電圧信号を増幅する。
　選択トランジスタ４２３のゲート電極には、アクセス制御回路２２から選択信号ＳＥＬが供給される。選択トランジスタ４２３は、選択信号ＳＥＬに応答して、増幅トランジスタ４２２によって増幅された電圧信号を階調輝度信号として垂直信号線ＶＳＬを介してＡＤ変換器２８へ出力する。
　なお、上述した階調画素回路４１の構成は一例であって、この構成例に限定されるものではない。例えば、階調画素回路４１は、対象物に光を照射してから反射光を受光するまでの時間に基づいて対象物までの距離を計測するＴｏＦ(Time of Flight）画素回路の構成を有していてもよい。この場合、光電変換素子４１１には、例えばＳＰＡＤ（Single Photon Avalanche Diode）を用いることができる。
　図１２に戻って、ＡＤ変換器２８は、画素アレイ２１の画素列毎に、その列の階調画素回路４１から出力されるアナログ方式の階調輝度信号をデジタル信号に変換する。続いて、ＡＤ変換器２８は、このデジタル信号を階調信号処理部２９へ出力する。なお、画素アレイ２１から階調輝度信号を読み出す方式は、特に限定されず、全画素の電荷蓄積タイミングが同じグローバルシャッタ方式であっても、電荷蓄積タイミングが画素行ごとにずれるローリングシャッタ方式であってもよい。
　階調信号処理部２９は、ＡＤ変換器２８から取得したデジタル信号に対して、ＣＤＳ（Correlated Double Sampling）処理や画像認識処理などの所定の信号処理を実行する。続いて、階調信号処理部２９は、処理結果を示す階調データを出力インターフェース２７へ出力する。出力インターフェース２７は、ＥＶＳ信号処理部２５で作成されたＥＶＳデータと同時に階調データを出力する。
　図１５は、ＥＶＳデータおよび階調データの出力形式の一例を示す図である。階調信号処理部２９によって作成された階調データの先頭には、ＥＶＳデータと同様に、フレームスタート（ＦＳ）が埋め込まれ、末尾にはフレームエンド（ＦＥ）が埋め込まれている。フレームスタート（ＦＳ）とフレームエンド（ＦＥ）との間には、階調輝度信号に関連する輝度データ（Ｉｎｔｅｎｓｉｔｙ）が埋め込まれている。
　出力インターフェース２７は、互いに異なるバーチャネルチャネルを使用してＥＶＳデータおよび階調データを同時に出力する。そのため、各フレームのＥＶＳデータは、フレームスタート（ＦＳ）とフレームエンド（ＦＥ）で区切られている。なお、ＥＶＳデータおよび階調データの出力形式は、図１５に示す例に限定されない。
　図１６は、ＥＶＳデータおよび階調データの出力形式の別の一例を示す図である。ＥＶＳデータのフレームレートは、階調データのフレームレートよりも大きいため、１フレーム当たりのイベントデータの数と輝度データの数は異なる。そこで、図１６に示すＥＶＳデータでは、階調データのスーパーフレームと合わせるために、複数のフレームのＥＶＳデータが組み合わさっている。そのため、フレームスタート（ＦＳ）は、先頭のフレームのＥＶＳデータのみに埋め込まれ、残りのフレームのＥＶＳデータには、埋め込まれない。また、フレームエンド（ＦＥ）は、最終のフレームのＥＶＳデータのみに埋め込まれ、残りのフレームのＥＶＳデータには、埋め込まれない。
　図１７は、ＥＶＳデータおよび階調データの出力形式のさらに別の一例を示す図である。図１７に示す例では、輝度データおよびイベントデータが、同一のデータ行に連続して埋め込まれている。輝度データおよびイベントデータから成るデータ群の先頭には、パケットヘッダ（ＰＨ）が埋め込まれ、終端にはパケットフッダ（ＰＦ）が埋め込まれている。なお、イベントデータの数が、輝度データよりも少ない場合には、ダミーデータを上記データ群に埋め込んでもよい。この場合、ＥＶＳデータと階調データとの間でデータ数を一致させることができる。
　図１８は、輝度データおよびイベントデータから成るデータ群の構造の一例を示す図である。図１８にデータ群には、データヘッダが、輝度データの先頭に埋め込まれている。このデータヘッダは、輝度データの領域と、イベントデータの領域とを示す。そのため、このデータ群を読み取る際に、輝度データおよびイベントデータをそれぞれ区別することができる。
　図１９は、輝度データおよびイベントデータから成るデータ群の構造の一例を示す図である。図１９にデータ群には、データヘッダが、輝度データの先頭とイベントデータの先頭にそれぞれ埋め込まれている。輝度データの先頭に埋め込まれたデータヘッダは、輝度データの領域を示す。イベントデータの先頭に埋め込まれたデータヘッダは、イベントデータの領域を示す。この場合も、データ群を読み取る際に、輝度データおよびイベントデータをそれぞれ区別することができる。
　以上説明した本実施形態によれば、第１実施形態と同じく、読出し回路２４が、検出画素行の輝度変化信号のみを読み出すため、ＥＶＳデータを高速に出力することが可能となる。さらに、本実施形態では、イベント検出の有無を示すＥＶＳデータだけでなく、撮像対象物の輝度値を示す階調データも取得することが可能となる。
　＜移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２０に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、および統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、および車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、および、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声および画像のうちの少なくとも一方の出力信号を送信する。図２０の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２およびインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイおよびヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図２１は、撮像部１２０３１の設置位置の例を示す図である。
　図２１では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１および車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２１には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば撮像部１２０３１に適用され得る。具体的には、第１乃至第５実施形態に係る撮像装置は、撮像部１２０３１に適用することができる。本開示に係る技術を適用することにより、高速に撮影画像を得ることができるため、画像品質を向上することが可能になる。
　なお、本技術は以下のような構成を取ることができる。
（１）　入射光を光電変換する複数の画素回路が行列状に配列された画素アレイと、
　前記画素アレイから行単位または列単位で出力された第１信号に基づいて、前記複数の画素回路の中で前記入射光の輝度変化を検出した画素回路を含む検出画素行または検出画素列を特定するタイミング制御回路と、
　前記画素アレイから前記検出画素行または前記検出画素列の前記第１信号を読み出す読出し回路と、
を備える、撮像装置。
（２）　前記タイミング制御回路は、所定の周期でフレーム同期信号を発信し、
　前記読出し回路は、複数の前記フレーム同期信号を跨いで前記第１信号を読み出す、（１）に記載の撮像装置。
（３）　前記読出し回路は、前記複数のフレーム同期信号を跨ぐ際に、間隔を空けて前記第１信号を読み出す、（２）に記載の撮像装置。
（４）　前記タイミング制御回路は、前記読出し回路が前記第１信号の読み出しを完了するタイミングに同期するフレーム同期信号を発信する、（１）に記載の撮像装置。
（５）　前記読出し回路から読み出された前記第１信号を処理するＥＶＳ信号処理部をさらに備え、
　前記ＥＶＳ信号処理部は、前記検出画素行の数または前記検出画素列の数に応じて少なくとも１つのダミーデータを第１出力データに埋め込む、（１）に記載の撮像装置。
（６）　前記ＥＶＳ信号処理部は、複数のフレーム間で前記第１出力データのデータ数が同じになるように、前記ダミーデータを埋め込む、（５）に記載の撮像装置。
（７）　前記ＥＶＳ信号処理部は、複数のフレームの前記第１出力データを組み合わせる、（５）または（６）に記載の撮像装置。
（８）　前記ＥＶＳ信号処理部は、前記複数のフレームの中で先頭のフレームの前記第１出力データにフレームスタートを埋め込み、最終のフレームの前記第１出力データにフレームエンドを埋め込む、（７）に記載の撮像装置。
（９）　前記最終のフレームの前記第１出力データが、全て前記ダミーデータである、（８）に記載の撮像装置。
（１０）　前記複数の画素回路の各々が、前記第１信号を出力する第１画素回路と、前記入射光の輝度に応じた第２信号を出力する第２画素回路と、を有し、
　前記第１信号を処理した第１出力データを、前記第２信号を処理した第２出力データと同時に出力する出力インターフェースをさらに備える、（１）から（９）のいずれかに記載の撮像装置。
（１１）　１つの前記第１画素回路に対して複数の第２画素回路が設けられている、（１０）に記載の撮像装置。
（１２）　前記出力インターフェースは、互いに異なるバーチャネルチャネルを使用して前記第１出力データおよび前記第２出力データを出力する、（１０）または（１１）に記載の撮像装置。
（１３）　前記出力インターフェースは、１つの前記第２出力データに対して複数の前記第１出力データを組み合わせて出力する、（１０）または（１１）に記載の撮像装置。
（１４）　前記第１出力データおよび前記第２出力データが、同一のデータ行に埋め込まれている、（１０）または（１１）に記載の撮像装置。
（１５）　前記第１出力データの領域および前記第２出力データの領域を示すデータヘッダが埋め込まれている、（１４）に記載の撮像装置。
（１６）　前記データヘッダが、前記第１出力データの先頭および前記第２出力データの先頭にそれぞれ埋め込まれている、（１５）に記載の撮像装置。
（１７）　入射光を光電変換する複数の画素回路が行列状に配列された画素アレイと、前記画素アレイから行単位または列単位で出力された第１信号に基づいて、前記複数の画素回路の中で前記入射光の輝度変化を検出した画素回路を含む検出画素行または検出画素列を特定するタイミング制御回路と、前記画素アレイから前記検出画素行または前記検出画素列の前記第１信号を読み出す読出し回路と、を有する撮像装置を備える、電子機器。
（１８）　入射光を光電変換する複数の画素回路が行列状に配列された画素アレイから行単位または列単位で出力された第１信号に基づいて、前記複数の画素回路の中で前記入射光の輝度変化を検出した画素回路を含む検出画素行または検出画素列を特定し、
　前記画素アレイから前記検出画素行または前記検出画素列の前記第１信号を読み出す、
　光検出方法。
　２１：画素アレイ
　２３：タイミング制御回路
　２４：読出し回路
　２５：ＥＶＳ信号処理部
　２７：出力インターフェース
　３０：ＥＶＳ画素回路
　４０：画素回路
　４１：階調画素回路

Claims (18)

  1. 　入射光を光電変換する複数の画素回路が行列状に配列された画素アレイと、
    　前記画素アレイから行単位または列単位で出力された第１信号に基づいて、前記複数の画素回路の中で前記入射光の輝度変化を検出した画素回路を含む検出画素行または検出画素列を特定するタイミング制御回路と、
    　前記画素アレイから前記検出画素行または前記検出画素列の前記第１信号を読み出す読出し回路と、
    を備える、撮像装置。
  2. 　前記タイミング制御回路は、所定の周期でフレーム同期信号を発信し、
    　前記読出し回路は、複数の前記フレーム同期信号を跨いで前記第１信号を読み出す、請求項１に記載の撮像装置。
  3. 　前記読出し回路は、前記複数のフレーム同期信号を跨ぐ際に、間隔を空けて前記第１信号を読み出す、請求項２に記載の撮像装置。
  4. 　前記タイミング制御回路は、前記読出し回路が前記第１信号の読み出しを完了するタイミングに同期するフレーム同期信号を発信する、請求項１に記載の撮像装置。
  5. 　前記読出し回路から読み出された前記第１信号を処理するＥＶＳ信号処理部をさらに備え、
    　前記ＥＶＳ信号処理部は、前記検出画素行の数または前記検出画素列の数に応じて少なくとも１つのダミーデータを第１出力データに埋め込む、請求項１に記載の撮像装置。
  6. 　前記ＥＶＳ信号処理部は、複数のフレーム間で前記第１出力データのデータ数が同じになるように、前記ダミーデータを埋め込む、請求項５に記載の撮像装置。
  7. 　前記ＥＶＳ信号処理部は、複数のフレームの前記第１出力データを組み合わせる、請求項５に記載の撮像装置。
  8. 　前記ＥＶＳ信号処理部は、前記複数のフレームの中で先頭のフレームの前記第１出力データにフレームスタートを埋め込み、最終のフレームの前記第１出力データにフレームエンドを埋め込む、請求項７に記載の撮像装置。
  9. 　前記最終のフレームの前記第１出力データが、全て前記ダミーデータである、請求項８に記載の撮像装置。
  10. 　前記複数の画素回路の各々が、前記第１信号を出力する第１画素回路と、前記入射光の輝度に応じた第２信号を出力する第２画素回路と、を有し、
    　前記第１信号を処理した第１出力データを、前記第２信号を処理した第２出力データと同時に出力する出力インターフェースをさらに備える、請求項１に記載の撮像装置。
  11. 　１つの前記第１画素回路に対して複数の第２画素回路が設けられている、請求項１０に記載の撮像装置。
  12. 　前記出力インターフェースは、互いに異なるバーチャネルチャネルを使用して前記第１出力データおよび前記第２出力データを出力する、請求項１０に記載の撮像装置。
  13. 　前記出力インターフェースは、１つの前記第２出力データに対して複数の前記第１出力データを組み合わせて出力する、請求項１０に記載の撮像装置。
  14. 　前記第１出力データおよび前記第２出力データが、同一のデータ行に埋め込まれている、請求項１０に記載の撮像装置。
  15. 　前記第１出力データの領域および前記第２出力データの領域を示すデータヘッダが埋め込まれている、請求項１４に記載の撮像装置。
  16. 　前記データヘッダが、前記第１出力データの先頭および前記第２出力データの先頭にそれぞれ埋め込まれている、請求項１５に記載の撮像装置。
  17. 　入射光を光電変換する複数の画素回路が行列状に配列された画素アレイと、前記画素アレイから行単位または列単位で出力された第１信号に基づいて、前記複数の画素回路の中で前記入射光の輝度変化を検出した画素回路を含む検出画素行または検出画素列を特定するタイミング制御回路と、前記画素アレイから前記検出画素行または前記検出画素列の前記第１信号を読み出す読出し回路と、を有する撮像装置を備える、電子機器。
  18. 　入射光を光電変換する複数の画素回路が行列状に配列された画素アレイから行単位または列単位で出力された第１信号に基づいて、前記複数の画素回路の中で前記入射光の輝度変化を検出した画素回路を含む検出画素行または検出画素列を特定し、
    　前記画素アレイから前記検出画素行または前記検出画素列の前記第１信号を読み出す、
    　光検出方法。
PCT/JP2022/010374 2021-06-23 2022-03-09 撮像装置、電子機器、および光検出方法 WO2022270034A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112022003194.8T DE112022003194T5 (de) 2021-06-23 2022-03-09 Bildgebungsvorrichtung, elektronische vorrichtung und lichtdetektionsverfahren
US18/558,636 US20240236519A1 (en) 2021-06-23 2022-03-09 Imaging device, electronic device, and light detecting method
CN202280043147.1A CN117546477A (zh) 2021-06-23 2022-03-09 成像装置、电子设备及光检测方法
KR1020237041725A KR20240024796A (ko) 2021-06-23 2022-03-09 촬상 장치, 전자 기기 및 광 검출 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-104406 2021-06-23
JP2021104406A JP2023003308A (ja) 2021-06-23 2021-06-23 撮像装置、電子機器、および光検出方法

Publications (1)

Publication Number Publication Date
WO2022270034A1 true WO2022270034A1 (ja) 2022-12-29

Family

ID=84544836

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/010374 WO2022270034A1 (ja) 2021-06-23 2022-03-09 撮像装置、電子機器、および光検出方法

Country Status (6)

Country Link
US (1) US20240236519A1 (ja)
JP (1) JP2023003308A (ja)
KR (1) KR20240024796A (ja)
CN (1) CN117546477A (ja)
DE (1) DE112022003194T5 (ja)
WO (1) WO2022270034A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023182050A1 (ja) * 2022-03-22 2023-09-28 ソニーセミコンダクタソリューションズ株式会社 データ生成装置、プログラム、データ受信装置、データ構造
WO2024150690A1 (ja) * 2023-01-11 2024-07-18 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024209994A1 (ja) * 2023-04-07 2024-10-10 ソニーセミコンダクタソリューションズ株式会社 画像センサ、データ処理装置、および画像センサシステム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017050853A (ja) * 2015-09-01 2017-03-09 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． イベント基盤センサ及びイベント基盤センサのピクセル
JP2020161993A (ja) * 2019-03-27 2020-10-01 ソニー株式会社 撮像システム及び物体認識システム
JP2020174240A (ja) * 2019-04-08 2020-10-22 ソニーセミコンダクタソリューションズ株式会社 撮像装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9631974B2 (en) 2011-12-19 2017-04-25 Universität Zürich Photoarray, particularly for combining sampled brightness sensing with asynchronous detection of time-dependent image data
US10516841B2 (en) 2017-03-08 2019-12-24 Samsung Electronics Co., Ltd. Pixel, pixel driving circuit, and vision sensor including the same
JP6705534B2 (ja) 2018-10-19 2020-06-03 ソニー株式会社 センサ装置、信号処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017050853A (ja) * 2015-09-01 2017-03-09 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． イベント基盤センサ及びイベント基盤センサのピクセル
JP2020161993A (ja) * 2019-03-27 2020-10-01 ソニー株式会社 撮像システム及び物体認識システム
JP2020174240A (ja) * 2019-04-08 2020-10-22 ソニーセミコンダクタソリューションズ株式会社 撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023182050A1 (ja) * 2022-03-22 2023-09-28 ソニーセミコンダクタソリューションズ株式会社 データ生成装置、プログラム、データ受信装置、データ構造
WO2024150690A1 (ja) * 2023-01-11 2024-07-18 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置

Also Published As

Publication number Publication date
DE112022003194T5 (de) 2024-05-23
US20240236519A1 (en) 2024-07-11
JP2023003308A (ja) 2023-01-11
KR20240024796A (ko) 2024-02-26
CN117546477A (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
TWI820078B (zh) 固體攝像元件
US11523079B2 (en) Solid-state imaging element and imaging device
WO2020116185A1 (ja) 固体撮像装置、信号処理チップ、および、電子機器
WO2020090460A1 (ja) センサ及び制御方法
US20230011899A1 (en) Solid-state imaging element and imaging device
WO2022270034A1 (ja) 撮像装置、電子機器、および光検出方法
WO2020110537A1 (ja) 固体撮像素子、および、撮像装置
WO2021117350A1 (ja) 固体撮像素子、および、撮像装置
US20200057149A1 (en) Optical sensor and electronic device
US11252367B2 (en) Solid-stage image sensor, imaging device, and method of controlling solid-state image sensor
WO2020129657A1 (ja) センサ及び制御方法
US11451725B2 (en) Solid-state imaging element, imaging apparatus, and method for controlling solid-state imaging element
WO2020137198A1 (ja) 固体撮像素子および撮像装置
US11678079B2 (en) Solid-state imaging element, imaging apparatus, and method of controlling solid-state imaging element
WO2024135094A1 (ja) 光検出装置、および、光検出装置の制御方法
WO2024095630A1 (ja) 撮像装置
US11711634B2 (en) Electronic circuit, solid-state image sensor, and method of controlling electronic circuit
US20240292130A1 (en) Imaging device and electronic apparatus
TW202433738A (zh) 光檢測裝置、及、光檢測裝置之控制方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22827955

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18558636

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280043147.1

Country of ref document: CN

122 Ep: pct application non-entry in european phase

Ref document number: 22827955

Country of ref document: EP

Kind code of ref document: A1