WO2023058283A1 - センサ装置 - Google Patents

センサ装置 Download PDF

Info

Publication number
WO2023058283A1
WO2023058283A1 PCT/JP2022/026560 JP2022026560W WO2023058283A1 WO 2023058283 A1 WO2023058283 A1 WO 2023058283A1 JP 2022026560 W JP2022026560 W JP 2022026560W WO 2023058283 A1 WO2023058283 A1 WO 2023058283A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor device
readout
control circuit
circuit
signal
Prior art date
Application number
PCT/JP2022/026560
Other languages
English (en)
French (fr)
Inventor
和俊 児玉
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to CN202280060065.8A priority Critical patent/CN117941371A/zh
Publication of WO2023058283A1 publication Critical patent/WO2023058283A1/ja

Links

Images

Definitions

  • the present disclosure relates to sensor devices.
  • a method of detecting an object using an imaging device having a pixel array in which imaging pixels having an imaging element are arranged in an array is known.
  • Image capturing is performed in the pixel array, the captured image signal is transmitted to a processor outside the array sensor, and the processor performs appropriate signal processing to detect an object.
  • the captured image information is sent to an external processor that performs object detection regardless of the object being photographed, and the processor executes calculation processing for object detection. rice field.
  • This process relies on the processing power of the general-purpose processor, and there was no efficient processing method that operates at a frame rate limited to preset target labels. As a result, there is a problem that processing is delayed due to the heavy computation load on the processor side. In order to solve the problem of delaying the processing, it has been proposed to make the frame rate variable.
  • the present disclosure provides a sensor device capable of high-speed output in response to firing of an imaging device that detects an event.
  • a sensor device comprises a pixel array, a control circuit, a readout circuit, and a signal processing circuit.
  • a pixel array a plurality of pixels having sensing elements for sensing events are arranged in an array including at least a plurality of columns and at least one line.
  • a control circuit controls scanning of the pixels on a frame-by-frame basis.
  • a read circuit reads an event detected by the detection element at a timing controlled by the control circuit.
  • the signal processing circuit processes and outputs the signal read by the readout circuit.
  • the control circuit controls the group to be accessed, and the readout circuit controls the columns accessed by the control circuit. Acquire the signal from the pixel.
  • the group may include at least a plurality of adjacent columns.
  • the group may include at least a plurality of non-adjacent columns.
  • the control circuit may control access to the firing line in the group.
  • the control circuit may control access to the plurality of groups in parallel.
  • the synchronization signal that accesses the pixel and controls readout and the synchronization signal that controls the processing of the readout signal may have the same fixed period.
  • a synchronization signal that accesses the pixels and controls readout, and a synchronization signal that controls processing of the readout signal may have a variable cycle.
  • a synchronization signal that accesses the pixel and controls readout and a synchronization signal that controls processing of the readout signal may have the same period.
  • the signal processing circuit includes a frame memory, A synchronization signal for accessing the pixels and controlling readout and a synchronization signal for controlling processing of the readout signal may have different periods.
  • the control circuit may sequentially control access to pixels belonging to each group.
  • the control circuit may control access for each of the groups in any order from any of the groups.
  • the control circuit may perform control by changing the reading frequency for each of the groups.
  • the signal processing circuit may output data obtained by arranging data of a plurality of scanning lines on the same line.
  • the readout circuit may read out events from the pixel array over a plurality of frame synchronization signals.
  • the readout circuit may have a time during which the pixels are not accessed between the frames when reading events from the pixel array over a plurality of frame synchronization signals.
  • the control circuit may issue a frame synchronization signal at the timing when the scanning of the pixel array is completed, and set the output frame rate.
  • the control circuit may output event information in a plurality of frames using a base frame rate obtained by combining a plurality of frames, and set the frame arranged at the end of the base frame rate as a dummy frame.
  • the pixel array may acquire gradation information of light received by the pixels, and may further output the acquired gradation information.
  • Data from multiple output frames may be combined and output at a fixed-length output frame rate with a variable access rate.
  • the fixed length of the output frame rate may be set based on an externally input trigger period.
  • FIG. 1 is a block diagram schematically showing an example of a sensor device according to one embodiment
  • FIG. 1 is a block diagram schematically showing an example of a sensor device according to one embodiment
  • FIG. 1 is a block diagram schematically showing an example of a sensor device according to one embodiment
  • FIG. 1 is a block diagram schematically showing an example of a sensor device according to one embodiment
  • FIG. 4 is a diagram schematically showing an example of pixels according to one embodiment
  • FIG. 4 is a diagram schematically showing an example of grouping of columns according to one embodiment
  • FIG. 4 is a diagram schematically showing an example of grouping of columns according to one embodiment
  • FIG. 4 is a diagram schematically showing an example of grouping of columns according to one embodiment
  • FIG. 4 is a diagram schematically showing an example of grouping of columns according to one embodiment
  • FIG. 4 is a diagram schematically showing an example of grouping of columns according to one embodiment
  • FIG. 4 is a diagram schematically showing an example of grouping of columns according to one embodiment
  • FIG. 4 is a diagram showing an example of a path from a pixel to an access control circuit according to one embodiment;
  • FIG. 4 is a diagram showing an example of an output path of an event detection result in the access control circuit according to one embodiment;
  • FIG. 4 is a diagram schematically showing an example of a reading order of groups according to one embodiment;
  • FIG. 4 is a diagram showing readout timing of groups according to an embodiment;
  • FIG. 4 is a diagram schematically showing an example of a reading order of groups according to one embodiment;
  • FIG. 4 is a diagram showing readout timing of groups according to an embodiment;
  • FIG. 4 is a diagram showing readout timing of groups according to an embodiment;
  • FIG. 4 is a diagram showing readout timing of groups according to an embodiment;
  • FIG. 4 is a diagram showing an example of timing of event detection and reading according to one embodiment; 4 is a flowchart illustrating an example of processing for setting timings for event detection and readout according to an embodiment;
  • FIG. 4 is a diagram showing an example of read timing and transfer timing according to an embodiment;
  • FIG. 4 is a diagram showing an example of read timing and transfer timing according to an embodiment;
  • FIG. 4 is a diagram showing an example of frame and pixel readout timings according to an embodiment;
  • FIG. 4 is a diagram showing an example of frame and pixel readout timings according to an embodiment;
  • FIG. 4 is a diagram showing an example of frame and pixel readout timings according to an embodiment;
  • FIG. 4 is a diagram showing an example of frame and pixel readout timings according to an embodiment;
  • FIG. 4 is a diagram showing an example of frame and pixel readout timings according to an embodiment;
  • FIG. 4 is a diagram showing an example of frame and pixel readout timings according to an embodiment;
  • FIG. 4 is a diagram showing an example of timings for reading out event detection information and gradation information according to an embodiment; A diagram showing an example of an output format of event detection information and gradation information according to an embodiment. A diagram showing an example of an output format of event detection information and gradation information according to an embodiment. A diagram showing an example of an output format of event detection information and gradation information according to an embodiment. A diagram showing an example of an output format of event detection information and gradation information according to an embodiment. A diagram showing an example of an output format of event detection information and gradation information according to an embodiment.
  • FIG. 1 is a block diagram schematically showing a non-limiting example of a sensor device according to a first embodiment.
  • the sensor device 1 includes a pixel array 10, a timing control circuit 12, an access control circuit 14, a first readout circuit 16, a first signal processing circuit 18, a time stamp generation circuit 20, and an output interface (hereinafter referred to as output described as I/F 22).
  • the sensor device 1 is a device that outputs information (event data) about a detected event at high speed.
  • This sensor device 1 is provided in, for example, an electronic device such as an imaging device.
  • a plurality of pixels 100 are provided in the pixel array 10 .
  • the pixels 100 are arranged in at least a plurality of columns (line direction). Desirably, they are arranged in at least a plurality of lines (in the column direction) and arranged in a two-dimensional array.
  • the pixel array 10 has a path for outputting a signal output from the pixel 100 to a readout circuit, a path for outputting an event detection to the access control circuit 14 when an event is detected in the pixel 100, and a path to which a signal indicating which pixel 100 information is to be read from the access control circuit 14 is input.
  • Each pixel 100 is provided with an imaging element (detection element, detection element) capable of at least event detection (detection).
  • Each pixel 100 comprises a pixel circuit that drives a sensing element and appropriately acquires the output from that sensing element.
  • the pixel circuit may be a circuit that detects and outputs an event by comparing a value related to the analog signal acquired by the sensing element with a predetermined threshold value.
  • pixel 100 may fire if the difference from the previous frame exceeds a predetermined value, or as another example, pixel 100 fires if the contrast ratio exceeds a threshold. may be
  • firing indicates a state in which an event is detected at pixel 100 .
  • the timing control circuit 12 and the access control circuit 14 constitute control circuits that control the timing of access to the pixels 100, readout of signals from the pixels 100, and signal processing of the readout signals. Also, this control circuit may control the output timing of the processed signal.
  • the timing control circuit 12 outputs a frame synchronization signal and a horizontal direction synchronization signal to the access control circuit, for example, based on the input clock signal. Further, the timing control circuit 12 generates timing for executing signal processing based on the signal corresponding to the firing state of the pixel 100 received from the access control circuit 14, and outputs this timing to the first signal processing circuit 18.
  • the access control circuit 14 outputs a scanning signal for selecting the pixel 100 to be accessed based on the horizontal synchronization signal obtained from the timing control circuit 12, and outputs event information from the pixel 100 to the first readout circuit 16. control to let That is, event detection in the present disclosure is achieved by scanning the pixels 100 for each frame based on the frame information output from the timing control circuit 12.
  • the first readout circuit 16 appropriately converts the information acquired from each pixel 100 and outputs it to the first signal processing circuit 18 .
  • the first readout circuit 16 operates as an AFE (Analog Front End).
  • the first readout circuit 16 may include a latch for temporarily storing event information output from each pixel 100, for example, for each column.
  • an ADC Analog to Digital Converter
  • AD Analog to Digital converts the analog signal output from the pixel 100 and outputs the signal
  • This ADC may be, for example, an ADC provided for each pixel or an ADC provided for each column.
  • the first readout circuit 16 outputs appropriately converted event information as serial or parallel signals.
  • the first signal processing circuit 18 converts the event information output from the first readout circuit 16 based on the access information of the pixel 100 controlled by the access control circuit 14 acquired via the timing control circuit 12, and outputs the event information. Output as event data via the I/F 22 to the outside, for example, to a processor of an electronic device provided outside.
  • the time stamp generation circuit 20 outputs time stamp information, for example simply time information, to the first signal processing circuit 18.
  • the first signal processing circuit 18 adds an appropriate time stamp to the data and outputs the data. By appropriately assigning time stamps in this way, it is possible to appropriately acquire the order of the output data with respect to time and the like by an external processor or the like and execute signal processing or the like.
  • the output I/F 22 is an interface that outputs the event data acquired and converted by the sensor device 1 to the outside.
  • an interface such as MIPI (registered trademark) may be used.
  • the sensor device 1 outputs the acquired event information to the outside via this output I/F 22 .
  • the same synchronizing signal can be used for access control of the pixel array 10 (reading control in the first readout circuit 16) and signal processing control in the first signal processing circuit 18 in particular. Therefore, in the sensor device 1, speedup can be realized when the data output speed is limited by the data path.
  • the timing control circuit 12 is not an essential component. For example, if one of the timing for accessing and reading out the pixels 100 and the timing for transferring data from the first readout circuit 16 to the first signal processing circuit 18 is not variable, the synchronization signal is fixed. Therefore, the operation of the sensor device 1 can be realized without providing the timing control circuit 12.
  • FIG. 12 is not an essential component. For example, if one of the timing for accessing and reading out the pixels 100 and the timing for transferring data from the first readout circuit 16 to the first signal processing circuit 18 is not variable, the synchronization signal is fixed. Therefore, the operation of the sensor device 1 can be realized without providing the timing control circuit 12.
  • FIG. 2 is a block diagram schematically showing a non-limiting example of the sensor device 1 according to the second embodiment.
  • the first signal processing circuit 18 particularly comprises a frame memory 180 .
  • the frame memory 180 is a memory area for storing frame information, and is composed of, for example, a memory circuit.
  • the first signal processing circuit 18 may store event information for one frame acquired from the first reading circuit 16 in the frame memory 180 . Then, the first signal processing circuit 18 can use the data stored in the frame memory 180 to convert the event information into a format that enables high-speed data transfer and output the converted data.
  • the frame memory 180 By providing the frame memory 180 in this way, it is possible to transfer event information to the outside for each frame. Further, the signal processing in the first signal processing circuit 18 can also be executed using frame information.
  • the timing of access control of the pixel array 10 readout control in the first readout circuit 16
  • processing control in the first signal processing circuit 18 can be adjusted for each scanning line. can be separated. That is, it is possible to control access to the pixel array 10 according to the synchronizing signal of a predetermined cycle, and to execute processing in the first signal processing circuit 18 using the variable synchronizing signal regardless of this control. Therefore, when the output of the sensor device 1 is rate-determining access to the pixels 100, speeding up can be realized.
  • FIG. 3 is a block diagram schematically showing a non-limiting example of the sensor device 1 according to the third embodiment.
  • the sensor device 1 includes a second readout circuit 24 and a second signal processing circuit 26 in addition to the configuration of the first embodiment.
  • the pixel 100 includes an element for acquiring gradation information in addition to an element for event detection.
  • the gradation information is, for example, intensity information for each color of RGB.
  • the pixel 100 may include an element for receiving RGB and an element for event detection in one pixel.
  • the pixel array 10 may be formed by a pixel that receives RGB and a pixel that performs event detection.
  • the second readout circuit 24 is scanned by the access control circuit 14, acquires an analog signal for each color output from each pixel 100, and operates as an AFE that outputs this analog signal.
  • the first readout circuit 16 may comprise a latch and an ADC.
  • the second signal processing circuit 26 performs signal processing based on the information for each color output from the second reading circuit 24, and outputs grayscale data to the outside via the output I/F 22.
  • the second signal processing circuit 26 may perform at least one of linear matrix processing, defect correction processing, image processing, or processing related to machine learning, as non-limiting examples.
  • the event detection position in the image information can be output more accurately in a situation where the processing cost is kept low.
  • FIG. 4 is a block diagram schematically showing a non-limiting example of the sensor device 1 according to the fourth embodiment.
  • the sensor device 1 has a configuration in which a frame memory 180 is provided in the first signal processing circuit 18 in addition to the configuration of the third embodiment.
  • FIG. 5 is a diagram showing an example of the pixel 100 in the third or fourth embodiment.
  • the pixel 100 includes, for example, a sub-pixel R that receives R (red) light, a sub-pixel G that receives G (green) light, a sub-pixel B that receives B (blue) light, and event detection. and a pixel EV to be used.
  • a sub-pixel R that receives R (red) light
  • a sub-pixel G that receives G (green) light
  • a sub-pixel B that receives B (blue) light
  • event detection e.g., a pixel EV to be used.
  • the pixel circuit includes a circuit that outputs analog signals based on event detection, and a circuit that outputs analog signals based on the R, G, and B light receiving states. These circuits are appropriately connected to the first readout circuit 16 and the second readout circuit 24, respectively.
  • FIG. 5 is shown as a non-limiting example, and the arrangement of pixels, etc., is not limited to this.
  • each of the sub-pixels in FIG. 5 may be configured as one pixel 100 as described above.
  • the pixel 100 may be divided into, for example, 9 parts, each having RGB and EV appropriately.
  • the configuration may be such that pixels that receive W (white) light, pixels that receive IR (infrared) light, and the like are provided.
  • it may be configured as a pixel that can appropriately acquire an image plane phase difference or the like, or a pixel that acquires light of different polarization.
  • the colors may be separated by a color filter or by an organic photoelectric conversion film.
  • an IR cut filter may be provided in a pixel for acquiring color information or a pixel for event detection based on information to be acquired.
  • the combination of sub-pixels in the pixel 100 or the pixel 100 itself can be arbitrarily combined based on information acquired along with event detection.
  • pixels that acquire gradation may be pixels corresponding to the global shutter.
  • pixels with APDs Avalanche Photo Diodes
  • SPADs Single Photon Avalanche Diodes
  • iToF indirect Time of Flight
  • the second reading circuit 24 and the second signal processing circuit 26 are also circuits capable of appropriately processing signals.
  • FIG. 6 is a diagram schematically showing a non-limiting example of grouping of pixels 100 in a pixel array 10 according to one embodiment. It is assumed that the pixel array 10 has Hpix pixels arranged along the line direction and Vpix pixels arranged along the column direction. As shown in this figure, for example, in the pixel array 10, the pixels 100 may be divided into multiple (here, four) groups.
  • the pixel array 10 is divided into 4 consecutive columns. As shown in the figure, the pixel array 10 is divided into four equal parts of pixels 100 arranged along the line direction.
  • the (Hpix / 4) ⁇ Vpix pixels are treated as one group, and event detection is performed along the line direction.
  • the pixel array 10 is divided into, for example, a first group Gp1, a second group Gp2, a third group Gp3, and a fourth group Gp4 for each Hpix/4 column from the 0th column.
  • the area indicated as "Event” in the figure is the area where the event was detected.
  • an event detection target area is set not for each pixel 100 but for each line in a group. For example, if one group includes 4 columns, 4 columns ⁇ 1 line of pixels 100 constitute one event detection area.
  • an event has occurred in the event detection area when one or an arbitrary number of pixels 100 in the event detection area fire.
  • it may be determined that an event has occurred in the event detection area when the sum (or statistical value such as average) of the analog values of all pixels in the event detection area exceeds a predetermined value. .
  • the access control circuit 14 instead of determining whether an event has occurred for each region, the access control circuit 14 simply determines the pixels 100 belonging to the region (group and scanning line) to which the firing pixel 100 belongs. You may get the firing status from By doing so, it becomes possible to extract only the information of the area where at least one pixel is firing.
  • the event detection information in this disclosure is output to the outside for each area.
  • FIG. 7 is a diagram schematically showing a non-limiting example of grouping of pixels 100 in a pixel array 10 according to one embodiment. Pixel array 10 may be divided periodically into one or more columns in turn.
  • one (or more) columns may be divided periodically into four groups Gp1, Gp2, Gp3, Gp4, Gp1, Gp2, .
  • the groups may be sorted in an arbitrary order instead of cyclically. For example, Gp1, Gp2, Gp3, Gp4, Gp2, Gp1, Gp2, Gp4, Gp3, .
  • FIG. 8 is a diagram schematically showing a non-limiting example of grouping of pixels 100 in a pixel array 10 according to one embodiment.
  • the pixel array 10 may be arbitrarily divided into groups of one or more columns of the same or different size.
  • the fifth embodiment can more accurately acquire event information when the same event occurs in the horizontal direction, for example, when there are many objects moving in the line direction in the area where the video is acquired.
  • the sixth embodiment is advantageous, for example, in cases where there is a possibility that the entire surface will catch fire.
  • the seventh embodiment is advantageous when an area for event detection is known and an ROI or the like is set for intensive event detection.
  • the four divisions are shown as an example, and can be divided into any number of multiple regions.
  • the number of divisions can be arbitrarily designed based on the granularity (resolution) of data acquisition, the amount of data (data transfer rate), and the like.
  • the event detection area in the divided group is (the number of columns in the group) ⁇ (1 line), but a plurality of lines may be used as the event detection area.
  • FIG. 9 is a diagram showing connection paths from the pixels 100 for each group to the access control circuit 14 according to the eighth embodiment.
  • Each pixel 100 outputs a firing state to the access control circuit 14 and is connected to one of firing notification lines Req that requests scanning for readout.
  • 9 may be provided for each line of pixels 100 of the pixel array 10, for example. As another example, it may be shared by a plurality of lines (lines that are not scanned at the same time).
  • each pixel 100 belonging to group Gp1 is connected to firing notification line Req1, and firing notification line Req1 is connected to access control circuit .
  • the access control circuit 14 determines whether or not the pixels 100 belonging to the group Gp1 and the scanning line are firing in the line being scanned, based on the output from the firing notification line Req1. The determined result is used as described in the next embodiment.
  • pixels 100 belonging to groups Gp2, Gp3, and Gp4 are connected to firing notification lines Req2, Req3, and Req4, respectively, and notify the access control circuit 14 of the firing state.
  • the access control circuit 14 outputs an access control signal for reading the firing state of each of the pixels 100 belonging to the same group as the pixel 100 when the pixels 100 belonging to the line to be scanned in each group are firing. Output. Also, by wiring in this way, the control circuit can control parallel access to a plurality of groups.
  • the access control circuit 14 may accept requests for each pixel 100 in a predetermined order. By doing so, it is also possible to determine from which pixel 100 the request was received.
  • FIG. 10 is a diagram showing read request paths from the access control circuit 14 to the pixels 100 for each group according to the ninth embodiment.
  • the pixel array 10 includes a selector 102 for each pixel 100 that selects the readout line Vsl output by the pixel 100 based on the readout signal.
  • the pixel array 10 also includes a plurality of readout request lines Rd connected to the access control circuit 14, a plurality of readout lines Vsl, and switches Sw for switching the connection state between each readout line Vsl and each selector 102. .
  • a plurality of readout request lines Rd are connected to selectors 102 for pixels 100 belonging to each group for each scanning line.
  • the access control circuit 14 notifies the selector 102 of the read line Vsl selection signal via the read request path Rd. For example, a signal that does not select any of the readout lines Vsl is output for scanning lines with no firing signal in the eighth embodiment.
  • a signal for selecting through which signal line the signal from the pixel 100 is to be notified to the first readout circuit 16 is output to the selector 102 for the scanning line for which the firing signal is output in the group.
  • a plurality of readout lines Vsl are signal lines that transmit signals from the pixels 100 to the first readout circuit 16, and are provided in plurality for each column of the pixels 100 in the pixel array 10.
  • Each readout line Vsl may be connected to the first readout circuit 16 as it is.
  • the readout line Vsl provided for each column may be connected to the first readout circuit 16 by connecting it to a signal line that transmits a signal in the same area.
  • the selector 102 Based on the signal received from the access control circuit 14, the selector 102 selects through which readout line Vsl the signal of the pixel 100 is to be output, and appropriately connects the readout line Vsl and the pixel 100.
  • the access control circuit 14 confirms firing in the second line from the top and controls reading of the output from this line.
  • the access control circuit 14 outputs a signal connecting the second line of the group Gp1 and the leftmost readout line Vsl for each pixel 100 to the selector 102 .
  • the selector 102 receives this signal, selects an appropriate signal line, and connects it to the first readout circuit 16 so that the signal from the corresponding pixel 100 is output.
  • Access control circuit 14 outputs a selection signal, and selector 102 appropriately connects the output path.
  • signals can be output from the pixels 100 to the first readout circuit 16 in a state in which the groups can be recognized.
  • the access control circuit 14 it is possible to simultaneously perform access control for a plurality of scanning lines to be output.
  • the data input/output time can be shortened when the timing of reading in the first reading circuit 16 and the timing of transfer from the first reading circuit 16 are performed in parallel.
  • access to the second scanning line of group Gp1 and access to the first scanning line of group Gp2 are performed at the same timing by the access control circuit 14 appropriately receiving the firing signal and performing read access control. can be executed. That is, the first reading circuit 16 can acquire and process the event information from these two areas in parallel at the same timing.
  • FIG. 11 is a diagram schematically showing an example of the order of reading for each group according to one embodiment.
  • the access control circuit 14 may control the reading of event information in the vertical direction for each group.
  • the data may be read out in order from the group including the left column, or as another example, data may be read out for each group in an arbitrary order.
  • FIG. 12 is a diagram showing read timing when reading as shown in FIG.
  • Event(Gp1) indicates the reading of events detected in group 1.
  • One event is read out from each event area based on the synchronization signal.
  • the left group in Fig. 11 is read out for each event in order. By reading data in this manner, it is possible to reduce the data band, thereby realizing a reduction in circuit area and low power consumption.
  • FIG. 13 is a diagram schematically showing an example of the format of output from the first signal processing circuit 18 when reading data according to the tenth embodiment.
  • FS indicates the start of the frame
  • FE indicates the end of the frame
  • PH indicates a packet header
  • PF indicates a packet footer.
  • Each of these may be represented by an appropriate bit string set in advance.
  • Appropriate information such as frame number and packet number may also be embedded. Embedded is embedded information, and appropriate information is embedded.
  • the first signal processing circuit 18 based on the information on the scanning line and group to be accessed input from the access control circuit 14 via the timing control circuit 12 and the event information output from the first readout circuit 16, Generate a transfer signal to output to the outside.
  • the first signal processing circuit 18 may, for example, arrange identifiers (simply numbers) of groups and scanning lines that detected events in order and embed them in Embedded.
  • an external processor can determine in what order the event information in which area is included in the data.
  • a header and a footer may be added to each event in a frame to generate packets, and these packets may be arranged in order.
  • the header and footer may be, for example, simply codes indicating the beginning and end of the event information for each area.
  • information indicating which group and scan line the immediately following event information belongs to may be added to the header.
  • Information related to the area where the event was detected can be added as data or as a header as described above.
  • degree of freedom of the data format is high and no change due to interface standards is required.
  • the identifier can be minimized to the extent that it is added to the header, and data can be saved.
  • the events may be output in the format of arranging them as packets in order.
  • FIG. 14 is a diagram schematically showing an example of the format of output from the first signal processing circuit 18 when reading data according to the tenth embodiment.
  • the event information may be concatenated and output so that it has the same length as the line. For example, since there are four groups in this embodiment, four pieces of event information may be connected and made into one packet. In such a format, for example, it is possible to control the synchronization signal for line scanning in the pixel array 10 and the synchronization signal output from the first signal processing circuit 18 using the same signal.
  • FIG. 15 is a diagram schematically showing an example of the format of output from the first signal processing circuit 18 when reading data according to the tenth embodiment.
  • the packet length is not always constant, but according to the present embodiment, the packet length can be made uniform.
  • this format may be suitable if there are restrictions due to communication interfaces, etc. Also, depending on the processor, it may be easy to process by making the length of the packet constant. In such a case, it is advantageous to embed a dummy to match the length of the packet as in this embodiment.
  • FIG. 16 is a diagram showing the readout order for each group according to this embodiment.
  • the reading order for each group is serial, but the order is not limited to this.
  • accesses from pixels 100 for each group are executed in parallel.
  • FIGS. 17 and 18 are examples respectively showing readout in the first readout circuit 16 and signal transfer from the first readout circuit 16 to the first signal processing circuit 18 when the readout of FIG. 16 is performed.
  • data can be transferred in parallel in multiple channels CH0, CH1, CH2, and CH3. Also, as shown in FIG. 18, data obtained in parallel can be combined and sequentially transferred using one channel.
  • the synchronization signal for data transfer can be a periodic signal having a fixed period.
  • FIG. 19 is a diagram schematically showing an example of the format of output from the first signal processing circuit 18 when reading data according to the fourteenth embodiment.
  • the first signal processing circuit 18 may combine the data transferred from the first reading circuit 16 for each channel based on the synchronization signal to form a packet.
  • FIG. 20 is a diagram schematically showing an example of the format of output from the first signal processing circuit 18 when reading data according to the fourteenth embodiment.
  • the first signal processing circuit 18 may combine the data transferred from the first reading circuit 16 for each channel and form packets without changing the order of the groups.
  • the order of the groups is the order of the event detection areas in the packet, and dummies are inserted where no event is detected. For example, in group Gp2, since there is no third data transfer, a dummy is inserted in the portion corresponding to group Gp2 in the third packet.
  • the packet length can be made uniform. Also, since the data area of each group forming a packet is maintained by inserting dummies, it may have advantages in processing after output to an external processor.
  • FIG. 21 is a diagram schematically showing an example of the format of output from the first signal processing circuit 18 when reading data according to the fourteenth embodiment.
  • the dummy area is set so as not to change the storage area of the group in the packet, but it is not limited to this.
  • the event information may be stored in the packet by justifying it to the front, and then dummy data may be inserted so as to have the line length.
  • the 15th to 17th embodiments are formats that are easy to implement in the case of the 14th embodiment in which the event information in each area is obtained as a serial signal in which parallel signals or synchronization signals have the same period.
  • the timing control circuit 12 in FIGS. do.
  • the access control circuit 14 outputs access control of the pixels 100 (readout control of the first readout circuit 16) as necessary based on the synchronization timing generated by the timing control circuit 12.
  • FIG. Similarly, the access control circuit 14 outputs the signal processing control timing of the first signal processing circuit 18 as necessary.
  • FIG. 22 is a diagram showing the reading order for each group according to this embodiment. Similar to FIG. 18, the event information read out in parallel is transferred as serial information. In FIG. 18, since the synchronization signal has a fixed cycle, the serial signal is transferred with periodic timing, but in FIG. be done. In this way, the first reading circuit 16 can transfer the data obtained in parallel serially and with an emphasis on the data transfer speed. However, in order for the first signal processing circuit 18 to perform processing properly, it is necessary to define a variable synchronization signal.
  • the format shown in FIG. 19 can also be used as the format output from the first signal processing circuit 18 when reading data in the eighteenth embodiment.
  • the first signal processing circuit 18 may combine the data transferred from the first reading circuit 16 for each channel based on the synchronization signal to form a packet.
  • FIG. 23 is a diagram schematically showing an example of the format of output from the first signal processing circuit 18 when reading data according to the fourteenth embodiment.
  • the first signal processing circuit 18 may form packets so as to fill the lines in the order received as serial signals.
  • FIG. 24 is a diagram schematically showing an example of the format of output from the first signal processing circuit 18 when reading data according to the fourteenth embodiment.
  • the first signal processing circuit 18 may form packets so as to fill the lines in the order received as serial signals. Furthermore, as in the thirteenth embodiment, if the line lengths are not uniform in the final packet, dummies may be embedded to make the line lengths uniform in order to make the packet lengths uniform. In the case of transfer as shown in FIG. 22, the packet length is not always constant, but according to this embodiment, the packet length can be made uniform.
  • this format may be suitable if there are restrictions due to communication interfaces, etc. Also, depending on the processor, it may be easy to process by making the length of the packet constant. In such a case, it is advantageous to embed a dummy to match the length of the packet as in this embodiment.
  • Selection of this format may be implemented by hardware, or may be executed by software processing in the first signal processing circuit 18 or the like. When executing by software, it is desirable to select a suitable format depending on the specifications of the hardware such as signal lines to be transferred, but it is not limited to this.
  • the time stamp generated by the time stamp generation circuit 20 may be added to the event information or packet data if necessary.
  • a timestamp may be added to each event, for example.
  • Event detection timing In the twenty-second to twenty-fourth embodiments, non-limiting examples of event detection timings in the sensor device will be described.
  • the timing of detecting an event is not particularly described.
  • the timing of detecting an event may be performed based on a predetermined frame rate.
  • detection and reading may be executed at the same timing for all pixels for detecting events.
  • the detection timing may be set for each group. This setting may be variable instead of fixed.
  • FIG. 25 is a diagram showing an example of event detection timing and event information readout timing according to the present embodiment.
  • event detection that is, firing of pixels 100 occurs more frequently than groups Gp1 and Gp4
  • the detection frequency and readout frequency of these groups Gp2 and Gp3 may be increased.
  • the event detection frequency of group Gp4 is lower than that of group Gp1, the detection frequency and readout frequency of group Gp4 may be lowered.
  • FIG. 26 is a flowchart showing an example of processing for setting the timing of event detection and reading according to this embodiment.
  • the access control circuit 14 acquires the event detection result for the pixel 100 according to the set frame rate (S100).
  • the access control circuit 14 controls the reading of events by scanning line and group based on requests from the firing pixels 100, and the first reading circuit 16 controls the reading of the pixels 100 by region based on this control. (S102).
  • the read information is transferred to the first signal processing circuit 18 as a serial signal or parallel signal.
  • the first signal processing circuit 18 counts the number of events detected in each group (S104). This may be counted in the first readout circuit 16 instead of the first signal processing circuit 18 . In this case, the counted result is also transmitted to the first signal processing circuit 18 serially or in parallel with the transmission of the signal.
  • the first signal processing circuit 18 determines the access frequency in each group according to the counted number of events (S106). The first signal processing circuit 18 notifies the timing control circuit 12 of this access frequency. Note that if there is no change in the frequency, no notification is necessary.
  • the timing control circuit 12 outputs detection and read timing signals to the access control circuit 14 based on the access frequency received from the first signal processing circuit 18, and updates the access frequency for each group (S108).
  • the sensor device 1 can set the access frequency for each group based on the detection frequency for each group. By updating the access frequency in this way, it is possible to execute detection at a high rate in a group including areas in which many events occur. By using this sensor device 1, it is possible to perform detection and readout with a higher frequency in an area where a moving target exists, and thus more accurate detection can be performed. In addition, since the access frequency is locally increased for each group, highly accurate detection can be performed without increasing the overall frame rate or the like, that is, while minimizing the increase in power consumption.
  • FIG. 27 is a diagram showing access timing (readout timing in the first readout circuit 16) of the pixel array 10 and timing of signal processing in the first signal processing circuit 18 in the first embodiment (or the third embodiment). .
  • access timing readout timing in the first readout circuit 16
  • signal processing in the first signal processing circuit 18 in the first embodiment (or the third embodiment).
  • the access timing of the pixel array 10 and the synchronization signal for the processing timing of the first signal processing circuit 18 are generated at the same timing generated by the timing control circuit 12.
  • FIG. 28 is a diagram showing access timing (readout timing in the first readout circuit 16) of the pixel array 10 and timing of signal processing in the first signal processing circuit 18 in the second embodiment (or the fourth embodiment). .
  • access timing readout timing in the first readout circuit 16
  • signal processing in the first signal processing circuit 18 in the second embodiment (or the fourth embodiment).
  • the access timing of the pixel array 10 and the synchronizing signal of the processing timing of the first signal processing circuit 18 are generated by the timing control circuit 12 and executed at appropriate timing. This timing can be changed by providing the frame memory 180 in the first signal processing circuit 18 .
  • the timing control circuit 12 sets the access timing of the pixel array 10 to a predetermined cycle, while changing the timing of signal processing of the first signal processing circuit 18 based on the firing status of the pixels 100 acquired by the access control circuit 14. can do. That is, the timing control circuit 12 obtains in advance the number of regions for detecting an event, and based on the number of event detection regions obtained in advance, the synchronization signal for signal processing of the first signal processing circuit 18 is made variable. can be controlled.
  • the synchronization timing period for signal processing is lengthened or shortened based on the number of detected event regions.
  • the timing control circuit 12 controls the signal processing timing of the first signal processing circuit 18 based on the synchronization timing thus generated. Based on the synchronization timing generated by the timing control circuit 12, the first signal processing circuit 18 can perform signal processing on the acquired signal at an appropriate timing of acquiring the signal.
  • the synchronization timing in each configuration can be controlled to different timings, and the synchronization period can be appropriately fixed or variable.
  • the synchronization period can be appropriately fixed or variable.
  • the output of the sensor device 1 is rate-determining access to the pixels 100, the speed of processing and output of the sensor device 1 can be increased.
  • FIG. 29 is a diagram showing an example of frame and pixel readout timings in event detection. As shown in this figure, reading may be performed by accessing pixels across frames. For example, in FIG. 29, frames A and B have the same timestamp.
  • the shortest update rate may be defined for data read access that accesses only scanning lines that are firing. Using this update rate as a frame rate, the timing control circuit 12 generates a frame synchronization signal. Since this frame rate is the shortest update rate, it can effectively control the reset and detection of pixels 100 when only a few lines are firing.
  • the pixel array 10 may be accessed across frames, as shown in FIG.
  • FIG. 30 is a diagram showing an example of frame and pixel readout timings in event detection. As shown in FIG. 30, when the pixel array 10 is accessed across frames, there is a period during which readout is not performed in the fibers between frames A and B for a period of time corresponding to the detection and reset times, for example. You may
  • FIG. 31 is a diagram showing an example of frame and pixel readout timings in event detection.
  • the frame synchronization signal may be issued upon completion of scanning for one frame instead of having a fixed cycle.
  • the access control circuit 14 may acquire that scanning of all lines has been completed, and the timing control circuit 12 may issue a frame synchronization signal based on this timing.
  • FIG. 32 is a diagram showing an example of frame and pixel readout timing in event detection.
  • access to the pixel array 10 is controlled by frame synchronization processing such as that shown in FIG. Set a fixed frame rate that combines multiple frames as the base frame rate.
  • This base frame rate may be determined based on the specifications of the output I/F 22. For example, this base frame rate is set according to low-speed Vsync or the like in MIPI.
  • the last frame belonging to the base frame rate may be filled with dummies.
  • the last frame of the base frame rate can be set as an invalid frame. By setting such an invalid frame, it is possible to prevent access to the pixel array 10 across the base frame rate.
  • data of multiple output frames may be combined and output at a fixed-length output frame rate with a variable access rate.
  • the fixed length of this output frame rate may be set based on an externally input trigger period.
  • Timing and format for obtaining gradation information The timing of pixel readout will be described in the 29th to 33rd embodiments.
  • FIG. 33 is a diagram showing an example of timing when grayscale information is read together with event detection information. For example, such situations occur in the third and fourth embodiments.
  • the timing control circuit 12 and the access control circuit 14 may perform control of gradation acquisition and control of event detection at different synchronization timings.
  • the second reading circuit 24 reads out RGB grayscale information from the imaging element that outputs RGB grayscales based on the synchronization signal for obtaining grayscales.
  • the second signal processing circuit 26 appropriately executes signal processing based on the data transferred from the second readout circuit 24 and outputs it to the outside. Although only one output I/F is shown in FIGS. 3 and 4, an output I/F (not shown) different from the output I/F 22 for outputting gradation information is provided. may be
  • event detection is performed as described in each of the above-described embodiments at a timing independent of the timing of gradation acquisition.
  • gradation output and event information output may be performed at different timings, that is, based on different synchronization signals.
  • FIG. 34 is a diagram showing an example of an output format for outputting gradation information and event information together when outputting as described above. Intensity represents gradation data.
  • a virtual channel is used to generate packets of gradation data and event information, respectively, and output them.
  • the format of the event information can be according to each embodiment described above.
  • FIG. 35 is a diagram showing an example of an output format for outputting gradation information and event information together. As shown in FIG. 35, gradation information and event information may be output in combination with a superframe.
  • FIG. 36 is a diagram showing an example of an output format for outputting gradation information and event information together. As shown in FIG. 36, gradation information and event information may be output together in combination with superframes. For example, the same packet may include gradation information and event information in an output format.
  • the sensor devices according to all the above-described embodiments can be used for range finding systems such as in-vehicle devices, surveillance cameras, observation cameras, and the like.
  • a pixel array in which a plurality of pixels comprising sensing elements for sensing events are arranged in an array including at least a plurality of columns and at least one row of lines; a control circuit that controls scanning of the pixels on a frame-by-frame basis; a reading circuit that reads an event detected by the sensing element at a timing controlled by the control circuit; a signal processing circuit that processes and outputs the signal read by the readout circuit; with for said plurality of columns grouped, comprising a plurality of said columns in at least one group; The control circuit controls which group to access, the readout circuit acquires signals from the pixels accessed by the control circuit; sensor device.
  • the group includes at least a plurality of adjacent columns, The sensor device according to (1).
  • the group includes at least a plurality of the non-adjacent columns;
  • the control circuit controls parallel access to a plurality of the groups;
  • the sensor device according to (4).
  • a synchronization signal that accesses the pixel and controls readout, and a synchronization signal that controls processing of the readout signal have the same fixed period.
  • a synchronization signal that accesses the pixel and controls readout, and a synchronization signal that controls processing of the readout signal has a variable cycle.
  • a synchronization signal that accesses the pixel and controls readout and a synchronization signal that controls processing of the readout signal have the same cycle, The sensor device according to (7).
  • the signal processing circuit includes a frame memory, A synchronization signal that accesses the pixel and controls readout and a synchronization signal that controls processing of the readout signal have different cycles, The sensor device according to (7).
  • the control circuit sequentially controls access to pixels belonging to each group, The sensor device according to (1).
  • the control circuit controls access for each of the groups in any order from any of the groups.
  • the control circuit performs control by changing the frequency of reading for each group.
  • the sensor device according to (1) The sensor device according to (1).
  • the signal processing circuit outputs data obtained by arranging data of a plurality of scanning lines on the same line.
  • the sensor device according to (1) The sensor device according to (1).
  • the readout circuit reads out events from the pixel array over multiple frame sync signals;
  • the sensor device according to (1).
  • the readout circuit has a time during which the pixels are not accessed between the frames when reading out events from the pixel array over a plurality of frame sync signals;
  • the control circuit issues a frame synchronization signal at the timing when the scanning of the pixel array is completed, and sets the output frame rate.
  • the sensor device according to any one of (1) to (15).
  • the control circuit outputs event information in a plurality of frames using a base frame rate obtained by combining a plurality of frames, and sets a frame arranged at the end of the base frame rate as a dummy frame.
  • the sensor device according to any one of (1) to (16).
  • the pixel array acquires gradation information of light received by the pixels, further outputting the acquired gradation information;
  • the sensor device according to any one of (1) to (17).
  • the fixed length of the output frame rate is set based on an externally input trigger period, The sensor device according to (19).
  • 1 sensor device, 10: pixel array, 100: pixels, 102: Selector, Rd: read request line, Req1, Req2, Req3, Req4: fire notification lines, Vsl: readout line, 12: timing control circuit, 14: access control circuit, 16: first readout circuit, 18: first signal processing circuit, 20: Timestamp generation circuit, 22: Output I/F, 24: second readout circuit, 26: second signal processing circuit,

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

［課題］イベント検知する撮像素子の発火に応じた高速出力を可能とする。 ［解決手段］センサ装置は、画素アレイと、制御回路と、読出回路と、信号処理回路と、を備える。画素アレイには、イベントを検知する検知素子を備える複数の画素が、少なくとも複数のカラム及び少なくとも1列のラインを含むアレイ状に配列される。制御回路は、前記画素の走査をフレーム単位で制御する。読出回路は、前記制御回路が制御するタイミングで前記検知素子が検知したイベントを読み出す。信号処理回路は、前記読出回路が読み出した信号を処理して出力する。センサ装置において、少なくとも1つのグループにおいて複数の前記カラムを含む、グループ化された前記複数のカラムについて、前記制御回路は、アクセスするグループを制御し、前記読出回路は、前記制御回路がアクセスした前記画素からの信号を取得する。

Description

センサ装置
　本開示は、センサ装置に関する。
　撮像素子を備える撮像画素をアレイ状に配置した画素アレイを有する撮像装置を用いて、物体検出を行う手法が知られている。画素アレイにおいて画像撮像を実行し、撮像された画像信号をアレイセンサの外部のプロセッサへと送信し、プロセッサで適切な信号処理を施して物体検出を行う。このようなイメージセンサを用いた物体検出では、撮影される対象に拘わらず、撮影した画像情報を、物体検出を行う外部のプロセッサへと送信し、プロセッサ側で物体検出の計算処理を実行していた。
　このプロセスは、汎用プロセッサ側での処理能力に頼るところがあり、あらかじめ設定した対象となるラベルに限定したフレームレートで稼働する効率的な処理方法がとられていなかった。その結果、プロセッサ側の計算が高負荷になるため、処理が遅延する問題があった。この処理を遅延する問題を解決するべく、フレームレートを可変とすることが提案されているが、この場合においても検出処理フレーム分のレイテンシが必要となる問題が残されている。
特開2020-068522号公報 特開2019-092155号公報
　そこで、本開示では、イベント検知する撮像素子の発火に応じた高速出力が可能なセンサ装置を提供する。
　一実施形態によれば、センサ装置は、画素アレイと、制御回路と、読出回路と、信号処理回路と、を備える。画素アレイには、イベントを検知する検知素子を備える複数の画素が、少なくとも複数のカラム及び少なくとも1列のラインを含むアレイ状に配列される。制御回路は、前記画素の走査をフレーム単位で制御する。読出回路は、前記制御回路が制御するタイミングで前記検知素子が検知したイベントを読み出す。信号処理回路は、前記読出回路が読み出した信号を処理して出力する。センサ装置において、少なくとも1つのグループにおいて複数の前記カラムを含む、グループ化された前記複数のカラムについて、前記制御回路は、アクセスするグループを制御し、前記読出回路は、前記制御回路がアクセスした前記画素からの信号を取得する。
　前記グループは、隣接する複数の前記カラムを少なくとも含んでもよい。
　前記グループは、隣接しない複数の前記カラムを少なくとも含んでもよい。
　前記制御回路は、前記グループにおいて発火しているラインにアクセスする制御をしてもよい。
　前記制御回路は、複数の前記グループに並列にアクセスする制御をしてもよい。
　前記画素にアクセスし、読み出し制御をする同期信号、及び、前記読み出した信号の処理を制御する同期信号は、同一の固定周期であってもよい。
　前記画素にアクセスし、読み出し制御をする同期信号、及び、前記読み出した信号の処理を制御する同期信号は、可変周期であってもよい。
　前記画素にアクセスし、読み出し制御をする同期信号、及び、前記読み出した信号の処理を制御する同期信号は、同一の周期を有してもよい。
　前記信号処理回路は、フレームメモリ、を備え、
　前記画素にアクセスし、読み出し制御をする同期信号、及び、前記読み出した信号の処理を制御する同期信号は、異なる周期を有してもよい。
　前記制御回路は、順次、前記グループごとに、前記グループに属する画素にアクセスを制御してもよい。
　前記制御回路は、任意の前記グループから任意の順番で、前記グループごとにアクセスを制御してもよい。
　前記制御回路は、前記グループごとに読み出しの頻度を変えた制御をしてもよい。
　前記信号処理回路は、同一ラインに複数の走査ラインのデータを配置したデータを出力してもよい。
　前記読出回路は、複数のフレーム同期信号にわたり、前記画素アレイからイベントを読み出してもよい。
　前記読出回路は、複数のフレーム同期信号にわたり、前記画素アレイからイベントを読み出す場合に、前記フレーム間において前記画素にアクセスしない時間を有してもよい。
　前記制御回路は、前記画素アレイの走査が完了したタイミングでフレーム同期信号を発行し、出力フレームレートとしてもよい。
　前記制御回路は、複数のフレームを結合したベースフレームレートを用いて複数のフレームにおけるイベント情報を出力し、前記ベースフレームレートの最後に配置するフレームをダミーフレームに設定してもよい。
　前記画素アレイは、前記画素において受光した光の階調情報を取得してもよく、取得した前記階調情報をさらに出力してもよい。
　複数の出力フレームのデータを組み合わせ、アクセスレートを可変にした固定長の出力フレームレートで出力してもよい。
　前記出力フレームレートの固定長は、外部から入力されるトリガ周期に基づいて設定されてもよい。
一実施形態に係るセンサ装置の一例を模式的に示すブロック図。 一実施形態に係るセンサ装置の一例を模式的に示すブロック図。 一実施形態に係るセンサ装置の一例を模式的に示すブロック図。 一実施形態に係るセンサ装置の一例を模式的に示すブロック図。 一実施形態に係る画素の一例を模式的に示す図。 一実施形態に係るカラムのグループ分けの一例を模式的に示す図。 一実施形態に係るカラムのグループ分けの一例を模式的に示す図。 一実施形態に係るカラムのグループ分けの一例を模式的に示す図。 一実施形態に係る画素からアクセス制御回路への経路の一例を示す図。 一実施形態に係るアクセス制御回路におけるイベント検知結果の出力経路の一例を示す図。 一実施形態に係るグループの読出順序の一例を概略的に示す図。 一実施形態に係るグループの読出タイミングを示す図。 一実施形態に係る転送フォーマットの一例を示す図。 一実施形態に係る転送フォーマットの一例を示す図。 一実施形態に係る転送フォーマットの一例を示す図。 一実施形態に係るグループの読出順序の一例を概略的に示す図。 一実施形態に係るグループの読出タイミングを示す図。 一実施形態に係るグループの読出タイミングを示す図。 一実施形態に係る転送フォーマットの一例を示す図。 一実施形態に係る転送フォーマットの一例を示す図。 一実施形態に係る転送フォーマットの一例を示す図。 一実施形態に係るグループの読出タイミングを示す図。 一実施形態に係る転送フォーマットの一例を示す図。 一実施形態に係る転送フォーマットの一例を示す図。 一実施形態に係るイベント検知及び読み出しのタイミングの一例を示す図。 一実施形態に係るイベント検知及び読み出しのタイミングを設定する処理の一例を示すフローチャート。 一実施形態に係る読み出しのタイミングと転送のタイミングの一例を示す図。 一実施形態に係る読み出しのタイミングと転送のタイミングの一例を示す図。 一実施形態に係るフレームと画素読み出しのタイミングの一例を示す図。 一実施形態に係るフレームと画素読み出しのタイミングの一例を示す図。 一実施形態に係るフレームと画素読み出しのタイミングの一例を示す図。 一実施形態に係るフレームと画素読み出しのタイミングの一例を示す図。 一実施形態に係るイベント検知情報と階調情報の読み出しのタイミングの一例を示す図。 一実施形態に係るイベント検知情報と階調情報の出力フォーマットの一例を示す図。 一実施形態に係るイベント検知情報と階調情報の出力フォーマットの一例を示す図。 一実施形態に係るイベント検知情報と階調情報の出力フォーマットの一例を示す図。 一実施形態に係るイベント検知情報と階調情報の出力フォーマットの一例を示す図。
　以下、図面を参照して本開示における実施形態の説明をする。図面は、説明のために用いるものであり、実際の装置における各部の構成の形状、サイズ、又は、他の構成とのサイズの比等が図に示されている通りである必要はない。また、図面は、簡略化して書かれているため、図に書かれている以外にも実装上必要な構成は、適切に備えるものとする。
　実施形態ごとに、本開示における特徴のそれぞれについて説明する。
1. センサ装置を構成する回路例(第1実施形態～第4実施形態)
2. カラムのグループ振り分け例(第5実施形態～第9実施形態)
3. 読出タイミング例と読出フォーマット例(第10実施形態～第21実施形態)
4. イベント検知のタイミング例(第22実施形態～第24実施形態)
5. 画素読み出しタイミング例(第25実施形態～第28実施形態)
6. 階調情報を取得する場合のタイミング及びフォーマット例(第29実施形態～第33実施形態)
［センサ装置］
　第1実施形態から第4実施形態において、センサ装置における回路の限定されない例について説明する。
　(第1実施形態)
　図1は、第1実施形態に係るセンサ装置の限定されない一例を模式的に示すブロック図である。センサ装置1は、画素アレイ10と、タイミング制御回路12と、アクセス制御回路14と、第1読出回路16と、第1信号処理回路18と、タイムスタンプ生成回路20と、出力インタフェース(以下、出力I/F 22と記載)と、を備える。センサ装置1は、検知したイベントの情報(イベントデータ)を高速に出力する装置である。このセンサ装置1は、例えば、撮像装置等の電子機器に備えられる。
　画素アレイ10には、複数の画素100が備えられる。画素100は、少なくとも複数のカラム(ライン方向)において配置される。望ましくは、少なくとも複数のライン(カラム方向)において配置され、2次元のアレイ状に配置される。画素アレイ10は、画素100から出力された信号を読出回路へと出力する経路と、画素100においてイベントが検知された場合に、イベントを検知したことをアクセス制御回路14へと出力する経路と、アクセス制御回路14からどの画素100の情報を読み出すかを示す信号が入力される経路と、を少なくとも備える。
　それぞれの画素100は、少なくともイベント検知(検出)が可能な撮像素子(検知素子、検出素子)を備える。それぞれの画素100は、検知素子を駆動させ、この検知素子からの出力を適切に取得する画素回路を備える。例えば、画素回路は、所定のしきい値と、検知素子が取得したアナログ信号に関する値とを比較してイベントを検知して出力する回路であってもよい。一例として、画素100は、前フレームとの差分が所定の値を超えた場合に発火するとしてもよいし、別の例として、画素100は、コントラスト比がしきい値を超えた場合に発火するとしてもよい。ここで、発火は、画素100においてイベントを検知した状態を示す。
　タイミング制御回路12及びアクセス制御回路14は、画素100へのアクセス、画素100からの信号の読み出し及び読み出した信号の信号処理のタイミングを制御する、制御回路を構成する。また、この制御回路は、信号処理した信号の出力タイミングの制御をしてもよい。
　タイミング制御回路12は、例えば、入力されるクロック信号に基づいて、フレーム同期信号、水平方向同期信号をアクセス制御回路に出力する。また、タイミング制御回路12は、アクセス制御回路14から受信した画素100の発火状況に応じた信号に基づいて、信号処理を実行するタイミングを生成し、このタイミングを第1信号処理回路18に出力してもよい。
　アクセス制御回路14は、タイミング制御回路12から取得した水平方向同期信号に基づいて、アクセスする画素100を選択する走査信号を出力し、当該画素100からのイベント情報を第1読出回路16へと出力させる制御をする。すなわち、本開示におけるイベント検知は、タイミング制御回路12から出力されるフレーム情報に基づいて、フレームごとに画素100を走査することで実現される。
　第1読出回路16は、それぞれの画素100から取得した情報を適切に変換し、第1信号処理回路18へと出力する。例えば、第1読出回路16は、AFE(Analog Front End)として動作する。第1読出回路16は、それぞれの画素100から出力されたイベント情報を一時的に格納するラッチを、例えば、カラムごとに備えてもよい。また、画素100から出力されるアナログ信号を適切に増幅及びAD(Analog to Digital)変換して出力するADC(Analog to Digital Converter)を備えてもよい。このADCは、例えば、画素ごとに備えられるADCであってもよいし、カラムごとに備えられるADCであってもよい。第1読出回路16は、適切に変換したイベント情報を、シリアル又はパラレルの信号として出力する。
　第1信号処理回路18は、第1読出回路16から出力されるイベント情報を、タイミング制御回路12を介して取得するアクセス制御回路14が制御した画素100のアクセス情報に基づいて変換して、出力I/F 22を介してイベントデータとして外部、例えば、外部に備えられる電子機器のプロセッサ等へと出力する。第1信号処理回路18は、例えば、取得したイベント情報の順序を入れ替えて、又は、フォーマットを整えて出力する。また、上述したように、タイミング制御回路12がアクセス制御回路14の出力に基づいて生成した同期タイミングで、第1信号処理回路18は、信号処理を実行してもよい。
　タイムスタンプ生成回路20は、タイムスタンプ情報、例えば、単純には時刻情報を第1信号処理回路18へと出力する。第1信号処理回路18は、データに対して適切なタイムスタンプを付与して出力する。このようにタイムスタンプを適切に付与することで、出力されたデータの時刻に関する順序等を外部のプロセッサ等で適切に取得して信号処理等を実行することができる。
　出力I/F 22は、センサ装置1において取得、変換されたイベントデータを外部へと出力するインタフェースである。例えば、MIPI(登録商標)等のインタフェースであってもよい。センサ装置1は、取得したイベント情報をこの出力I/F 22を介して外部へと出力する。
　このような構成を用いることで、取得するデータ量に合わせて水平方向における静定期間及び水平方向の同期信号のタイミングを適切に制御することが可能となる。
　この構成においては、特に、画素アレイ10のアクセス制御(第1読出回路16における読み出し制御)及び第1信号処理回路18における信号処理制御の同期信号に、同じ同期信号を用いることができる。このため、センサ装置1において、データの出力速度がデータパスに律速する場合において、高速化を実現することができる。
　なお、タイミング制御回路12は、必須の構成ではない。例えば、画素100へのアクセス及び読み出しのタイミングと、第1読出回路16から第1信号処理回路18へのデータ転送のタイミングと、のいずれか一方を可変としない場合には、同期信号を固定することができるので、タイミング制御回路12を備えることなくセンサ装置1の動作を実現することもできる。
　(第2実施形態)
　図2は、第2実施形態に係るセンサ装置1の限定されない一例を模式的に示すブロック図である。本実施形態においては、第1信号処理回路18は、フレームメモリ180を特に備える。
　フレームメモリ180は、フレームの情報を格納するメモリ領域であり、例えば、メモリ回路により構成される。第1信号処理回路18は、第1読出回路16から取得した1フレーム分のイベント情報をこのフレームメモリ180に格納しておいてもよい。そして、第1信号処理回路18は、フレームメモリ180に格納されたデータを用いてイベント情報を高速にデータ転送が実行できるフォーマットへと変換して出力することができる。
　このように、フレームメモリ180を備えることで、フレームごとに外部へとイベント情報を転送することが可能となる。また、第1信号処理回路18における信号処理についても、フレームの情報を用いて実行することが可能となる。
　この構成においては、フレームメモリ180を備えることで、画素アレイ10のアクセス制御(第1読出回路16における読み出し制御)と、第1信号処理回路18における処理の制御と、のタイミングを走査ラインごとに分離することができる。すなわち、画素アレイ10のアクセスを所定周期の同期信号にしたがって制御する一方で、この制御に拘わらず、第1信号処理回路18における処理を可変の同期信号を用いて実行することが可能となる。このため、センサ装置1の出力が画素100へのアクセスに律速する場合、高速化を実現することができる。
　(第3実施形態)
　図3は、第3実施形態に係るセンサ装置1の限定されない一例を模式的に示すブロック図である。本実施形態においては、センサ装置1は、第1実施形態の構成に加え、第2読出回路24と、第2信号処理回路26と、を備える。
　本実施形態では、画素100は、イベント検知をする素子の他、階調情報を取得する素子を備える。階調情報は、例えば、RGBのそれぞれの色に対する強度情報である。画素100は、1画素内にRGBを受光する素子とイベント検知をする素子とを備えてもよい。別の例として、画素100ごとに、RGBを受光する画素と、イベント検知をする画素と、で画素アレイ10が形成されていてもよい。
　第2読出回路24は、アクセス制御回路14により走査され、それぞれの画素100から出力された色ごとのアナログ信号を取得し、このアナログ信号を出力するAFEとして動作する。第1読出回路16と同様に、限定されない一例として、ラッチと、ADCと、を備えてもよい。
　第2信号処理回路26は、第2読出回路24から出力された色ごとの情報に基づいて、信号処理を実行し、出力I/F 22を介して階調データを外部へと出力する。第2信号処理回路26は、限定されない例として、リニアマトリクス処理、欠陥補正処理、画像処理又は機械学習に関する処理のうち少なくとも1つを実行してもよい。
　このように、色情報を取得するとともに、イベント検知をする構成としてもよい。この場合、撮像した色情報に基づく画像情報と、イベント検知をした結果の情報との大きなズレが生じない又はこのズレを補正する処理が不要である。このため、画像情報におけるイベント検知の位置を、処理コストを低く維持した状況において、より正確に出力することができる。
　(第4実施形態)
　図4は、第4実施形態に係るセンサ装置1の限定されない一例を模式的に示すブロック図である。本実施形態においては、センサ装置1は、第3実施形態の構成に加えて、第1信号処理回路18にフレームメモリ180を備える構成となる。
　このような構成とすることで、第2実施形態の動作と、第3実施形態の動作とを同時に実現することができる。
　図5は、第3実施形態又は第4実施形態における画素100の一例を示す図である。
　画素100は、例えば、R(赤)の光を受光するサブ画素Rと、G(緑)の光を受光するサブ画素Gと、B(青)の光を受光するサブ画素Bと、イベント検知する画素EVと、を備える。このような画素を構成することで、第3実施形態又は第4実施形態のように、色の階調情報と、イベント検知情報とを取得することができる。
　画素回路は、イベント検知に基づいたアナログ信号を出力する回路と、R、G及びBの受光状態に基づいたアナログ信号を出力する回路と、が備えられる。これらの回路は、適切に、第1読出回路16及び第2読出回路24にそれぞれ接続される。
　なお、図5は、限定されない一例として示したものであり、画素における配置等は、この限りではない。例えば、上述したように、図5のサブ画素のそれぞれが1つの画素100として構成されていてもよい。また、画素100は、例えば、9分割され、それぞれ適切にRGB、EVを備える構成としてもよい。さらに、W(白)の受光をする画素、IR(赤外)の受光をする画素等が備えられる構成であってもよい。また、像面位相差等を適切に取得できる画素、異なる偏光の光を取得する画素として構成されていてもよい。
　色は、例えば、カラーフィルタにより分けられてもよいし、有機光電変換膜により分けられてもよい。また、色情報を取得する画素又はイベント検知する画素においては、取得したい情報に基づいて、IRカットフィルタが備えられてもよい。
　このように、画素100におけるサブ画素、又は、画素100自体の組み合わせは、イベント検知とともに取得した情報に基づいて任意に組み合わせることが可能である。
　第3実施形態及び第4実施形態における階調との組み合わせは、別の素子との組み合わせでも同様に適用することができる。例えば、階調を取得する画素は、グローバルシャッタに対応した画素であってもよい。また、階調を取得する画素の代わりにSPAD(Single Photon Avalanche Diode)等のAPD(Avalanche Photo Diode)を備える画素が配置されてもよいし、iToF(indirect Time of Flight)用の画素が配置されてもよい。この場合、第2読出回路24及び第2信号処理回路26も適切に信号を処理できる回路とする。
［カラムのグループ分け］
　第5実施形態から第7実施形態において、カラムのグループ分けの限定されない例について説明する。また、第8実施形態及び第9実施形態において、前述の第1実施形態から第4実施形態における回路の実装例について説明する。
　(第5実施形態)
　図6は、一実施形態に係る画素アレイ10における画素100のグループ分けの限定されない一例を模式的に示す図である。画素アレイ10は、ライン方向に沿ってHpix個の画素が配置され、カラム方向に沿ってVpix個の画素が配置されるとする。この図に示すように、例えば、画素アレイ10において、画素100は、複数(ここでは、4つ)のグループに分割されてもよい。
　単純には、画素アレイ10は、連続するカラムごとに4つに分割される。画素アレイ10は、図に示されるように、ライン方向に沿って配置される画素100が4等分される。この (Hpix / 4) × Vpix個の画素を1つのグループとして、ライン方向に沿ってイベント検知を実行する。画素アレイ10は、例えば、第0カラムからHpix / 4カラムごとに、第1グループGp1、第2グループGp2、第3グループGp3及び第4グループGp4に分割される。
　図に「Event」と示されている領域は、イベントが検知された領域である。このように、本実施形態においては、画素100ごとではなく、グループにおいてラインごとにイベント検知の対象領域として設定する。例えば、1つのグループが4カラムを含む場合には、4カラム × 1ラインの画素100が1つのイベント検知領域となる。
　一例として、イベント検知領域における1又は複数の任意の個数の画素100が発火した場合に、当該イベント検知領域においてイベントが発生したと判断してもよい。別の例として、イベント検知領域における全ての画素のアナログ値の和(又は平均等の統計値)が所定の値を超えた場合に、当該イベント検知領域においてイベントが発生したと判断してもよい。
　また、上記とは異なり、領域ごとにイベントが発生したか否かを判定するのではなく、単純に、アクセス制御回路14は、発火した画素100が属する領域(グループかつ走査ライン)に属する画素100からの発火状況を取得してもよい。このようにすることで、少なくとも1画素が発火している領域の情報だけを抽出することが可能となる。
　本開示におけるイベントの検知情報は、この領域ごとに外部へと出力される。
　このようにグループ分けすることにより、画素100ごとにイベント検知情報を出力する場合と比較してイベント検知データを削減することが可能となり、必要となるメモリ量を削減することができ、また、イベント検知データの送信時間、すなわち、転送のフレームレートを短縮することできる。
　(第6実施形態)
　図7は、一実施形態に係る画素アレイ10における画素100のグループ分けの限定されない一例を模式的に示す図である。画素アレイ10は、1又は複数のカラムごとに、順番に周期的に分割されてもよい。
　図に示すように、例えば、1(又は複数の)カラムごと4つのグループGp1、Gp2、Gp3、Gp4、Gp1、Gp2、・・・、と、周期的に分割されてもよい。なお、隣り合う分割領域において異なるグループに属するのであれば、周期的ではなく、任意の順番でグループを振り分けてもよい。例えば、左から順番に、Gp1、Gp2、Gp3、Gp4、Gp2、Gp1、Gp2、Gp4、Gp3、・・・等と振り分けられていてもよい。
　(第7実施形態)
　図8は、一実施形態に係る画素アレイ10における画素100のグループ分けの限定されない一例を模式的に示す図である。画素アレイ10は、1又は複数の大きさの同一又は異なるカラムごとに、任意にグループを振り分けてもよい。
　第5実施形態は、映像を取得する領域において、横方向に同じイベントが発生する、例えば、ライン方向に移動する対象が多い場合に、より的確にイベント情報を取得することができる。第6実施形態は、例えば、全面で発火する可能性があるケースにおいて有利となる。第7実施形態は、イベント検知をする領域が既知であり、重点的にイベント検知をするROI等を設定する場合に有利となる。
　なお、4分割は、一例として示したものであり、複数の任意の個数の領域に分割することができる。分割の個数は、データ取得の粒度(解像度)、データ量(データ転送速度)等に基づいて任意に設計することが可能である。また、分割したグループにおけるイベント検知領域は、(グループのカラム数) × (1ライン)としたが、複数ラインをイベント検知領域としてもよい。
　以下の実施形態においては、図6のような分割(隣接するカラムによる4つのグループ分け)を用いて説明するが、もちろん、第５実施形態(異なる分割数)、第6実施形態又は第7実施形態にも適用可能なものである。
　(第8実施形態)
　図9は、第8実施形態に係るグループごとの画素100からアクセス制御回路14への接続経路を示す図である。それぞれの画素100は、アクセス制御回路14へと発火状態を出力し、読み出しの走査を要求する発火通知ラインReqのいずれかと接続される。図9は、例えば、画素アレイ10の画素100のラインごとに備えられてもよい。別の例として、複数ライン(同時には走査しないライン)で共有して備えられるものであってもよい。
　例えば、グループGp1に属するそれぞれの画素100は、発火通知ラインReq1と接続され、発火通知ラインReq1は、アクセス制御回路14に接続される。アクセス制御回路14は、走査しているラインにおいて、グループGp1及び当該走査ラインに属する画素100が発火しているか否かをこの発火通知ラインReq1からの出力に基づいて判定する。判定した結果は、次の実施形態で説明するように用いられる。
　同様に、グループGp2、Gp3、Gp4に属する画素100は、発火通知ラインReq2、Req3、Req4とそれぞれ接続され、発火状態をアクセス制御回路14へと通知する。
　このように、アクセス制御回路14は、それぞれのグループにおいて走査対象のラインに属する画素100が発火している場合に、画素100と同じグループに属する画素100のそれぞれの発火状態を読み出すアクセス制御信号を出力する。また、このように配線することで、制御回路は、複数のグループを並列にアクセスする制御をすることができる。
　なお、アクセス制御回路14は、所定の順番で画素100ごとにリクエストを受け付けてもよい。このようにすることで、どの画素100からリクエストを受信したかを判定することもできる。
　(第9実施形態)
　図10は、第9実施形態に係るアクセス制御回路14からグループごとの画素100への読み出し要求経路を示す図である。画素アレイ10は、画素100が出力する読出ラインVslを読み出し信号に基づいて選択するセレクタ102を、画素100ごとに備える。また、画素アレイ10は、アクセス制御回路14と接続される複数の読出要求ラインRdと、複数の読出ラインVslと、それぞれの読出ラインVslとそれぞれのセレクタ102との接続状態を切り替えるスイッチSwを備える。
　複数の読出要求ラインRdは、走査ラインごとにそれぞれのグループに属する画素100に対するセレクタ102と接続される。アクセス制御回路14は、読出要求経路Rdを介してセレクタ102に読出ラインVslの選択信号を通知する。例えば、第8実施形態における発火信号がない走査ラインに対しては、いずれの読出ラインVslも選択しない信号を出力する。グループにおいて発火信号が出力された走査ラインに対しては、どの信号線を介して第1読出回路16に画素100からの信号を通知するかを選択する信号をセレクタ102に出力する。
　複数の読出ラインVslは、画素100からの信号を第1読出回路16へと伝達する信号線であり、画素アレイ10において、画素100が構成するカラムごとに、複数備えられる。それぞれの読出ラインVslは、このまま第1読出回路16と接続されてもよい。別の例として、カラムごとに備えられる読出ラインVslを、同じ領域の信号を伝える信号線と結線して第1読出回路16と接続してもよい。例えば、図10においてセレクタ102に接続される読出ラインVslにおいて、セレクタ102から近い順に同じ信号線として結線して第1読出回路16と接続されてもよい。
　セレクタ102は、アクセス制御回路14から受信した信号に基づいて、画素100の信号をどの読出ラインVslを介して出力するかを選択し、当該読出ラインVslと画素100とを適切に接続する。
　例えば、グループGp1においては、アクセス制御回路14は、上から2番目のラインにおいて発火を確認し、このラインからの出力を読み出す制御をする。この場合、アクセス制御回路14は、グループGp1の2番目のラインと、それぞれの画素100に対する一番左の読出ラインVslとを接続する信号をセレクタ102へと出力する。セレクタ102は、この信号を受信して、適切な信号線を選択して第1読出回路16へと対応する画素100からの信号が出力されるように接続する。
　グループGp1においては、上から5番目のラインにおいても発火を確認し、読み出すアクセスの制御をするが、この5番目のラインにおいては、2番目のラインとは異なる読出ラインVslを選択するように、アクセス制御回路14は、選択信号を出力し、セレクタ102は、適切に出力経路を接続する。
　このような構成及び制御により、画素100からはグループを認識できる状態で、第1読出回路16へと信号を出力することができる。また、アクセス制御回路14における垂直方向の走査について、出力する走査ラインのアクセス制御を複数ライン同時に実行することも可能となる。
　また、グループごとに同時にアクセスをすることができるので、第1読出回路16における読み出し及び第1読出回路16からの転送のタイミングをパラレルで行う場合には、データの入出力時間を短縮することができる。例えば、図10において、グループGp1の2番目の走査ラインと、グループGp2の1番目の走査ラインのアクセスは、アクセス制御回路14が適切に発火信号を受信し、読み出しアクセス制御をすることで同じタイミング実行することができる。すなわち、これらの2つの領域からのイベント情報を第1読出回路16は、パラレルに同じタイミング取得し、処理することもできる。
　このため、このようなアクセス制御をすることで、パラレルに信号の送受信をする場合には、処理時間及びデータ転送時間を短縮することが可能となる。
［読出タイミング及び読出フォーマット］
　第10実施形態から第21実施形態において、センサ装置における回路の限定されない例について説明する。
　(第10実施形態)
　図11は、一実施形態に係るグループごとの読出の順序の一例の概略を示す図である。この図に示すように、アクセス制御回路14は、グループごとに垂直方向にイベント情報を読み出す制御をしてもよい。この図11に示すように、左側のカラムを含むグループから順に読み出してもよいし、別の例として、任意の順番でグループごとに読み出してもよい。
　図12は、図11のように読み出す場合の読み出しのタイミングを示す図である。例えば、Event(Gp1)は、グループ1において検知されたイベントの読み出しを示す。同期信号に基づいて、イベント領域ごとに、1イベントずつ読み出される。
　図11における左のグループから順番に、イベントごとに読み出される。このように読み出すことで、データ帯域を削減することが可能となり、回路面積の削減及び低消費電力を実現することができる。
　(第11実施形態)
　図13は、第10実施形態のデータ読み出しを行う場合に、第1信号処理回路18から出力される形式の一例を模式的に示す図である。
　FSは、フレームの開始、FEは、フレームの終了を示す。PHは、パケットのヘッダ、PFは、パケットのフッタを示す。これらはそれぞれあらかじめ設定されている適切なビット列により表現されてもよい。また、フレーム番号、パケット番号等、適切な情報が埋め込まれていてもよい。Embeddedは、埋め込み情報であり、適切な情報が埋め込まれる。
　第1信号処理回路18は、アクセス制御回路14からタイミング制御回路12を介して入力されるアクセスする走査ライン及びグループの情報と、第1読出回路16から出力されたイベント情報と、に基づいて、外部へと出力する転送信号を生成する。第1信号処理回路18は、例えば、Embeddedにイベントを検知したグループ及び走査ラインの識別子(単純には、番号)を順番に並べ、これを埋め込んでもよい。
　外部のプロセッサは、このEmbeddedの情報を読むことで、どの領域におけるイベント情報がどのような順序でデータに含まれているのかを判定することができる。
　生成された信号は、例えば、図18に示すように、フレームに対して、1つのイベントに対してヘッダとフッタを付加してパケットを生成し、このパケットを順番に並べる形式としてもよい。このヘッダとフッタは、例えば、単純に領域ごとのイベント情報の始まりと終わりを示す符号であってもよい。別の例として、Embeddedにグループ及び走査ラインの情報を付加しない場合には、ヘッダに、直後に続くイベント情報が、どのグループ及び走査ラインにおける領域かを示す情報を付加してもよい。
　イベントを検知した領域に係る情報は、上記のように、データとして、又は、ヘッダとして付加することができる。データに付加する場合、データ形式の自由度が高く、インタフェースの規格による変更が不要であるという利点がある。一方で、ヘッダに付加する倍、識別子が最小限で済み、省データ化を図ることができるという利点がある。
　このように、検知したイベント領域ごとに、イベントをパケットとして順番に並べた形式で出力をしてもよい。
　(第12実施形態)
　図14は、第10実施形態のデータ読み出しを行う場合に、第1信号処理回路18から出力される形式の一例を模式的に示す図である。
　この図14に示すように、イベント情報をラインと同じ長さとなるように連結して出力してもよい。例えば、本実施形態においてはグループが4つあるので、4つ分のイベント情報を接続し、これを1つのパケットとしてもよい。このような形式では、例えば、画素アレイ10におけるライン走査の同期信号と、第1信号処理回路18からの出力の同期信号と、を同じ信号を用いて制御することも可能となる。
　(第13実施形態)
　図15は、第10実施形態のデータ読み出しを行う場合に、第1信号処理回路18から出力される形式の一例を模式的に示す図である。
　本実施形態では、最終パケットにおいて、ライン長に足りない場合には、当該足りない部分においてダミーを埋め込んだパケットを生成する。第12実施形態においては、図14に示すように、パケットの長さが一定になるとは限らないが、本実施形態によれば、パケットの長さを一定の長さとそろえることができる。
　パケットの長さを一定に保つことで、通信のインタフェース等による制限がある場合には、本形式が適している場合がある。また、プロセッサによっては、パケットの長さを一定とすることで処理がし易いこともある。このような場合に、本実施形態のようにダミーを埋め込んでパケットの長さをそろえることが有利となる。
　(第14実施形態)
　図16は、本実施形態に係るグループごとの読み出し順序を示す図である。第10実施形態においては、グループごとの読み出し順序はシリアル形式であったが、これには限られない。本実施形態においては、グループごとの画素100からのアクセスをパラレルに実行する。
　図17及び図18は、それぞれ、図16の読み出しを行う場合の第1読出回路16における読み出し及び第1読出回路16から第1信号処理回路18への信号の転送を示す例である。
　図17に示すように、複数のチャネルCH0、CH1、CH2、CH3において、パラレルにデータを転送することができる。また、図18に示すように、1つのチャネルを用いて、パラレルに取得したデータを結合して順次転送することもできる。
　いずれの場合も、データ転送の同期信号は、固定周期を有する周期信号とすることができる。
　パラレルに読み出すことで、第10実施形態よりも回路面積及び消費電力は、増えるものの、読み出しの時間を削減することができる。このように、状況によって、第10実施形態の読み出しと、第14実施形態の読み出しとを適宜選択することができる。
　(第15実施形態)
　図19は、第14実施形態のデータ読み出しを行う場合に、第1信号処理回路18から出力される形式の一例を模式的に示す図である。
　第1信号処理回路18は、第1読出回路16から転送されたデータを同期信号に基づいてチャネルごとに結合し、パケットを形成してもよい。
　(第16実施形態)
　図20は、第14実施形態のデータ読み出しを行う場合に、第1信号処理回路18から出力される形式の一例を模式的に示す図である。
　第1信号処理回路18は、第1読出回路16から転送されたデータをチャネルごとに結合し、グループの順番を変更することなくパケットを形成してもよい。グループの順番は、パケットにおけるイベント検知領域の順番であり、イベントが検知されていない箇所において、ダミーが挿入される。例えば、グループGp2においては、3番目のデータ転送がないため、3つめのパケットのグループGp2に該当する箇所にはダミーが挿入される。
　このように、図19の例に対して、ダミーを挿入することで、パケットの長さをそろえることができる。また、パケットを形成するそれぞれのグループのデータ領域がダミーを挿入することで維持されるので、外部のプロセッサへ出力した後の処理において、利点を有することがある。
　(第17実施形態)
　図21は、第14実施形態のデータ読み出しを行う場合に、第1信号処理回路18から出力される形式の一例を模式的に示す図である。
　第16実施形態においては、パケットにおけるグループの格納領域を変更しないようにダミー領域を設定したが、これには限られない。例えば、図21に示すように、パケットに前詰めしてイベント情報を格納し、その後にライン長となるようにダミーデータを挿入してもよい。
　第15実施形態から第17実施形態は、それぞれの領域におけるイベント情報が、パラレル信号又は同期信号が同じ周期であるシリアル信号として取得される第14実施形態の場合に実装しやすい形式である。
　以上、第10実施形態～第17実施形態については、同期信号の周期が固定であるため、図1～図4におけるタイミング制御回路12による同期信号を可変にする処理は、必要ではない。
　(第18実施形態)
　一方で、以下の実施形態において同期信号の周期を可変とする場合、図1～図4におけるタイミング制御回路12は、アクセス制御回路14から取得した発火画素の情報に基づいて、同期のタイミングを生成する。アクセス制御回路14は、このタイミング制御回路12が生成した同期タイミングに基づいて、画素100のアクセス制御(第1読出回路16の読み出し制御)を必要に応じて出力する。同様に、アクセス制御回路14は、第1信号処理回路18の信号処理制御のタイミングを必要に応じて出力する。
　図22は、本実施形態に係るグループごとの読み出し順序を示す図である。図18と同様に、パラレルに読み出したイベント情報をシリアル情報として転送する。図18は、同期信号が固定周期であるので、周期的なタイミングでシリアル信号が転送されるが、図22においては、同期信号の周期が可変であり、固定周期ではないタイミングでシリアル信号が転送される。このように、第1読出回路16は、パラレルに取得したデータをシリアル、かつ、データ転送速度を重視して転送することも可能である。但し、第1信号処理回路18で適切に処理を実行するために、可変の同期信号を定義する必要がある。
　(第19実施形態)
　図19に示される形式は、第18実施形態のデータ読み出しを行う場合に、第1信号処理回路18から出力される形式としても用いることができる。
　第15実施形態と同様に、第1信号処理回路18は、第1読出回路16から転送されたデータを同期信号に基づいてチャネルごとに結合し、パケットを形成してもよい。
　(第20実施形態)
　図23は、第14実施形態のデータ読み出しを行う場合に、第1信号処理回路18から出力される形式の一例を模式的に示す図である。
　第1信号処理回路18は、シリアル信号として受信した順番に、ラインを埋めるようにパケットを形成してもよい。
　(第21実施形態)
　図24は、第14実施形態のデータ読み出しを行う場合に、第1信号処理回路18から出力される形式の一例を模式的に示す図である。
　第1信号処理回路18は、シリアル信号として受信した順番に、ラインを埋めるようにパケットを形成してもよい。さらに、第13実施形態と同様に、パケットの長さをそろえるべく、最終パケットにおいてライン長が揃っていない場合には、ライン長をそろえるべくダミーを埋め込んでもよい。図22のような転送の場合、パケットの長さが一定になるとは限らないが、本実施形態によれば、パケットの長さを一定の長さとそろえることができる。
　パケットの長さを一定に保つことで、通信のインタフェース等による制限がある場合には、本形式が適している場合がある。また、プロセッサによっては、パケットの長さを一定とすることで処理がし易いこともある。このような場合に、本実施形態のようにダミーを埋め込んでパケットの長さをそろえることが有利となる。
　このように、種々の転送形式があるが、センサ装置1内における回路面積、消費電力、メモリ領域又は転送速度、センサ装置1から外部プロセッサへの転送仕様、転送速度等、及び、センサ装置1の外部におけるプロセッサの仕様又はプロセッサの処理内容に応じて、適宜形式を選択することが可能である。
　この形式の選択は、ハードウェアで実装されるものであってもよいし、第1信号処理回路18等におけるソフトウェアの処理で実行されるものであってもよい。ソフトウェアで実行する場合、転送する信号線等のハードウェアの仕様により、適した形式を選択することが望ましいが、その限りではない。
　また、第10実施形態から第21実施形態においては、タイムスタンプ生成回路20が生成したタイムスタンプが、必要であれば、イベント情報又はパケットデータに付加されてもよい。タイムスタンプは、例えば、イベントごとに付加されてもよい。
［イベント検知のタイミング］
　第22実施形態から第24実施形態において、センサ装置におけるイベント検知のタイミングの限定されない例について説明する。
　(第22実施形態)
　前述の各実施形態では、イベントを検知するタイミングについては特に記載していない。例えば、イベントを検知するタイミングは、所定のフレームレートに基づいて実行されてもよい。また、全てのイベントを検知する画素において、同一のタイミングで検知及び読み込みが実行されていてもよい。一方で、検知タイミングをグループごとに設定してもよい。この設定は、固定のものではなく、可変であってもよい。
　図25は、本実施形態に係るイベント検知のタイミングと、イベント情報の読み出しタイミングと、の一例を示す図である。例えば、グループGp2、Gp3において、グループGp1、Gp4よりもイベント検知、すなわち、画素100の発火の発生頻度が高い場合には、これらのグループGp2、Gp3の検知頻度及び読み出し頻度を高めてもよい。また、グループGp1よりもグループGp4のイベント検知の頻度が低い場合は、グループGp4の検知頻度及び読み出し頻度を低くしてもよい。
　図26は、本実施形態に係るイベント検知及び読み出しのタイミングを設定する処理の一例を示すフローチャートである。
　アクセス制御回路14は、設定されているフレームレートにしたがって、画素100におけるイベント検知結果を取得する(S100)。
　アクセス制御回路14は、発火している画素100からの要求に基づいて、走査ライン及びグループごとに、イベントを読み出す制御をし、第1読出回路16は、この制御に基づいて領域ごとの画素100からのイベントを読み出す(S102)。読み出した情報は、シリアル信号又はパラレル信号として、第1信号処理回路18へと転送される。
　第1信号処理回路18は、それぞれのグループにおいて検知されたイベントの数を計数する(S104)。これは、第1信号処理回路18ではなく、第1読出回路16において計数されてもよい。この場合、計数された結果も信号の送信とシリアル又はパラレルに第1信号処理回路18へと送信される。
　第1信号処理回路18は、計数されたイベント数に応じて、それぞれのグループにおけるアクセス頻度を決定する(S106)。第1信号処理回路18は、このアクセス頻度をタイミング制御回路12へと通知する。なお、頻度に変更がない場合には、通知しなくともよい。
　タイミング制御回路12は、第1信号処理回路18から受信したアクセス頻度に基づいて、アクセス制御回路14に検知及び読み出しのタイミング信号を出力し、グループごとのアクセス頻度を更新する(S108)。
　このアクセス頻度に基づいて、画素100における検知及び第1読出回路16における信号の読み出しが実行される(S100、S102)。そして、随時、検知結果に基づいて、グループごとのアクセス頻度が更新されていく。
　センサ装置1は、グループごとの検知頻度に基づいて、グループごとにアクセス頻度を設定することができる。このようにアクセス頻度を更新することで、イベントが多く発生している領域を含むグループにおいては、高いレートで検知を実行することができる。このセンサ装置1を用いることで、動作している対象が存在する領域において、より高い頻度で検知及び読み出しをすることが可能となり、より高精度な検知をすることができる。また、グループごとという局所的にアクセス頻度を上げるため、全体のフレームレート等を高くすることなく、すなわち、消費電力の増大を最小限にとどめつつ、高精度な検知をすることが可能となる。
　(第23実施形態)
　本実施形態においては、第1実施形態(又は第3実施形態)における効果として記載した画素アレイ10のアクセス制御のタイミングと、第1信号処理回路18における信号処理制御のタイミングとをより詳しく説明する。
　図27は、第1実施形態(又は第3実施形態)における画素アレイ10のアクセスタイミング(第1読出回路16における読出タイミング)と、第1信号処理回路18における信号処理のタイミングを示す図である。一例として、シリアルにデータが転送される場合について示しているが、データ転送は、パラレルであってもよい。
　例えば、画素アレイ10のアクセスタイミングと、第1信号処理回路18の処理タイミングの同期信号は、タイミング制御回路12により生成された同一のタイミングで実行される。
　このように、図1(又は図3)に示す構成により、各構成における同期タイミングを一致させるとともに、この同期の周期を可変とすることができる。このことから、第1実施形態において記載したように、センサ装置1の出力がデータパスに律速する場合において、センサ装置1の処理及び出力の速度をより高速化することが可能となる。
　(第24実施形態)
　本実施形態においては、第2実施形態(又は第4実施形態)における効果として記載した画素アレイ10のアクセス制御のタイミングと、第1信号処理回路18における信号処理制御のタイミングとをより詳しく説明する。
　図28は、第2実施形態(又は第4実施形態)における画素アレイ10のアクセスタイミング(第1読出回路16における読出タイミング)と、第1信号処理回路18における信号処理のタイミングを示す図である。一例として、シリアルにデータが転送される場合について示しているが、データ転送は、パラレルであってもよい。
　例えば、画素アレイ10のアクセスタイミングと、第1信号処理回路18の処理タイミングの同期信号は、タイミング制御回路12により生成された適切なタイミングで実行される。このタイミングは、第1信号処理回路18においてフレームメモリ180を備えることで、異なるタイミングとすることができる。
　タイミング制御回路12は、画素アレイ10のアクセスタイミングを所定の周期とする一方で、第1信号処理回路18の信号処理のタイミングを、アクセス制御回路14が取得した画素100の発火状況に基づいて変更することができる。すなわち、タイミング制御回路12は、イベントを検知する領域の数を事前に取得し、この事前に取得したイベント検知領域の数に基づいて、第1信号処理回路18の信号処理の同期信号を可変に制御することができる。
　例えば、図28に示すように、検知するイベント領域の数に基づいて、信号処理の同期タイミングの周期を長くしたり短くしたりする。タイミング制御回路12は、このように生成した同期タイミングに基づいて第1信号処理回路18の信号処理のタイミングを制御する。第1信号処理回路18は、タイミング制御回路12が生成した同期タイミングに基づいて、信号を取得した適切なタイミングにおいて当該取得した信号に対する信号処理を実行することができる。
　このように、図2(又は図4)に示す構成により、各構成における同期タイミングを異なるタイミングに制御するとともに、この同期の周期を適切に固定又は可変とすることができる。この場合、イベント検知する画素100の画素回路、又は、第1読出回路16の画素情報の読み出しにおいて、静定期間が図27に示す静定期間よりも長い場合においても、適切にイベント情報の転送と、信号処理とのタイミングを制御することができる。このことから、第2実施形態において記載したように、センサ装置1の出力が画素100に対するアクセスに律速する場合において、センサ装置1の処理及び出力の速度をより高速化することが可能となる。
［画素読み出しタイミング］
　第25実施形態から第28実施形態において、画素読み出しのタイミングについて説明する。
　(第25実施形態)
　図29は、イベント検知におけるフレームと画素読み出しのタイミングの一例を示す図である。この図に示すように、フレームをまたいで画素にアクセスして読み出しを行ってもよい。例えば、図29の場合、フレームA、Bは、同じタイムスタンプを有する。
　例えば、発火している走査ラインのみをアクセスするデータ読み出しアクセスに対して、最短の更新レートを定義してもよい。この更新レートをフレームレートとして、タイミング制御回路12は、フレーム同期信号を生成する。このフレームレートは、最短の更新レートであるので、発火しているラインが少ない場合には、効率的に、画素100のリセット及び検出を制御することができる。
　一方で、より多くのラインが発火した場合には、図29に示すように、フレームをまたがって画素アレイ10にアクセスしてもよい。
　(第26実施形態)
　図30は、イベント検知におけるフレームと画素読み出しのタイミングの一例を示す図である。この図30にしめすように、フレームをまたがって画素アレイ10にアクセスする場合には、例えば、検出、リセット時間に対応する時間分、フレームA、B間の繊維において、読み出しを実行しない期間が存在してもよい。
　(第27実施形態)
　図31は、イベント検知におけるフレームと画素読み出しのタイミングの一例を示す図である。図29、図30とは異なり、フレーム同期信号を固定の周期にするのではなく、1フレーム分の走査が完了したことをもって、発行してもよい。例えば、全てのラインの走査が完了したことをアクセス制御回路14が取得し、このタイミングに基づいて、タイミング制御回路12がフレームの同期信号を発行してもよい。
　(第28実施形態)
　前述のように、1つ1つのフレームについて同期させるのではなく、複数フレームを組み合わせて固定のフレームレートを実現してもよい。
　図32は、イベント検知におけるフレームと画素読み出しのタイミングの一例を示す図である。例えば、それぞれのフレームは、図29等のフレーム同期処理により画素アレイ10のアクセスが制御される。複数のフレームを組み合わせた固定フレームレートをベースフレームレートとして設定する。このベースフレームレートは、出力I/F 22の仕様に基づいて決定されてもよい。例えば、MIPIにおける低速のVsync等に合わせて、このベースフレームレートを設定する。
　複数のフレームの情報を取得し、順次出力する。そして、ベースフレームレートに属する最後のフレームは、全ての情報をダミーで埋めたものとしてもよい。このように設定することで、ベースフレームレートの最後のフレームを無効フレームとすることができる。このような無効フレームを設定することで、ベースフレームレートをまたがって画素アレイ10にアクセスしないようにすることができる。
　このように、複数の出力フレームのデータを組み合わせて、アクセスレートを可変にした固定長の出力フレームレートで出力してもよい。この出力フレームレートの固定長は、外部から入力されるトリガ周期に基づいて設定されてもよい。
［階調情報を取得する場合のタイミング及びフォーマット］
　第29実施形態から第33実施形態において、画素読み出しのタイミングについて説明する。
　(第29実施形態)
　図33は、イベント検知情報とともに、階調情報の読み出しを実行する場合のタイミングの一例を示す図である。例えば、このような状況は、第3実施形態及び第4実施形態において発生する。
　階調情報を取得する場合、タイミング制御回路12及びアクセス制御回路14は、階調取得の制御と、イベント検知の制御を異なる同期タイミングにおいて実行してもよい。例えば、図33の上段に示すように、階調取得のための同期信号に基づいて、RGBの階調を出力する撮像素子から、第2読出回路24は、RGBの階調情報を読み出す。
　第2信号処理回路26は、第2読出回路24から転送されるデータに基づいて、適切に信号処理を実行し、外部へと出力する。なお、図3、図4において、出力I/Fは、1つしか示されていないが、階調情報を出力するための出力I/F 22とはことなる図示しない出力I/Fが備えられていてもよい。
　その一方で、階調取得のタイミングとは独立したタイミングでイベント検知が前述の各実施形態で説明したように実行される。
　このように、階調出力と、イベント情報出力とを別々のタイミングで実行、すなわち、別々の同期信号に基づいて実行してもよい。
　(第30実施形態)
　図34は、上記のように出力される場合に、階調情報とイベント情報とを合わせて出力する出力フォーマットの一例を示す図である。Intensityは、階調データを表す。
　図34に示すように、バーチャルチャネルを使用して、階調データ及びイベント情報のパケットをそれぞれに生成し、出力形式とする。イベント情報の形式は、前述の各実施形態によるものとすることができる。
　(第31実施形態)
　図35は、階調情報とイベント情報とを合わせて出力する出力フォーマットの一例を示す図である。図35に示すように、スーパーフレームとの組み合わせとして、階調情報とイベント情報とを出力してもよい。
　(第32実施形態)
　図36は、階調情報とイベント情報とを合わせて出力する出力フォーマットの一例を示す図である。図36に示すように、スーパーフレームと組み合わせるとともに、階調情報とイベント情報とを併せて出力してもよい。例えば、同一のパケットに階調情報と、イベント情報とを含んで出力形式としてもよい。
　前述の全ての実施形態に係るセンサ装置は、車載装置等の測距用のシステム、監視カメラ、観察カメラ等に用いることができる。
　前述した実施形態は、以下のような形態としてもよい。
(1)
　イベントを検知する検知素子を備える複数の画素が、少なくとも複数のカラム及び少なくとも1列のラインを含むアレイ状に配列された、画素アレイと、
　前記画素の走査をフレーム単位で制御する、制御回路と、
　前記制御回路が制御するタイミングで前記検知素子が検知したイベントを読み出す、読出回路と、
　前記読出回路が読み出した信号を処理して出力する、信号処理回路と、
　を備え、
　少なくとも1つのグループにおいて複数の前記カラムを含む、グループ化された前記複数のカラムについて、
　　前記制御回路は、アクセスするグループを制御し、
　　前記読出回路は、前記制御回路がアクセスした前記画素からの信号を取得する、
　センサ装置。
(2)
　前記グループは、隣接する複数の前記カラムを少なくとも含む、
　(1)に記載のセンサ装置。
(3)
　前記グループは、隣接しない複数の前記カラムを少なくとも含む、
　(1)に記載のセンサ装置。
(4)
　前記制御回路は、前記グループにおいて発火しているラインにアクセスする制御をする、
　(1)に記載のセンサ装置。
(5)
　前記制御回路は、複数の前記グループに並列にアクセスする制御をする、
　(4)に記載のセンサ装置。
(6)
　前記画素にアクセスし、読み出し制御をする同期信号、及び、前記読み出した信号の処理を制御する同期信号は、同一の固定周期である、
　(5)に記載のセンサ装置。
(7)
　前記画素にアクセスし、読み出し制御をする同期信号、及び、前記読み出した信号の処理を制御する同期信号は、可変周期である、
　(5)に記載のセンサ装置。
(8)
　前記画素にアクセスし、読み出し制御をする同期信号、及び、前記読み出した信号の処理を制御する同期信号は、同一の周期を有する、
　(7)に記載のセンサ装置。
(9)
　前記信号処理回路は、フレームメモリ、を備え、
　前記画素にアクセスし、読み出し制御をする同期信号、及び、前記読み出した信号の処理を制御する同期信号は、異なる周期を有する、
　(7)に記載のセンサ装置。
(10)
　前記制御回路は、順次、前記グループごとに、前記グループに属する画素にアクセスを制御する、
　(1)に記載のセンサ装置。
(11)
　前記制御回路は、任意の前記グループから任意の順番で、前記グループごとにアクセスを制御する、
　(10)に記載のセンサ装置。
(12)
　前記制御回路は、前記グループごとに読み出しの頻度を変えた制御をする、
　(1)に記載のセンサ装置。
(13)
　前記信号処理回路は、同一ラインに複数の走査ラインのデータを配置したデータを出力する、
　(1)に記載のセンサ装置。
(14)
　前記読出回路は、複数のフレーム同期信号にわたり、前記画素アレイからイベントを読み出す、
　(1)に記載のセンサ装置。
(15)
　前記読出回路は、複数のフレーム同期信号にわたり、前記画素アレイからイベントを読み出す場合に、前記フレーム間において前記画素にアクセスしない時間を有する、
　(14)に記載のセンサ装置。
(16)
　前記制御回路は、前記画素アレイの走査が完了したタイミングでフレーム同期信号を発行し、出力フレームレートとする、
　(1)から(15)のいずれかに記載のセンサ装置。
(17)
　前記制御回路は、複数のフレームを結合したベースフレームレートを用いて複数のフレームにおけるイベント情報を出力し、前記ベースフレームレートの最後に配置するフレームをダミーフレームに設定する、
　(1)から(16)のいずれかに記載のセンサ装置。
(18)
　前記画素アレイは、前記画素において受光した光の階調情報を取得し、
　取得した前記階調情報をさらに出力する、
　(1)から(17)のいずれかに記載のセンサ装置。
(19)
　複数の出力フレームのデータを組み合わせ、アクセスレートを可変にした固定長の出力フレームレートで出力する、
　(1)から(18)のいずれかに記載のセンサ装置。
(20)
　前記出力フレームレートの固定長は、外部から入力されるトリガ周期に基づいて設定される、
　(19)に記載のセンサ装置。
　本開示の態様は、前述した実施形態に限定されるものではなく、想到しうる種々の変形も含むものであり、本開示の効果も前述の内容に限定されるものではない。各実施形態における構成要素は、適切に組み合わされて適用されてもよい。すなわち、特許請求の範囲に規定された内容及びその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更及び部分的削除が可能である。
1: センサ装置、
 10: 画素アレイ、
　100: 画素、
　102: セレクタ、
　Rd: 読出要求ライン、
　Req1、Req2、Req3、Req4: 発火通知ライン、
　Vsl: 読出ライン、
 12: タイミング制御回路、
 14: アクセス制御回路、
 16: 第1読出回路、
 18: 第1信号処理回路、
 20: タイムスタンプ生成回路、
 22: 出力I/F、
 24: 第2読出回路、
 26: 第2信号処理回路、

Claims (20)

  1. 　イベントを検知する検知素子を備える複数の画素が、少なくとも複数のカラム及び少なくとも1列のラインを含むアレイ状に配列された、画素アレイと、
    　前記画素の走査をフレーム単位で制御する、制御回路と、
    　前記制御回路が制御するタイミングで前記検知素子が検知したイベントを読み出す、読出回路と、
    　前記読出回路が読み出した信号を処理して出力する、信号処理回路と、
    　を備え、
    　少なくとも1つのグループにおいて複数の前記カラムを含む、グループ化された前記複数のカラムについて、
    　　前記制御回路は、アクセスするグループを制御し、
    　　前記読出回路は、前記制御回路がアクセスした前記画素からの信号を取得する、
    　センサ装置。
  2. 　前記グループは、隣接する複数の前記カラムを少なくとも含む、
    　請求項1に記載のセンサ装置。
  3. 　前記グループは、隣接しない複数の前記カラムを少なくとも含む、
    　請求項1に記載のセンサ装置。
  4. 　前記制御回路は、前記グループにおいて発火しているラインにアクセスする制御をする、
    　請求項1に記載のセンサ装置。
  5. 　前記制御回路は、複数の前記グループに並列にアクセスする制御をする、
    　請求項4に記載のセンサ装置。
  6. 　前記画素にアクセスし、読み出し制御をする同期信号、及び、前記読み出した信号の処理を制御する同期信号は、同一の固定周期である、
    　請求項5に記載のセンサ装置。
  7. 　前記画素にアクセスし、読み出し制御をする同期信号、及び、前記読み出した信号の処理を制御する同期信号は、可変周期である、
    　請求項5に記載のセンサ装置。
  8. 　前記画素にアクセスし、読み出し制御をする同期信号、及び、前記読み出した信号の処理を制御する同期信号は、同一の周期を有する、
    　請求項7に記載のセンサ装置。
  9. 　前記信号処理回路は、フレームメモリ、を備え、
    　前記画素にアクセスし、読み出し制御をする同期信号、及び、前記読み出した信号の処理を制御する同期信号は、異なる周期を有する、
    　請求項7に記載のセンサ装置。
  10. 　前記制御回路は、順次、前記グループごとに、前記グループに属する画素にアクセスを制御する、
    　請求項1に記載のセンサ装置。
  11. 　前記制御回路は、任意の前記グループから任意の順番で、前記グループごとにアクセスを制御する、
    　請求項10に記載のセンサ装置。
  12. 　前記制御回路は、前記グループごとに読み出しの頻度を変えた制御をする、
    　請求項1に記載のセンサ装置。
  13. 　前記信号処理回路は、同一ラインに複数の走査ラインのデータを配置したデータを出力する、
    　請求項1に記載のセンサ装置。
  14. 　前記読出回路は、複数のフレーム同期信号にわたり、前記画素アレイからイベントを読み出す、
    　請求項1に記載のセンサ装置。
  15. 　前記読出回路は、複数のフレーム同期信号にわたり、前記画素アレイからイベントを読み出す場合に、前記フレーム間において前記画素にアクセスしない時間を有する、
    　請求項14に記載のセンサ装置。
  16. 　前記制御回路は、前記画素アレイの走査が完了したタイミングでフレーム同期信号を発行し、出力フレームレートとする、
    　請求項1に記載のセンサ装置。
  17. 　前記制御回路は、複数のフレームを結合したベースフレームレートを用いて複数のフレームにおけるイベント情報を出力し、前記ベースフレームレートの最後に配置するフレームをダミーフレームに設定する、
    　請求項1に記載のセンサ装置。
  18. 　前記画素アレイは、前記画素において受光した光の階調情報を取得し、
    　取得した前記階調情報をさらに出力する、
    　請求項1に記載のセンサ装置。
  19. 　複数の出力フレームのデータを組み合わせ、アクセスレートを可変にした固定長の出力フレームレートで出力する、
    　請求項1に記載のセンサ装置。
  20. 　前記出力フレームレートの固定長は、外部から入力されるトリガ周期に基づいて設定される、
    　請求項19に記載のセンサ装置。
PCT/JP2022/026560 2021-10-06 2022-07-04 センサ装置 WO2023058283A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202280060065.8A CN117941371A (zh) 2021-10-06 2022-07-04 传感器装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-164911 2021-10-06
JP2021164911 2021-10-06

Publications (1)

Publication Number Publication Date
WO2023058283A1 true WO2023058283A1 (ja) 2023-04-13

Family

ID=85804108

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/026560 WO2023058283A1 (ja) 2021-10-06 2022-07-04 センサ装置

Country Status (2)

Country Link
CN (1) CN117941371A (ja)
WO (1) WO2023058283A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021014921A1 (ja) * 2019-07-19 2021-01-28 キヤノン株式会社 撮像装置およびその制御方法
WO2021153254A1 (ja) * 2020-01-31 2021-08-05 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021014921A1 (ja) * 2019-07-19 2021-01-28 キヤノン株式会社 撮像装置およびその制御方法
WO2021153254A1 (ja) * 2020-01-31 2021-08-05 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像方法

Also Published As

Publication number Publication date
CN117941371A (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
US10218889B2 (en) Systems and methods for transmitting and receiving array camera image data
US11388349B2 (en) Imaging device that generates multiple-exposure image data
KR101711097B1 (ko) 실시간 이미지들의 획득 및 디스플레이
CN101888491B (zh) 固态成像设备
EP4160680A1 (en) Image sensor with wide dynamic range
JP2015115637A (ja) 固体撮像装置
CN110971799B (zh) 控制方法、摄像头组件及移动终端
KR20080020568A (ko) 물리량 검출 장치, 고체 촬상 장치 및 촬상 장치
CN106067955B (zh) 用于图像传感器的读出电路
US11284035B2 (en) Data transmission system having multiple line buffer memories for image sensor
US11381714B2 (en) Image processing device and image processing system
CN107220208A (zh) 一种图像处理系统及方法
CN102629996B (zh) 彩色的时间延时积分型cmos图像传感器
KR20160063856A (ko) 이미지 센서, 및 상기 이미지 센서를 포함하는 이미지 처리 시스템
WO2015174761A1 (ko) Ｔｄｉ 라인 이미지 센서
WO2023058283A1 (ja) センサ装置
US20070030371A1 (en) Frame shuttering scheme for increased frame rate
WO2015174762A1 (ko) 양방향 ｔｄｉ 라인 이미지 센서
KR20150049262A (ko) 영상 처리 장치 및 영상 처리 방법
JP7414733B2 (ja) 受信装置および送信装置
CN104349078A (zh) 固体摄像装置
CN110285886A (zh) 一种红外机芯的数据传输方法及装置
KR101541123B1 (ko) 이미지 시그널 프로세서의 이미지 데이터 출력 장치
US20010030705A1 (en) Solid-state imaging element, image processor and image processing method
CN116456179A (zh) 一种图像采集与处理芯片

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 202280060065.8

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE