WO2023058669A1 - 画像センサ、データ処理装置、および画像センサシステム - Google Patents

画像センサ、データ処理装置、および画像センサシステム Download PDF

Info

Publication number
WO2023058669A1
WO2023058669A1 PCT/JP2022/037204 JP2022037204W WO2023058669A1 WO 2023058669 A1 WO2023058669 A1 WO 2023058669A1 JP 2022037204 W JP2022037204 W JP 2022037204W WO 2023058669 A1 WO2023058669 A1 WO 2023058669A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
event
frame
information
image
Prior art date
Application number
PCT/JP2022/037204
Other languages
English (en)
French (fr)
Inventor
高大 宮崎
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2023058669A1 publication Critical patent/WO2023058669A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Definitions

  • the present disclosure relates to an image sensor, a data processing device, and an image sensor system, and more particularly to an image sensor, a data processing device, and an image sensor system capable of increasing versatility.
  • EVS Event-based Vision Sensor
  • Patent Literature 1 discloses a sensor architecture capable of sampling in a frame-based, event-based, and hybrid manner of frame-based and event-based.
  • the present disclosure has been made in view of such circumstances, and is intended to improve the versatility of the EVS.
  • An image sensor includes an event detection unit that detects occurrence of an event that is a change in luminance of light received by a photodiode; A data transmission unit for transmitting frame information added to a frame as additional information additionally provided for data in a frame structure as a part of embedded data.
  • a data processing apparatus uses event data indicating details of an event, which is a change in luminance of light received by a photodiode, as part of payload data, and frames as additional information additionally provided for the event data. and an event-related data processing unit that references the frame information and performs data processing related to the event. Prepare.
  • An image sensor system includes an event detection unit that detects occurrence of an event that is a change in luminance of light received by a photodiode; an image sensor having a data transmission unit configured to transmit frame information added to a frame as additional information provided additionally to event data in a frame structure as part of embedded data; the event data and the frame.
  • a data processing device having a data receiving section for receiving information and an event-related data processing section for performing data processing related to the event by referring to the frame information.
  • the occurrence of an event that is a change in the brightness of light received by a photodiode is detected, event data indicating the content of the event is set as part of the payload data, and the event data is additionally provided.
  • Frame information added to the frame as additional information is transmitted in a frame structure as part of the embedded data. Then, the event data and frame information are received, the frame information is referenced, and data processing related to the event is performed.
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of a sensor system to which the present technology is applied;
  • FIG. 1 is a block diagram showing a configuration example of an EVS with a 3-chip stacked structure;
  • FIG. 4 is a diagram showing an example of a frame configuration of event data for one frame;
  • FIG. 4 is a diagram showing an example of arrangement of embedded data;
  • FIG. 4 is a diagram showing a first example of a frame configuration in which three frames of event data are concatenated into one frame;
  • FIG. 10 is a diagram showing a second example of a frame configuration in which three frames of event data are concatenated into one frame;
  • 4 is a block diagram showing a first configuration example of an additional information generation unit;
  • FIG. 4 is a diagram for explaining timestamps, the number of frames, and the amount of data;
  • FIG. 4 is a diagram for explaining the presence or absence of flicker and event data;
  • FIG. 4 is a diagram showing an example of a frame configuration storing frame information;
  • It is a block diagram which shows the structural example of a data processing apparatus.
  • FIG. 11 is a block diagram showing a configuration example of an additional information generation unit corresponding to an arbiter type;
  • FIG. 5 is a diagram for explaining processing performed by a frame generation unit;
  • FIG. 11 is a block diagram showing a second configuration example of an additional information generation unit;
  • FIG. 4 is a diagram showing an example of a frame configuration storing line information;
  • FIG. 10 is a diagram showing another example of a frame configuration storing line information;
  • FIG. 11 is a block diagram showing a configuration example of an additional information generation unit corresponding to an arbiter type;
  • FIG. 11 is a block diagram showing a third configuration example of an additional information generation unit;
  • FIG. 4 is a diagram showing an example of a frame configuration storing pixel information; It is a figure explaining the transmission system of pixel information.
  • FIG. 11 is a block diagram showing a configuration example of an additional information generation unit corresponding to an arbiter type;
  • 2 is a block diagram showing a configuration example of a sensor system capable of switching physical layers in a serializer and a deserializer;
  • FIG. 1 is a block diagram showing a configuration example of a sensor system capable of switching physical layers in an EVS and a data processing device;
  • FIG. 10 is a diagram showing a first example of a control result of linking images
  • FIG. 10 is a diagram illustrating a second example of control results for image connection
  • FIG. 11 is a diagram illustrating a third example of control results for image linking
  • FIG. 12 is a diagram showing a fourth example of control results for image connection.
  • FIG. 12 is a diagram showing a fifth example of control results for image connection.
  • FIG. 4 is an explanatory diagram showing an example of data transmitted by a first transmission method;
  • FIG. 4 is an explanatory diagram for explaining an example of Embedded Data transmitted by the first transmission method;
  • FIG. 10 is a diagram showing an example of use using an image sensor;
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of a sensor system 11 to which the present technology is applied.
  • a sensor system 11 is configured by connecting an EVS 12 and a data processing device 13 via a data bus 14 .
  • the EVS 12 is an image sensor that detects luminance changes for each pixel as an event in real time, and transmits event data indicating the content of the event to the data processing device 13 via the data bus 14 .
  • the EVS 12 includes a luminance detector 21 , an event detector 22 , an additional information generator 23 and a data transmitter 24 .
  • the EVS 12 is a stack of two chips, a pixel chip 25 provided with a luminance detection unit 21 and a signal processing chip 26 provided with an event detection unit 22, an additional information generation unit 23, and a data transmission unit 24.
  • the event detection unit 22 is an analog circuit that serves as an AFE (Analog Front End). Therefore, as shown in FIG. 2, the EVS 12 includes a pixel chip 25 provided with a luminance detection unit 21, an AFE chip 27 provided with an event detection unit 22, and a logic circuit provided with an additional information generation unit 23 and a data transmission unit 24.
  • a laminated structure in which three chips of the chip 28 are laminated may be used.
  • the data processing device 13 is composed of, for example, an application processor and an FPGA (Field Programmable Gate Array). The data processing device 13 performs various data processing on the event data transmitted from the EVS 12 and acquires various information related to the event.
  • the data processing device 13 includes a data receiving section 31 and an event-related data processing section 32, the details of which will be described later with reference to FIG.
  • the data bus 14 transmits and receives data between the EVS 12 and the data processing device 13 according to, for example, CSI-2 (Camera Serial Interface-2), which is an interface standard by the MIPI (Mobile Industry Processor Interface) Alliance.
  • CSI-2 Cara Serial Interface-2
  • MIPI Mobile Industry Processor Interface
  • the luminance detection unit 21 includes a photodiode provided for each pixel, detects the luminance of light received by the photodiode, and supplies a luminance signal indicating the luminance value to the event detection unit 22 .
  • the event detection unit 22 obtains the difference between the luminance value indicated by the luminance signal supplied from the luminance detection unit 21 and a predetermined reference value, and the difference exceeds the event detection threshold on the plus side or the event detection threshold on the minus side. Detects the occurrence of an event. Then, when detecting the occurrence of an event, the event detection unit 22 outputs event data indicating the content of the event (for example, data indicating whether the luminance value has changed from the reference value to the plus side or the minus side). .
  • the event data output from the event detection unit 22 is also referred to as event raw data as appropriate.
  • the additional information generation unit 23 generates various types of additional information added to the event data based on the event data output from the event detection unit 22 and supplies the generated information to the data transmission unit 24 .
  • the additional information generator 23 can generate frame information, line information, and pixel information as described later, in addition to embedded data defined by CSI-2.
  • the data transmission unit 24 transmits the event data output from the event detection unit 22 and the additional information supplied from the additional information generation unit 23 to the data processing device 13 in a frame configuration according to the standard of the data bus 14. do.
  • FIG. 3 is a diagram showing an example of the frame configuration of one frame of event data transmitted from the EVS 12 to the data processing device 13.
  • FIG. 3 is a diagram showing an example of the frame configuration of one frame of event data transmitted from the EVS 12 to the data processing device 13.
  • event data for one frame is arranged in a line between a frame start FS, which is a short packet indicating the start of a frame, and a frame end FE, which is a short packet indicating the end of a frame. stored in multiple long packets.
  • a long packet storing embedded data is placed at the head of a long packet storing event data.
  • a long packet is provided with a packet header PH and a packet footer PF.
  • a data type DT indicating the type of data stored in the long packet is arranged in the packet header PH, and it is possible to distinguish between embedded data and event data according to the data type DT. .
  • the data type DT may be placed in the packet header PH or at the beginning of the area storing data in the long packet.
  • the polarity information of the event which is data indicating positive P for a pixel whose luminance value has changed from the reference value to the positive side and negative N for a pixel whose luminance value has changed from the reference value to the negative side, is used.
  • Data other than the event polarity information may be used as the event data.
  • the placement position of the embedded data is not limited to the beginning of the event data as shown in FIG. Also, a frame configuration in which a plurality of embedded data are arranged may be used.
  • the insertion position of the embedded data may be a frame configuration at the end of the event data as shown in FIG. 4A, or a frame configuration at the middle of the event data as shown in FIG. good too.
  • the embedded data uses information determined at the time the event is acquired, such as a time stamp or the number of frames, it is preferable to place the embedded data at the beginning of the event data.
  • the embedded data is added at the end of the event data. Arrangement is preferred.
  • a plurality of event data corresponding to a plurality of image data may be linked and transmitted as one frame.
  • the frame structure shown in FIG. 5 includes a frame end FE of a subframe that is the first event data, a frame start FS and a frame end FE of a subframe that is the second event data, and a subframe that is the third event data.
  • a frame is configured as one frame by not recognizing the frame start FS of the frame. That is, by recognizing only the frame start FS of the subframe that is the first event data and the frame end FE of the subframe that is the third event data, the event data transmitted between them is recognized. is regarded as one frame even if it does not have a structure in which is actually connected.
  • the frame structure shown in FIG. 6 is a structure in which a subframe for the first event data, a subframe for the second event data, and a subframe for the third event data are actually connected. 1 frame is constructed. Note that intervals may be provided between these subframes.
  • the data receiving unit 31 by configuring the data receiving unit 31 to include an internal counter and counting the number of subframes in the data receiving unit 31, it is possible to recognize a plurality of subframes as one frame and receive event data.
  • FIG. 7 is a block diagram showing a first configuration example of the additional information generator 23. As shown in FIG.
  • the additional information generation unit 23 shown in FIG. 7 generates frame information added to the frame as additional information additionally provided for the event data.
  • the frame information is data that may be acquired once in a predetermined period when the minimum resolution is one frame or more.
  • the additional information generation unit 23 generates information of the frame information itself, threshold information, flicker information, movement information, and ROI (Region of Interest) information as the frame information.
  • various setting values, event polarity, information indicating data types (types including possibilities other than events), and the like may be used as the frame information.
  • the information of the frame information itself includes a time stamp indicating the time when the frame was generated, the number of the frame indicating the number of the frame, and the amount of frame data indicating the amount of data constituting the frame. .
  • the threshold information uses an event detection threshold (the positive event detection threshold and the negative event detection threshold as described above) that is a threshold for detecting the occurrence of an event.
  • Information indicating the presence or absence of flicker, the location of flicker occurrence, the intensity of flicker, and the frequency of flicker is used as the flicker information.
  • Information indicating whether or not the EVS 12 is moved and the direction of movement is used as the movement information.
  • the ROI information is information indicating a target region, which is a target region in which an event has been detected.
  • the additional information generation unit 23 is configured with an event access unit 41 , an event count unit 42 , an event number analysis unit 43 , an event number frequency analysis unit 44 , an optical flow analysis unit 45 and a data amount calculation unit 46 .
  • the event access unit 41 generates a time stamp and the number of frames, and supplies them to the data transmission unit 24.
  • the event access unit 41 also instructs the timing at which the event detection unit 22 scans the event data.
  • the event access unit 41 has a circuit for counting the clock clk as shown in FIG. 8, and can operate according to the internal timer after receiving an instruction from the outside. For example, the event access unit 41 generates a clk count output at the timing when a frame starting point signal for instructing the frame starting point to the event detecting unit 22 is turned on as a time stamp. The event access unit 41 also generates a frame count that counts up at the timing when the time stamp is generated as the number of frames.
  • the event count unit 42 counts the number of times an event occurs based on the event raw data supplied from the event detection unit 22, and sends the number of events indicating the count value to the event number analysis unit 43 and the event number frequency analysis unit 44. supply.
  • the event count analysis unit 43 analyzes the number of events supplied from the event count unit 42 to set an event detection threshold and generate ROI information, and supplies the event detection threshold and ROI information to the data transmission unit 24. .
  • the event number analysis unit 43 determines that the current event detection threshold is set low, and sets the event detection threshold high so that events occur at an appropriate frequency. On the other hand, when the number of events is too small, the event number analysis unit 43 determines that the current event detection threshold is set high, and sets the event detection threshold low so that events occur at an appropriate frequency. Then, the event number analysis unit 43 can feed back the event detection threshold to the event detection unit 22 to adjust the frequency of event detection.
  • the event detection threshold is normally set from the outside of the EVS 12, but can be adaptively set inside the EVS 12 by the event number analysis unit 43. It is necessary to output the detection threshold to the outside.
  • the event number frequency analysis unit 44 analyzes the frequency of the number of events supplied from the event counting unit 42 to acquire flicker information indicating the presence or absence of flicker, the location of flicker occurrence, the intensity of flicker, and the frequency of flicker. , to the data transmission unit 24 .
  • the flicker information represents information about flickering light sources present on the screen.
  • FIG. 9A shows an example of event data sampling in a state in which flicker does not occur
  • FIG. 9B shows an example of event data sampling in a state in which flicker occurs. It is For example, when flickering occurs due to flickering of a light source, positive and negative event data appear disproportionately due to flickering. Since flicker appears as the number of events in this way, flicker information can be obtained by the event counting section 42 and the event number frequency analysis section 44 .
  • the optical flow analysis unit 45 Based on the event raw data supplied from the event detection unit 22, the optical flow analysis unit 45 analyzes the motion from luminance information in the image and performs optical flow analysis to obtain the motion of the object from the velocity vector. As a result, the optical flow analysis unit 45 acquires information indicating whether or not the EVS 12 has moved and the direction of movement, and supplies the information to the data transmission unit 24 .
  • the data amount calculation unit 46 calculates the amount of frame data, which is the amount of data per frame, and supplies it to the data transmission unit 24 .
  • the data amount calculator 46 can calculate the frame data amount based on the en number count value obtained by counting the clock clk during the period when the data enable signal data_en is on. .
  • the en number count value is multiplied by the number of pixels. Then, the frame data amount is 528.
  • the additional information generating unit 23 supplies the time stamp, the number of frames, the event detection threshold value, the ROI information, the flicker information, the information indicating whether or not the EVS 12 is moving and the moving direction, and the amount of frame data to the data transmitting unit 24. can do.
  • the data transmission unit 24 can store these pieces of information as frame information in a frame structure as shown in A of FIG. .
  • FIG. 10B shows an example of the output format of frame information and event data output according to the CSI-2 standard.
  • the data transmission unit 24 can store the frame information according to the position of the embedded data in the frame structure described with reference to FIG.
  • frame information may be included in part of the embedded data.
  • the frame information may be inserted at the end or middle of the event data as in the case of the embedded data shown in FIG. good.
  • FIGS. 5 and 6 described above even when a plurality of event data are linked to form one frame, frame information can be stored in the same manner as embedded data in each subframe. .
  • the EVS 12 having the additional information generator 23 configured as described above employs a frame structure storing frame information in the same manner as embedded data, and can transmit frame information in an output format conforming to this frame structure. can. That is, the EVS 12 transmits frame information as part of embedded data and event data as part of payload data in a frame structure. This allows the EVS 12 to be more versatile.
  • FIG. 11 is a block diagram showing a configuration example of the data processing device 13. As shown in FIG. 11
  • the data processing device 13 includes a data receiving section 31 and an event-related data processing section 32 .
  • the data receiving section 31 receives frame information and event raw data transmitted from the data transmitting section 24 in a frame structure as shown in FIG. Then, the data receiving section 31 supplies the event raw data as it is to the event-related data processing section 32 , extracts various information contained in the frame information, and supplies it to the event-related data processing section 32 . That is, the event-related data processing unit 32 receives the time stamp, the number of frames, the event detection threshold value, the ROI information, the flicker information, the information indicating whether or not the EVS 12 is moving and the moving direction, and the frame data amount from the data receiving unit 31. supplied.
  • the event-related data processing unit 32 refers to various types of information included in the frame information, and processes the event raw data supplied from the data receiving unit 31 with various types of information related to the event detected by the event detection unit 22 . Data processing can be performed.
  • the event-related data processing unit 32 includes an ROI calculation processing unit 61, a Recognition processing unit 62, an AE/AF processing unit 63, a VLC processing unit 64, a SLAM processing unit 65, an OIE/EIS processing unit 66, and a MotionDetect processing unit. It comprises a unit 67 , a gesture processing unit 68 , a deblur processing unit 69 and a 3DNR processing unit 70 .
  • Each process described here is merely an example, and the event-related data processing unit 32 can perform various processes other than the processes described here based on the event raw data.
  • the ROI calculation processing unit 61 performs, for example, ROI calculation processing for obtaining coordinate information of a region to be acquired, and outputs coordinate information of that region.
  • the recognition processing unit 62 for example, performs recognition processing for recognizing the object that caused the event, and outputs the recognition result and coordinate information of the object.
  • An AE/AF (Auto Exposure/Auto Focus) processing unit 63 acquires distance information indicating the distance to the target that is required in the AE/AF processing for automatically adjusting the exposure or focus on the target that generated the event. Output.
  • the VLC processing unit 64 performs VLC processing to obtain and output distance information indicating the distance to the object.
  • a SLAM (Simultaneous Localization and Mapping) processing unit 65 performs SLAM processing for estimating the self-position and creating an environment map at the same time, thereby obtaining and outputting movement amount information indicating the movement amount of the EVS 12 per unit time.
  • the OIS/EIS (Optical Image Stabilization/Electronic Image Stabilizer) processing unit 66 is a movement amount that indicates the movement amount of the EVS 12 per unit time, which is required in the OIE/EIS processing that performs optical image stabilization or electronic image stabilization. Output information.
  • the MotionDetect processing unit 67 performs MotionDetect processing to detect the presence or absence of a moving subject in the screen, and outputs information indicating the presence or absence of a moving subject.
  • the gesture processing unit 68 performs gesture processing to detect a specific motion performed by the subject, and outputs information indicating the detection result (for example, hand waving motion, hand raising motion, etc.).
  • the Deblur processing unit 69 outputs movement amount information indicating the movement amount of the subject per unit time, which is obtained in the Deblur processing for removing blurring of the subject.
  • the 3DNR processing unit 70 outputs coordinate information indicating the coordinates of the moving subject, which is obtained in the 3DNR processing for removing three-dimensional noise of the subject.
  • FIG. 12 is a block diagram showing a modification of the first configuration example of the additional information generator 23. As shown in FIG. In addition, in the additional information generating section 23' shown in FIG. 12, the same reference numerals are assigned to the components common to the additional information generating section 23 in FIG. 7, and detailed description thereof will be omitted.
  • the event detection unit 22 and the additional information generation unit 23 shown in FIG. 7 described above are of a scan type, and one frame is configured by outputting event data regardless of whether an event has occurred.
  • the additional information generator 23' is configured to correspond to the arbiter-type event detector 22' that outputs event data only at the timing when an event occurs.
  • the additional information generating section 23' has a different configuration from the additional information generating section 23 in FIG. 7 in that it includes a frame generating section 47.
  • the frame generation unit 47 generates one frame of event data by interpolating the event data output from the arbiter type event detection unit 22' with the event data at the timing when no event occurs. , the optical flow analysis unit 45 and the data amount calculation unit 46 .
  • the frame generator 47 also supplies event raw data to the data transmitter 24 , and also supplies the time stamp of the generated frame and the number of frames to the data transmitter 24 .
  • the arbiter-type event detection unit 22' when the n-th event occurs, the arbiter-type event detection unit 22' outputs the n-th event data (x n , y n , p n , t n ) indicating coordinate information and time information at that timing. do.
  • the frame generator 47 can temporarily store event data generated during a period of one frame in an SRAM (Static Random Access Memory) 48 according to the coordinate information. Then, when the event data generated during the one-frame period is held in the SRAM, the frame generator 47 can output the event data in the form of frames.
  • SRAM Static Random Access Memory
  • the arbiter-type event detection unit 22 ′ since the arbiter-type event detection unit 22 ′ does not output event data based on the concept of frames, the arbiter-type EVS 12 must include the frame generation unit 47 .
  • FIG. 14 is a block diagram showing a second configuration example of the additional information generator 23. As shown in FIG. In addition, in the additional information generating section 23A shown in FIG. 14, the same reference numerals are assigned to the components common to the additional information generating section 23 in FIG. 7, and detailed description thereof will be omitted.
  • the additional information generation unit 23A shown in FIG. 14 generates line information added to lines as additional information additionally provided for event data.
  • the additional information generation unit 23A generates, as line information, information of the line information itself, identification information of the line, and flicker information.
  • the data amount (length) of the line information itself For the information of the line information itself, the data amount (length) of the line information itself, an identifier for identifying the line information, etc. are used.
  • the identification information of the line includes the time stamp, the coordinates (position) of the line, the amount of data (length) of the line, the number of events on the line (activation rate/attention), and the event detection threshold of the line. , the event polarity of the line, the type of data (types including possibilities other than events), the compression method, and the like are used.
  • flicker information information indicating the presence or absence of flicker on the line, the position of flicker occurrence on the line, the intensity of flicker on the line, and the frequency of flicker on the line is used.
  • the information of the line information itself can be given by the data transmission unit 24 . Also, part of this information may be stored in embedded data. Also, the line may be one line or plural lines. For example, line information given every ten lines is inserted as the line information for the first line among the ten lines.
  • the additional information generation unit 23A is similar to the additional information generation unit 23 in FIG. 7 in that it includes an event access unit 41, an event count unit 42, an event number analysis unit 43 and an event number frequency analysis unit 44. It is configured.
  • the additional information generating section 23A has a configuration different from that of the additional information generating section 23 in FIG.
  • the event access unit 41 generates the time stamp, the coordinates of the line, and the event polarity of the line, and supplies them to the data transmission unit 24 .
  • the event number analysis unit 43 obtains the number of events for the line, sets the event detection threshold for the line, and supplies the event detection threshold for the line and the number of events for the line to the data transmission unit 24 .
  • the event number frequency analysis unit 44 acquires flicker information of the line indicating the presence or absence of flicker on the line, the position of flicker occurrence on the line, the intensity of the flicker on the line, and the frequency of the flicker on the line, and transmits data. 24.
  • the data amount calculation unit 49 calculates the amount of line data, which is the data amount of the line to be processed, and the data transmission unit 24 and data compression. 50.
  • the data compression unit 50 performs data compression processing for compressing the event raw data supplied from the event detection unit 22 using a preset compression method, and compresses the compressed data obtained as a result of the processing together with the compression method. It is supplied to the data transmission unit 24 .
  • the additional information generation unit 23A generates the time stamp, the coordinates of the line, the event polarity of the line, the event detection threshold of the line, the number of events of the line, the flicker information of the line, and the line data amount of the line.
  • the compressed data, and the compression technique can be supplied to the data transmitter 24 .
  • the data transmission unit 24 can store these pieces of information as line information in a frame structure as shown in A of FIG. .
  • FIG. 15B shows an output example of line information and event data output according to the CSI-2 standard.
  • the data transmission unit 24 stores the line information at the beginning of the data storage area (that is, immediately after the packet header PH) in the long packet storing event data for each line. .
  • Line information may also be included in the packet header PH, as shown in A of FIG. Also, as shown in FIG. 16B, the data length of the line information is arbitrary.
  • the insertion position and number of insertions of the line information are arbitrary, but in view of actual use, it is preferable to place the line information at the beginning of the line.
  • the line information is information for identifying event data
  • the processing efficiency of the event data on the data processing device 13 side can be improved.
  • the data processing device 13 can handle the event data output from the EVS 12 while maintaining compatibility with conventional standards.
  • the EVS 12 equipped with the additional information generator 23A configured as described above adopts a frame structure in which line information is stored at a predetermined position on a line, and can transmit line information in an output format according to this frame structure. can. That is, the EVS 12 stores the frame information at the beginning of the payload data and transmits the event data in a frame structure in which the event data is part of the payload data. This allows the EVS 12 to be more versatile.
  • the data processing device 13 can interpret the packet header PH and the line information, and determine the processing to be performed on the event data based on the contents described in the line information.
  • FIG. 17 is a block diagram showing a modification of the second configuration example of the additional information generator 23. As shown in FIG. In addition, in the additional information generating section 23A' shown in FIG. 17, the same reference numerals are assigned to the configurations common to the additional information generating section 23A in FIG. 14, and detailed description thereof will be omitted.
  • the event detection unit 22 and the additional information generation unit 23A shown in FIG. 14 described above are of the scan type, and output event data regardless of whether an event has occurred, thereby forming one frame.
  • the additional information generator 23A' is configured to correspond to the arbiter type event detector 22' that outputs event data only at the timing when an event occurs.
  • the additional information generator 23A' has a different configuration from the additional information generator 23A in FIG. 14 in that it includes a frame generator 47.
  • the frame generation unit 47 causes the SRAM 48 to temporarily store the event data generated during a certain one-frame period, and the event data generated during the one-frame period as a frame. can be output in the form of
  • FIG. 18 is a block diagram showing a third configuration example of the additional information generator 23. As shown in FIG. In addition, in the additional information generating section 23B shown in FIG. 18, the same reference numerals are assigned to the components common to the additional information generating section 23 in FIG. 7, and detailed description thereof will be omitted.
  • the additional information generation unit 23B shown in FIG. 18 generates pixel information added to pixels as additional information additionally provided for the event data.
  • the additional information generation unit 23B generates, as pixel information, event information, flicker information, and information obtained from the event information.
  • the event information includes timestamps, coordinates, presence/absence of events, polarity of events that have occurred, event detection thresholds, amount of luminance change, number of events (activation rate), and so on.
  • Information indicating the presence or absence of flicker, the location of flicker occurrence, the intensity of flicker, and the frequency of flicker is used as the flicker information.
  • Information obtained from event information is information that is given to an area spanning one pixel or multiple pixels by calculation based on the event information of each pixel, and indicates optical flow, attention level, classification value, etc. Information is used.
  • the additional information generator 23B includes an event access unit 41, an event count unit 42, an event number analysis unit 43, an event number frequency analysis unit 44, and an optical flow analysis unit 45. It has the same configuration as the generation unit 23 .
  • the additional information generator 23B has a configuration different from that of the additional information generator 23 in FIG.
  • the optical flow analysis unit 45 obtains the optical flow value of each pixel based on the event raw data supplied from the event detection unit 22 and supplies it to the data transmission unit 24 .
  • the attention degree calculation unit 51 calculates the attention degree of each pixel based on the number of events supplied from the event count unit 42 and supplies it to the data transmission unit 24 .
  • the data processing unit 52 is composed of, for example, a neural network or the like, and performs data processing using machine learning based on the event raw data supplied from the event detection unit 22 to determine the classification value and brightness of each pixel. The amount of change is obtained and supplied to the data transmission section 24 .
  • the additional information generation unit 23B generates the time stamp, the number of frames, the event detection threshold, the number of events, flicker information, the attention level of each pixel, the optical flow value of each pixel, the amount of luminance change, the presence or absence of an event, and the event detection threshold. can be supplied to the data transmitter 24 . Then, the data transmission unit 24 can embed this information as pixel information in the data of each pixel together with the event data, and store it in a frame structure as shown in A of FIG. 19 .
  • FIG. 19B shows an output example of event data (data in which pixel information is embedded for each pixel) output according to the CSI-2 standard.
  • the data transmission unit 24 can insert into the data type DT mode information indicating how many bits of data are used for the data for one pixel according to the data amount of pixel information to be embedded in the pixel data. can. For example, when the mode information is mode 1, the pixel data amount is 2 bits of 0/-/+, and when the mode information is mode 2, the pixel data amount is 0/-/ It is added to the +2 bits to obtain the necessary data amount ⁇ . This makes it possible to flexibly change the output of the EVS 12 depending on the purpose of the application, the required amount of information or accuracy, and the like.
  • FIG. 20A shows an example of input data input from the event detection section 22 to the additional information generation section 23B. For example, “01” is input for positive event data, “10” is input for negative event data, and “00” is input for stay event data with no luminance change.
  • FIG. 20B shows an example of data when only event data (+/-/stay) is transmitted using 2 bits or 3 bits.
  • FIG. 20C shows an example of data when only event data (event/stay) is transmitted using 2 bits. For example, “00" is input as event data for stay, and “01” is input as event data indicating the occurrence of an event.
  • FIG. 20D shows an example of data when pixel information indicating the presence or absence of flicker is transmitted using 2 bits. For example, "00" is input for pixel information indicating no flicker, and "01" is input for pixel information indicating presence of flicker.
  • FIG. 20E shows an example of data when pixel information indicating the degree of attention is transmitted using 2 bits. For example, "00" is input as pixel information indicating that the area is not of interest, and "01" is input as pixel information indicating that it is an area of interest.
  • FIG. 20F shows an example of data when pixel information indicating optical flow values is transmitted using 2 bits.
  • the EVS 12 can select between transmission of event data only and transmission of event data with pixel information added.
  • the selection selection of data length and content
  • the selection can be made fixed by Fuse, ROM, or the like, or can be made dynamically selectable on a frame-by-frame basis.
  • frame information stored in embedded data can be used.
  • the EVS 12 having the additional information generator 23B configured as described above adopts a frame structure in which pixel information is embedded in event data, and can transmit pixel information in an output format according to this frame structure. can. This allows the EVS 12 to be more versatile.
  • the data processing device 13 determines whether or not to switch the mode, which indicates how many bits are used in the data for one pixel, and transmits a switching instruction signal to the EVS 12. It can be configured to include a circuit for generating.
  • FIG. 21 is a block diagram showing a modification of the second configuration example of the additional information generator 23. As shown in FIG. In addition, in the additional information generation section 23B' shown in FIG. 21, the same reference numerals are assigned to the configurations common to the additional information generation section 23B in FIG. 18, and detailed description thereof will be omitted.
  • the event detection unit 22 and the additional information generation unit 23B shown in FIG. 18 described above are of the scan type, and output event data regardless of whether an event has occurred to form one frame.
  • the additional information generator 23B' is configured to correspond to the arbiter type event detector 22' that outputs event data only at the timing when an event occurs.
  • the additional information generating section 23B' has a different configuration from the additional information generating section 23B in FIG. 18 in that it includes a frame generating section 47.
  • the frame generation unit 47 causes the SRAM 48 to temporarily store the event data generated during a certain one-frame period, and the event data generated during the one-frame period as a frame. can be output in the form of
  • FIG. 22 A configuration example of the sensor system 11 capable of switching between a plurality of physical layers will be described with reference to FIGS. 22 and 23.
  • FIG. 22 A configuration example of the sensor system 11 capable of switching between a plurality of physical layers will be described with reference to FIGS. 22 and 23.
  • the sensor system 11 is a physical layer for transmitting data between the EVS 12 and the data processing device 13, and the transmission distance is about 15 m. can be used. Also, the sensor system 11 may use physical layers other than A-PHY (for example, C-PHY, D-PHY, etc.), and is configured to be able to switch between these physical layers.
  • A-PHY for example, C-PHY, D-PHY, etc.
  • FIG. 22 shows a configuration example of the sensor system 11 provided with the function of switching the physical layer between the serializer and the deserializer.
  • the sensor system 11 is configured with a serializer 71 and a deserializer 72 .
  • communication is performed between the EVS 12 and the serializer 71 and between the data processing device 13 and the deserializer 72 according to the CSI-2 standard. It is configured to communicate via data bus 14 .
  • the EVS 12 comprises a CSI-2 transmission circuit 73 corresponding to the data transmission section 24 of FIG. 1, and the data processor 13 comprises a CSI-2 reception circuit 74 corresponding to the data reception section 31 of FIG. be done.
  • the serializer 71 comprises a CSI-2 receiving circuit 81 , an A-PHY converting section 82 , a SerDes converting section 83 , a selector 84 and a SerDes transmitting circuit 85 .
  • the CSI-2 receiving circuit 81 receives the event data transmitted from the CSI-2 transmitting circuit 73 of the EVS 12 and supplies it to the A-PHY converting section 82 and the SerDes converting section 83 .
  • the A-PHY conversion unit 82 serially converts the event data supplied from the CSI-2 reception circuit 81 according to the A-PHY standard, and supplies the converted data to the selector 84 .
  • the SerDes conversion unit 83 serially converts the event data supplied from the CSI-2 receiving circuit 81 according to general SerDes standards other than A-PHY, and supplies the converted data to the selector 84 .
  • the selector 84 selects one of serial-converted event data supplied from the A-PHY conversion unit 82 and serial-converted event data supplied from the SerDes conversion unit 83 according to a predetermined selection signal. It is selected and supplied to the SerDes transmission circuit 85 .
  • the SerDes transmission circuit 85 transmits the serial-converted event data selected by the selector 84 via the data bus 14 .
  • the deserializer 72 comprises a SerDes receiver circuit 91 , an A-PHY converter 92 , a SerDes converter 93 , a selector 94 and a CSI-2 transmitter circuit 95 .
  • the SerDes reception circuit 91 receives the event data transmitted via the data bus 14 and supplies it to the A-PHY conversion unit 92 and the SerDes conversion unit 93 .
  • the A-PHY conversion unit 92 deserializes the event data supplied from the SerDes reception circuit 91 according to the A-PHY standard, and supplies the result to the selector 94 .
  • the SerDes conversion unit 93 performs deserial conversion corresponding to the serial conversion by the SerDes conversion unit 83 on the event data supplied from the SerDes receiving circuit 91 and supplies the deserialized data to the selector 94 .
  • the selector 94 selects one of the event data supplied from the A-PHY conversion unit 92 and the event data supplied from the SerDes conversion unit 93, for example, according to a predetermined selection signal, and selects one of the event data supplied from the CSI-2 transmission circuit. 95.
  • the CSI-2 transmission circuit 95 transmits the event data selected by the selector 94 to the CSI-2 reception circuit 74 of the data processor 13 .
  • the sensor system 11 can switch between serial conversion according to the A-PHY standard and serial conversion according to the general SerDes standard in the serializer 71 and the deserializer 72. can. Then, switching between the A-PHY conversion unit 82 and the SerDes conversion unit 83 and switching between the A-PHY conversion unit 92 and the SerDes conversion unit 93 are performed so that the serializer 71 and the deserializer 72 perform serial conversion of the same standard. is done.
  • FIG. 23 shows a configuration example of the sensor system 11 in which the EVS 12 and the data processing device 13 are provided with the function of switching the physical layer.
  • the EVS 12 includes a CSI-2 transmission circuit 73, an A-PHY conversion unit 82, a SerDes conversion unit 83, a selector 84, and a SerDes transmission circuit 85.
  • the data processing device 13 includes a CSI -2 receiver circuit 74 , SerDes receiver circuit 91 , A-PHY converter 92 , SerDes converter 93 , and selector 94 .
  • the sensor system 11 can switch between serial conversion according to the A-PHY standard and serial conversion according to the general SerDes standard in the EVS 12 and the data processing device 13. can. Then, switching between the A-PHY conversion unit 82 and the SerDes conversion unit 83, switching between the A-PHY conversion unit 92 and the SerDes conversion unit 93, and switching between the A-PHY conversion unit 82 and the SerDes conversion unit 93 are performed so that the EVS 12 and the data processing device 13 perform serial conversion of the same standard. is done.
  • FIG. 24 is a block diagram showing a configuration example of the electronic device 101 including the EVS 12. As shown in FIG. 24
  • an electronic device 101 having an EVS 12 is configured with a laser light source 111, an irradiation lens 112, an imaging lens 113, an EVS 12, and a system controller 114.
  • the laser light source 111 is composed of, for example, a vertical cavity surface emitting laser (VCSEL: Vertical Cavity Surface Emitting Laser) 122 and a light source driver 121 that drives the VCSEL 122.
  • VCSEL Vertical Cavity Surface Emitting Laser
  • the laser light source 111 may be any of a point light source, a surface light source, and a linear light source.
  • the laser light source 111 may have, for example, a configuration in which a plurality of point light sources (for example, VCSELs) are arranged one-dimensionally or two-dimensionally.
  • the laser light source 111 may emit light in a wavelength band different from the wavelength band of visible light, such as infrared (IR) light.
  • IR infrared
  • the irradiation lens 112 is arranged on the emission surface side of the laser light source 111, and converts the light emitted from the laser light source 111 into irradiation light with a predetermined spread angle.
  • the imaging lens 113 is arranged on the light receiving surface side of the EVS 12 and forms an image of incident light on the light receiving surface of the EVS 12 .
  • the incident light may include reflected light emitted from the laser light source 111 and reflected by the object 102 .
  • the EVS 12 drives a light-receiving unit 132 in which pixels for detecting an event (hereinafter referred to as event pixels) are arranged in a two-dimensional lattice, and by driving the light-receiving unit 132, the event pixels are detected. It is composed of a sensor control unit 131 that generates frame data based on detected event data.
  • the system control unit 114 is composed of, for example, a processor (CPU), and drives the VCSEL 122 via the light source driving unit 121 .
  • the system control unit 114 also controls the EVS 12 in synchronization with the control of the laser light source 111 to obtain event data detected according to the light emission/extinction of the laser light source 111 .
  • irradiation light emitted from the laser light source 111 is projected onto the subject 102 through the irradiation lens 112 .
  • This projected light is reflected by the object 102 .
  • the light reflected by the subject 102 passes through the imaging lens 113 and enters the EVS 12 .
  • the EVS 12 receives reflected light reflected by the subject 102, generates event data, and generates frame data, which is one image, based on the generated event data.
  • the frame data generated by the EVS 12 is supplied to the data processing device 13 via the data bus 14.
  • the frame data includes a frame header FS indicating the beginning of the frame data, a line header PH indicating the beginning of each line data, a line footer PF indicating the end of each line data, a line header PH and a line
  • the line data Event sandwiched between the footer PF and the frame footer FE indicating the end of the frame data are output, between the frame header FS and the frame footer FE, all the data constituting the frame data are provided.
  • Each line data Event includes event data (for example, positive event, negative event, or no event) for all pixels forming each line, y address indicating the position of the line, and line data It may contain a flag or the like indicating whether the is uncompressed data, which encoding method is used to compress data, or which signal processing result.
  • event data for example, positive event, negative event, or no event
  • y address indicating the position of the line
  • line data It may contain a flag or the like indicating whether the is uncompressed data, which encoding method is used to compress data, or which signal processing result.
  • a data processing device 13 such as an application processor executes predetermined processing such as image processing and recognition processing on frame data input from the EVS 12 .
  • FIG. 25 is a block diagram showing a schematic configuration example of the EVS 12. As shown in FIG.
  • the pixel array unit 141, X arbiter 143, and Y arbiter 144 shown in FIG. As functions of the event signal processing circuit 142 and the system control circuit 145 shown in FIG. handle.
  • the EVS 12 comprises a pixel array section 141, an X arbiter 143, a Y arbiter 144, an event signal processing circuit 142, a system control circuit 145, and an output interface (I/F) 146.
  • the pixel array section 141 has a configuration in which a plurality of event pixels 151 each detecting an event based on a change in luminance of incident light are arranged in a two-dimensional lattice.
  • the row direction also referred to as row direction
  • the column direction also referred to as column direction
  • the arrangement of pixels in pixel columns It refers to the direction (vertical direction in the drawing).
  • Each event pixel 151 includes a photoelectric conversion element that generates a charge according to the luminance of incident light, and requests reading from itself when a change in luminance of incident light is detected based on the photocurrent that flows from the photoelectric conversion element. request to X arbiter 143 and Y arbiter 144, and according to arbitration by X arbiter 143 and Y arbiter 144, an event signal indicating detection of an event is output.
  • Each event pixel 151 detects the presence or absence of an event depending on whether or not the photocurrent corresponding to the luminance of incident light has changed by exceeding a predetermined threshold. For example, each event pixel 151 detects, as an event, that the luminance change exceeds (positive event) or falls below (negative event) a predetermined threshold.
  • the event pixel 151 When the event pixel 151 detects an event, it outputs a request to the X arbiter 143 and the Y arbiter 144 to request permission to output an event signal representing the occurrence of the event. Then, the event pixel 151 outputs an event signal to the event signal processing circuit 142 when receiving a response indicating permission to output the event signal from each of the X arbiter 143 and the Y arbiter 144 .
  • the X arbiter 143 and the Y arbiter 144 arbitrate requests requesting output of event signals supplied from the plurality of event pixels 151 respectively, and respond based on the arbitration results (permission/non-permission of event signal output), and , sends a reset signal for resetting event detection to the event pixel 151 that output the request.
  • the event signal processing circuit 142 performs predetermined signal processing on the event signal input from the event pixel 151 to generate and output event data.
  • the change in the photocurrent generated by the event pixel 151 can also be regarded as the change in the amount of light (luminance change) incident on the photoelectric conversion portion of the event pixel 151 . Therefore, an event can also be said to be a light amount change (brightness change) of the event pixel 151 exceeding a predetermined threshold.
  • the event data representing the occurrence of an event includes at least position information such as coordinates representing the position of the event pixel 151 where the change in the amount of light has occurred as an event.
  • the event data can include the polarity of the change in the amount of light in addition to the positional information.
  • the event data is the relative time when the event occurred. It can be said that it implicitly includes time information representing
  • the event signal processing circuit 142 includes time information, such as a time stamp, that indicates the relative time when the event occurred, in the event data before the interval between the event data is not maintained as it was when the event occurred. good too.
  • FIG. 26 is a circuit diagram showing a schematic configuration example of the event pixel 151.
  • FIG. 26 shows a configuration example in which one comparator performs time-division detection of a positive event and detection of a negative event.
  • the events can include, for example, a positive event indicating that the amount of change in photocurrent has exceeded the upper limit threshold and a negative event indicating that the amount of change has fallen below the lower limit threshold.
  • the event data representing the occurrence of the event may include, for example, 1 bit indicating the occurrence of the event and 1 bit indicating the polarity of the event that occurred.
  • the event pixel 151 can be configured to have a function of detecting only positive events, or can be configured to have a function of detecting only negative events.
  • the event pixel 151 includes, for example, a photoelectric conversion unit PD and an address event detection circuit 171.
  • the photoelectric conversion unit PD is composed of, for example, a photodiode, and outputs charges generated by photoelectrically converting incident light as a photocurrent I photo .
  • the outflow photocurrent I photo flows into the address event detection circuit 171 .
  • the address event detection circuit 171 has a light receiving circuit 181, a memory capacity 182, a comparator 183, a reset circuit 184, an inverter 185, and an output circuit 186.
  • the light receiving circuit 181 is composed of, for example, a current-voltage conversion circuit, and converts the photocurrent I photo flowing out from the photoelectric conversion unit PD into a voltage V pr .
  • the relationship of the voltage Vpr to the light intensity (luminance) is usually logarithmic. That is, the light receiving circuit 181 converts the photocurrent I photo corresponding to the intensity of the light with which the light receiving surface of the photoelectric conversion part PD is irradiated into a voltage V pr that is a logarithmic function.
  • the relationship between the photocurrent I photo and the voltage V pr is not limited to the logarithmic relationship.
  • the voltage V pr corresponding to the photocurrent I photo output from the light receiving circuit 181 passes through the memory capacitor 182 and then becomes the inverted ( ⁇ ) input, which is the first input of the comparator 183 as the voltage V diff .
  • Comparator 183 is normally configured with a differential pair of transistors.
  • the comparator 183 receives the threshold voltage Vb supplied from the system control circuit 145 as a second non-inverted (+) input, and performs positive event detection and negative event detection in a time-sharing manner. Also, after the positive event/negative event is detected, the event pixel 151 is reset by the reset circuit 184 .
  • the system control circuit 145 outputs the voltage Von in the stage of detecting a positive event, outputs the voltage Voff in the stage of detecting a negative event, and outputs the voltage Voff in the stage of resetting in a time division manner.
  • Output V-- reset .
  • the voltage V reset is set to a value between the voltage V on and the voltage V off , preferably a value halfway between the voltage V on and the voltage V off .
  • intermediate value means not only a strictly intermediate value, but also a substantially intermediate value. be done.
  • the system control circuit 145 outputs an ON selection signal to the event pixel 151 in the stage of detecting a positive event, outputs an OFF selection signal in the stage of detecting a negative event, and outputs a global reset signal to the event pixel 151 in the stage of resetting. Outputs a signal (Global Reset).
  • the ON selection signal is applied as a control signal to the selection switch SW on provided between the inverter 185 and the output circuit 186 .
  • the OFF selection signal is applied as a control signal to a selection switch SW off provided between the comparator 183 and the output circuit 186 .
  • the comparator 183 compares the voltage V on and the voltage V diff in the phase of detecting a positive event, and when the voltage V diff exceeds the voltage V on , the amount of change in the photocurrent I photo exceeds the upper threshold. Positive event information On indicating that is output as a comparison result. After being inverted by the inverter 185, the positive event information On is supplied to the output circuit 186 through the selection switch SW on .
  • Comparator 183 compares voltage V off and voltage V diff in the negative event detection stage, and when voltage V diff falls below voltage V off , the amount of change in photocurrent I photo has fallen below the lower threshold. Negative event information Off indicating that is output as a comparison result. Negative event information Off is supplied to the output circuit 186 through the selection switch SW off .
  • the reset circuit 184 has a configuration including a reset switch SW RS , a 2-input OR circuit 191 and a 2-input AND circuit 192 .
  • the reset switch SWRS is connected between the inverting (-) input terminal and the output terminal of the comparator 183, and is turned on (closed) to selectively switch between the inverting input terminal and the output terminal. short circuit.
  • the OR circuit 191 has two inputs, the positive event information On passed through the selection switch SW- on and the negative event information Off passed through the selection switch SW- off .
  • AND circuit 192 receives the output signal of OR circuit 191 as one input and the global reset signal supplied from system control circuit 145 as the other input. When the reset signal is active, the reset switch SWRS is turned on (closed).
  • the reset switch SWRS short-circuits between the inverting input terminal and the output terminal of the comparator 183 and global resets the event pixels 151 . conduct. Thereby, the reset operation is performed only for the event pixel 151 where the event is detected.
  • the output circuit 186 is configured with a negative event output transistor NM 1 , a positive event output transistor NM 2 and a current source transistor NM 3 .
  • the negative event output transistor NM1 has a memory (not shown) at its gate for holding negative event information Off. This memory consists of the gate parasitic capacitance of the negative event output transistor NM1 .
  • the positive event output transistor NM2 has a memory (not shown) at its gate for holding positive event information On.
  • This memory consists of the gate parasitic capacitance of the positive event output transistor NM2 .
  • the negative event information Off held in the memory of the negative event output transistor NM1 and the positive event information On held in the memory of the positive event output transistor NM2 are sent from the system control circuit 145 to the current source transistor NM
  • a row selection signal is applied to the gate electrode 3 , and the pixel array section 141 is transferred to the readout circuit 161 through the output line nRxOff and the output line nRxOn for each pixel row.
  • the readout circuit 161 is, for example, a circuit provided within the event signal processing circuit 142 (see FIG. 25).
  • the event pixel 151 has an event detection function that uses one comparator 183 to time-divisionally detect a positive event and detect a negative event under the control of the system control circuit 145. It has become.
  • FIG. 27 shows a configuration example of a scan type EVS 12'.
  • the scan-type EVS 12' is configured with an access unit 147 instead of the X arbiter 143 and Y arbiter 144 provided in the arbiter-type EVS 12 shown in FIG. That is, the EVS 12 ′ has the same configuration as the EVS 12 in FIG. 25 in that it includes a pixel array section 141 , an event signal processing circuit 142 , a system control circuit 145 and an output interface 146 .
  • the access unit 147 corresponds to, for example, the event access unit 41 in FIG. 7, and instructs each event pixel 151 of the pixel array unit 141 on the timing of scanning event data.
  • EVS 12 can be used as all or one or more of the sensors 212 shown in FIG.
  • Processor 211 shown in FIG. 28 corresponds to data processor 13 described above
  • data bus B1 shown in FIG. 28 corresponds to data bus 14 described above.
  • FIG. 28 is an explanatory diagram showing an example of the configuration of the sensor system 201 according to this embodiment.
  • the sensor system 201 include a communication device such as a smartphone, a drone (a device capable of remote control operation or autonomous operation), and a mobile object such as an automobile.
  • Application examples of the sensor system 201 are not limited to the examples shown above.
  • the sensor system 201 has, for example, a processor 211, a plurality of sensors 212-1, 212-2, 212-3, .
  • FIG. 28 shows the sensor system 201 having three or more sensors 212
  • the number of sensors 212 included in the system according to this embodiment is not limited to the example shown in FIG.
  • a system according to this embodiment may have any number of sensors 212 greater than or equal to two, such as two sensors 212, three sensors 212, and so on.
  • images are output from two sensors 212 out of the plurality of sensors 212 of the sensor system 201, or from three sensors 212 out of the plurality of sensors 212 of the sensor system 201 Take for example the case where an image is output.
  • the processor 211 and each of the plurality of sensors 212 are electrically connected by one data bus B1.
  • the data bus B1 is a transmission path for one signal that connects the processor 211 and the sensor 212, respectively.
  • image data data representing an image output from each sensor 212 (hereinafter sometimes referred to as “image data”) is transmitted from the sensor 212 to the processor 211 via the data bus B1.
  • the signal transmitted by the data bus B1 in the sensor system 201 is transmitted according to any standard such as the CSI-2 standard, PCI Express, etc., in which the start and end of the data to be transmitted are specified by predetermined data.
  • the predetermined data include a frame start packet according to the CSI-2 standard and a frame end packet according to the CSI-2 standard.
  • the signals transmitted by the data bus B1 are transmitted according to the CSI-2 standard.
  • the processor 211 and each of the plurality of sensors 212 are electrically connected by a control bus B2 different from the data bus B1.
  • the control bus B2 is another signal transmission path that connects the processor 211 and the sensor 212, respectively.
  • control information (described later) output from the processor 211 is transmitted from the processor 211 to the sensor 212 via the control bus B2.
  • the signals transmitted by the control bus B2 are transmitted in accordance with the CSI-2 standard, like the data bus B1.
  • FIG. 28 shows an example in which the processor 211 and the plurality of sensors 212 are connected by one control bus B2, but in the system according to the present embodiment, a control bus is provided for each sensor 212. Configurations are also possible. Further, the processor 211 and each of the plurality of sensors 212 are not limited to the configuration for transmitting and receiving control information (described later) via the control bus B2, and for example, arbitrary communication capable of transmitting and receiving control information described later. It may be configured to transmit and receive control information (described later) by wireless communication of the system.
  • the processor 211 is composed of one or more processors composed of arithmetic circuits such as MPUs (Micro Processing Units), various processing circuits, and the like.
  • the processor 211 is driven by power supplied from an internal power supply (not shown) that configures the sensor system 201 such as a battery, or by power supplied from an external power supply of the sensor system 201 .
  • the processor 211 is an example of a processing device according to this embodiment.
  • the processing apparatus according to this embodiment can be applied to any circuit or any device that can perform processing (processing related to the control method according to this embodiment) in a processing unit to be described later.
  • the processor 211 performs "control regarding images output via the data bus B1 from each of the plurality of sensors 212 connected to the data bus B1 (control according to the control method according to the present embodiment)".
  • Control regarding images is performed, for example, by the processing unit 221 included in the processor 211 .
  • a specific processor or a specific processing circuit
  • a plurality of processors or a plurality of processing circuits that performs image control functions as a processing unit 221 .
  • the processing unit 221 is obtained by separating the functions of the processor 211 for convenience. Therefore, in the processor 211, for example, image control according to this embodiment may be performed by a plurality of functional blocks. In the following, a case in which the image control according to the present embodiment is performed in the processing unit 221 will be taken as an example.
  • the processing unit 221 performs image-related control by transmitting control information to each of the sensors 212 .
  • the control information according to this embodiment includes, for example, identification information indicating the sensor 212, information for control, and processing instructions.
  • identification information for example, arbitrary data that can identify the sensor 212 such as an ID set in the sensor 212 can be used.
  • the control information is transmitted via, for example, the control bus B2, as described above.
  • control information transmitted by the processing unit 221 is recorded in a register (an example of a recording medium) provided in each sensor 212, for example.
  • Sensor 212 then outputs an image based on the control information stored in the register.
  • the processing unit 221 performs, for example, any one of the control according to the first example shown in (1) below to the control according to the fourth example shown in (4) below as the control related to the image. Note that an example of image output in the sensor system 201 realized by image control according to the present embodiment will be described later.
  • image connection control The processing unit 221 controls connection of a plurality of images output from each of the sensors 212 .
  • the processing unit 221 controls the connection of a plurality of images by, for example, controlling the start and end of frames in the plurality of images output from each of the sensors 212 .
  • the start of the frame in each sensor 212 is controlled by, for example, the processing unit 221 controlling the output of the frame start packet in each sensor 212 .
  • An example of a frame start packet is an "FS (Frame Start) packet" in the CSI-2 standard.
  • FS Frarame Start
  • the start packet of a frame may be indicated as “FS” or "FS packet”.
  • the processing unit 221 transmits, to the sensor 212, control information including, for example, data (first output information; an example of information for control) indicating whether to output the start packet of the frame. Controls the output of the start packet of a frame in .
  • the data indicating whether to output the start packet of the frame includes, for example, a flag indicating whether to output the start packet of the frame.
  • the end of the frame in each sensor 212 is controlled by, for example, the processing unit 221 controlling the output of the end packet of the frame in each sensor 212 .
  • An example of a frame end packet is an "FE (Frame End) packet" in the CSI-2 standard.
  • FE Framework End
  • the end packet of a frame may be indicated as “FE” or "FE packet”.
  • the processing unit 221 transmits, to the sensor 212, control information including, for example, data indicating whether to output the end packet of the frame (second output information; an example of information for control). Controls the output of end-of-frame packets in .
  • the data indicating whether to output the end packet of the frame includes, for example, a flag indicating whether to output the end packet of the frame.
  • the processing unit 221 controls the frame start and frame end of the plurality of images output from each of the sensors 212, so that the following images are output from the plurality of sensors 212.
  • data is output.
  • ⁇ Data including frame start packet and frame end packet ⁇ Data including only frame start packet
  • ⁇ Data including only frame end packet ⁇ Data not including frame start packet and frame end packet
  • a processor 211 which receives a plurality of images transmitted via a data bus B1 from a plurality of sensors 212, recognizes that transmission of an image in a certain frame has started based on a frame start packet included in the received image. recognize.
  • the processor 211 recognizes that the transmission of an image in a certain frame has ended based on the frame end packet included in the received image.
  • the processor 211 determines that transmission of an image in a certain frame has started and that transmission of an image in a certain frame has started. Doesn't know it's finished. In the above case, the processor 211 may recognize that transmission of an image in a certain frame is in progress.
  • the processor 211 that receives a plurality of images transmitted from the plurality of sensors 212 via the data bus B1 implements the processes shown in (a) and (b) below. Note that if another processing circuit capable of processing images is connected to the data bus B1, the processing of the images output from the plurality of sensors 212 may be performed by the other processing circuit. . A case where the processing unit 221 included in the processor 211 processes images output from the plurality of sensors 212 will be described below as an example.
  • the start-of-frame and end-of-frame packets transmitted from one or more other sensors 212 are When the data not including the frame is received, the processing unit 221 generates an image in the data including the frame start packet, an image in the data not including the frame start packet and the frame end packet, and the frame end packet. Synthesize the image in the data containing
  • the processing unit 221 synthesizes the images transmitted from the plurality of sensors 212 as described above based on the frame start packet and the frame end packet, thereby synthesizing the plurality of images transmitted from the plurality of sensors 212. Concatenation is realized.
  • control of connecting a plurality of images according to this embodiment is not limited to the example shown above.
  • the processing unit 221 can further control attachment of identifiers to the multiple images output from the sensors 212, thereby controlling connection of the multiple images.
  • the identifier according to this embodiment is data that can identify the image output from the sensor 212 .
  • a VC (Virtual Channel) value also referred to as "VC number”
  • a DT specified in the CSI-2 standard Data Type
  • the identifier according to the present embodiment is not limited to the example shown above, and any data that can be used to identify images in controlling the connection of a plurality of images transmitted from the plurality of sensors 212 can be used. be done.
  • the processing unit 221 transmits, to the sensor 212, control information including data indicating an identifier of the image (third output information; an example of information for control), so that the image output from the sensor 212 is detected. controls the assignment of identifiers to
  • the processing unit 221 When the data transmitted from the sensor 212 contains an identifier, the processing unit 221 recognizes images with different identifiers in a certain frame as different images. In other words, when the data transmitted from the sensor 212 contains an identifier, the processing unit 221 does not combine images with different identifiers.
  • the processing unit 221 further controls the assignment of identifiers to a plurality of images output from each of the sensors 212, so that the start and end of a frame can be controlled. It is possible to realize more diverse image connection control than in the case of controlling .
  • 29 to 33 are explanatory diagrams for explaining an example of image-related control in the processor 211 constituting the sensor system 201 according to this embodiment. 29 to 33 each show an example of control results of image connection in the processor 211. FIG.
  • FIG. A shown in FIG. 29 shows an example of data corresponding to a certain frame obtained by the processor 211 from the two sensors 212 via the data bus B1.
  • a shown in FIG. 29 shows an example in which the following data are received from one sensor 212 and another sensor 212 .
  • One sensor 212 data including image data for each line, a start packet of a frame, an end packet of a frame, and a VC value "0" (an example of an identifier; the same shall apply hereinafter)
  • Other sensor 212 line image data, frame start packet, frame end packet, and data including VC value "1" (an example of an identifier; the same shall apply hereinafter)
  • B shown in FIG. 29 shows a storage image when the data shown in A of FIG. 29 is stored in the frame buffer of the memory 213 .
  • the data shown in A of FIG. 29 may be stored in another recording medium such as a recording medium included in the processor 211 .
  • the processing unit 221 separates and records the image in the frame buffer for each VC value, as shown in B of FIG. 29, for example.
  • FIG. A shown in FIG. 30 shows an example of data corresponding to a certain frame obtained by the processor 211 from the two sensors 212 via the data bus B1.
  • a shown in FIG. 30 shows an example in which the following data are received from one sensor 212 and another sensor 212 .
  • One sensor 212 image data per line, start packet of frame, end packet of frame, and data containing VC value "0"
  • Other sensor 212 image data per line, start packet of frame, end of frame End packet and data containing VC value "0"
  • the processing unit 221 When data as shown in A of FIG. 30 is received, the processing unit 221 records an image in a frame buffer for the same VC value, as shown in B of FIG. 30, for example.
  • the image storage shown in FIG. 30B is realized by, for example, a double buffer.
  • FIG. A shown in FIG. 31 shows an example of data corresponding to a certain frame obtained by the processor 211 from the two sensors 212 via the data bus B1.
  • a shown in FIG. 31 shows an example in which the following data are received from one sensor 212 and another sensor 212 .
  • One sensor 212 Image data per line, start packet of frame, and data containing VC value "0"
  • Other sensor 212 Image data per line, end packet of frame, and data containing VC value "0" data containing
  • the processing unit 221 vertically concatenates two images and records the image in the frame buffer, as shown in B of FIG. 31, for example.
  • FIG. A shown in FIG. 32 shows an example of data corresponding to a certain frame acquired by the processor 211 from the two sensors 212 via the data bus B1.
  • a shown in FIG. 32 shows an example in which the following data are received from one sensor 212 and another sensor 212 .
  • One sensor 212 image data per line, start packet of frame, end packet of frame, and data containing VC value "0"
  • Other sensor 212 image data per line, start packet of frame, end of frame End packet and data containing VC value "1"
  • the processing unit 221 separates and records the image in a frame buffer for each VC value, as shown in B of FIG. 32, for example.
  • FIG. A shown in FIG. 33 shows an example of data corresponding to a certain frame obtained by the processor 211 from the two sensors 212 via the data bus B1.
  • a shown in FIG. 33 shows an example in which the following data are received from one sensor 212 and another sensor 212 .
  • One sensor 212 Image data per line, start packet of frame, and data containing VC value "0"
  • Other sensor 212 Image data per line, end packet of frame, and data containing VC value "0" data containing
  • the processing unit 221 horizontally connects two images and records the image in the frame buffer, as shown in B of FIG. 33, for example.
  • control of output image The processing unit 221 controls the image output from the sensor 212 .
  • control of the image output from the sensor 212 for example, one of control of the image size output from each sensor 212 and control of the frame rate of the image output from each of the plurality of sensors 212 is performed. or both.
  • the processing unit 221 transmits control information including one or both of data indicating an image size and data indicating a frame rate (an example of information for control) to the sensor 212, thereby control the image output from 212;
  • the processing unit 221 controls the output timing of images output from the respective image sensors.
  • the processing unit 221 transmits, to the sensor 212, control information including, for example, data indicating an output delay amount (an example of information for control) from when an image output command is received until an image is output. By doing so, the output timing of the image output from the sensor 212 is controlled.
  • the processing unit 221 performs, as image-related control, for example, control according to the first example shown in (1) above to control according to the fourth example shown in (4) above.
  • the processor 211 includes, for example, a processing unit 221 to perform processing related to image control (processing related to the control method according to the present embodiment) as described above.
  • the processing performed by the processor 211 is not limited to the processing related to image control as described above.
  • the processor 211 performs processing related to recording control of image data in a recording medium such as the memory 213 as shown in FIGS.
  • Various processing can be performed, such as processing, processing to execute arbitrary application software, and the like.
  • Examples of processing related to recording control include “processing of transmitting control data including a recording command and data to be recorded on a recording medium to a recording medium such as the memory 213”.
  • Processing related to display control includes, for example, “processing for transmitting control data including a display command and data to be displayed on a display screen to a display device such as the display device 214”.
  • the sensor 212 is an image sensor.
  • the image sensor according to the present embodiment includes, for example, an imaging device such as a digital still camera, a digital video camera, and a stereo camera, an infrared sensor, a range image sensor, or any other sensor device, and outputs a generated image. have a function.
  • the image generated by the sensor 212 corresponds to data representing the sensing result of the sensor 212 .
  • the sensor 212 is connected to a data bus B1 to which other sensors 212 are connected, as shown in FIG. 28, for example.
  • control information is transmitted from processor 211 and sensor 212 receives control information via control bus B2.
  • the sensor 212 stores the area information and area data in the payload of the packet and causes it to be transmitted row by row.
  • the additional information generation unit 23 sets area information corresponding to an area set for an image made up of event data for each row in the image, and and event data, which will be the area data to be processed, are transmitted for each row.
  • the sensor 212 causes the region information and region data for each row to be transmitted according to a predetermined order, such as ascending or descending order of y-coordinate values.
  • Sensor 212 may also cause the region information and region data for each row to be transmitted in random order.
  • the area information is data (data group) for specifying the area set for the image on the receiving device side.
  • the region information includes, for example, information indicating the position of the row, identification information of the region included in the row, information indicating the column position of the region included in the row, and information indicating the size of the region included in the row. included.
  • FIG. 34 is an explanatory diagram showing an example of data transmitted by the first transmission method according to the transmission method according to this embodiment.
  • FIG. 34 shows "region information and region data (event data of region 1, event data of region 2, event data of region 3, and event data of region 3, and Event data in area 4) is stored in the payload of a MIPI long packet and transmitted row by row.
  • FS shown in FIG. 34 is an FS (Frame Start) packet in the MIPI CSI-2 standard
  • FE FE (Frame End) packet in the MIPI CSI-2 standard (other The same is true in the figure).
  • Embedded Data shown in Fig. 34 is data that can be embedded in the header or footer of the data to be transmitted. “Embedded Data” includes, for example, additional information additionally transmitted by the sensor 212 . Embedded Data may be indicated as "EBD" below.
  • Additional information includes, for example, one or more of information indicating the data amount of the area, information indicating the size of the area, and information indicating the priority of the area.
  • the information indicating the amount of data in the area may be any information that can specify the amount of data in the area, such as "data indicating the number of pixels contained in the area (or the amount of data in the area) and the amount of data in the header".
  • Data in the form of By transmitting information indicating the amount of data in each area as "Embedded Data” shown in FIG. 34, the receiving device can specify the amount of data in each area. In other words, by transmitting information indicating the amount of data in each area as "Embedded Data” shown in FIG. Even if there is, it is possible to cause the receiving device to specify the amount of data in the area.
  • the information indicating the size of the area includes, for example, "data indicating a rectangular area including the area (for example, data indicating the number of pixels in the horizontal direction and the number of pixels in the vertical direction in the rectangular area)". Any form of data whose size can be specified is included.
  • the information indicating the priority of the area is, for example, data used in processing the data of the area.
  • the priority indicated by the information indicating the priority of the area is the order of processing the area, the processing when the set areas such as area 3 and area 4 shown in FIG. 35 overlap, and the like. to be used.
  • additional information according to this embodiment is not limited to the example shown above.
  • additional information according to the present embodiment includes various data such as exposure information indicating an exposure value in an image sensor device, gain information indicating a gain in an image sensor device, and the like.
  • the exposure value indicated by the exposure information and the gain indicated by the gain information are each set in the image sensor device under the control of the processor 211 via the control bus B2.
  • FIG. 35 is an explanatory diagram for explaining an example of Embedded Data transmitted by the first transmission method according to the transmission method according to this embodiment.
  • FIG. 35 is an example in which information indicating the size of the area is transmitted as "Embedded Data" shown in FIG. 34, and the information indicating the size of the transmitted area is data indicating the minimum rectangular area including the area. , is shown. Also, FIG. 35 shows an example in which four areas, area 1, area 2, area 3, and area 4, are set.
  • the receiving device By transmitting the information indicating the size of the area as "Embedded Data" shown in FIG. A smallest rectangular region containing 2, a smallest rectangular region containing region 3 shown at R3 in FIG. 35, and a smallest rectangular region containing region 4 shown at R4 in FIG. 35 can be identified. That is, by transmitting information indicating the size of the area as "Embedded Data” shown in FIG. 34, the receiving device has a function of specifying the smallest rectangular area including each area based on the area information. Even if not, it is possible to cause the receiving device to identify the smallest rectangular area that contains each area based on the area information. Needless to say, the information indicating the size of the area is not limited to the data indicating the smallest rectangular area including each area.
  • the receiving device can specify, for example, the processing order of the areas and which area is preferentially processed. can. That is, by transmitting the information indicating the priority of the area as "Embedded Data" shown in FIG. 34, it is possible to control the processing for the area in the receiving apparatus.
  • the examples of the information indicating the data amount of the area, the information indicating the size of the area, and the information indicating the priority of the area, which are transmitted as "Embedded Data" shown in FIG. 34, are limited to the examples shown above. It goes without saying that it cannot be done.
  • PH shown in FIG. 34 is the packet header of the long packet.
  • the packet header of the long packet according to the first transmission method is data (change information) indicating whether or not the information included in the area information has changed from the area information included in the packet to be transmitted immediately before. may function as That is, it can be said that "PH” shown in FIG. 34 is one data indicating the data type of the long packet.
  • the sensor 212 sets "PH" to "0x38" when the information included in the area information has changed from the area information included in the packet to be transmitted immediately before. In this case, sensor 212 stores the region information in the payload of the long packet.
  • the sensor 212 sets "PH" to "0x39" when the information included in the area information has not changed from the area information included in the packet to be transmitted immediately before. In this case, sensor 212 does not store region information in the payload of the long packet. That is, if the information included in the area information has not changed from the area information included in the previously transmitted packet, the sensor 212 does not transmit the area information.
  • Information shown in FIG. 34 is area information stored in the payload (the same applies to other figures). As shown in FIG. 34, the area information is stored at the beginning of the payload. For example, region information may be indicated as "ROIInfo”.
  • region data may be denoted as "ROI DATA”.
  • FIG. 36 is a diagram showing a usage example using the image sensor (EVS12) described above.
  • the image sensor described above can be used in various cases for sensing light such as visible light, infrared light, ultraviolet light, and X-rays, for example, as follows.
  • ⁇ Devices that capture images for viewing purposes, such as digital cameras and mobile devices with camera functions.
  • Devices used for transportation such as in-vehicle sensors that capture images behind, around, and inside the vehicle, surveillance cameras that monitor running vehicles and roads, and ranging sensors that measure the distance between vehicles.
  • Devices used in home appliances such as TVs, refrigerators, air conditioners, etc., to take pictures and operate devices according to gestures ⁇ Endoscopes, devices that perform angiography by receiving infrared light, etc.
  • Equipment used for medical and healthcare purposes such as surveillance cameras for crime prevention and cameras for personal authentication
  • microscopes used for beauty such as microscopes used for beauty
  • Sports such as action cameras and wearable cameras for use in sports ⁇ Cameras, etc. for monitoring the condition of fields and crops , agricultural equipment
  • an event detection unit that detects the occurrence of an event that is a change in luminance of light received by the photodiode; Event data indicating the content of the event is used as part of payload data, and frame information added to the frame as additional information additionally provided for the event data is transmitted in a frame structure as part of embedded data.
  • an image sensor comprising: (2) The arrangement position of the frame information is the head position of the event data composed of a plurality of lines, the tail position of the event data, the middle position of the event data, or the head position and tail position of the event data.
  • the data transmission unit concatenates the event data for a plurality of frames as subframes and transmits the event data as one frame.
  • the additional information includes a time stamp or frame number associated with the event data.
  • the additional information includes an event detection threshold value or ROI (Region of Interest) information generated based on the event data.
  • the additional information includes flicker information generated based on the event data.
  • the additional information includes optical flow, which is information indicating whether or not a subject is moving or moving direction, generated based on the event data.
  • the additional information includes a data amount of the frame.
  • the event detection unit is of arbiter type
  • the image sensor according to any one of (1) to (8) above, wherein one frame including the event data output from the event detection unit at the timing when the event occurs is generated.
  • the data transmission unit sets area information corresponding to an area set for an image composed of the event data for each row in the image, and sets the set area information and area data corresponding to the area.
  • the area information includes information indicating a row position and information indicating a column position of the area included in the row.
  • a luminance detection unit that detects the luminance of the light received by the photodiode and outputs a luminance signal indicating the luminance value; an additional information generating unit that generates the frame information as additional information additionally provided for the event data based on the event data, The event detection unit obtains a difference between a luminance value indicated by the luminance signal and a predetermined reference value, and generates the event when the difference exceeds a plus side event detection threshold value or a minus side event detection threshold value.
  • Event data indicating the content of an event which is a change in luminance of light received by a photodiode, is part of the payload data, and frame information added to the frame as additional information provided additionally to the event data is embedded.
  • a data receiver that receives data in a frame structure as part of the data; and an event-related data processing unit that refers to the frame information and performs data processing related to the event.
  • the data receiving unit area information set corresponding to an area set for an image composed of the event data and set for each row in the image; receiving the event data as area data corresponding to the area;
  • the data processing device according to (12) above, wherein the area information includes information indicating a row position and information indicating a column position of the area included in the row.
  • a processing unit connected to a data bus for controlling an image composed of the event data output via the data bus from each of a plurality of image sensors outputting the event data; The processing unit controls the output of a start packet of a frame in each of the image sensors and the output of an end packet of a frame in each of the image sensors.
  • an event detection unit that detects the occurrence of an event that is a change in luminance of light received by the photodiode; Event data indicating the content of the event is used as part of payload data, and frame information added to the frame as additional information additionally provided for the event data is transmitted in a frame structure as part of embedded data.
  • an image sensor having a data transmitter for a data receiver that receives the event data and the frame information;
  • An image sensor system comprising: an event-related data processing unit that refers to the frame information and performs data processing related to the event; and a data processing device.
  • (16) data is serially converted and transmitted between the image sensor and the data processing device;
  • the data transmission unit sets area information corresponding to an area set for an image composed of the event data for each row in the image, and sets the set area information and area data corresponding to the area. sending the event data row by row; the data receiving unit receives the area information and the event data serving as the area data;
  • the data processing device is a processing unit connected to a data bus for controlling an image composed of the event data output via the data bus from each of the plurality of image sensors outputting the event data;
  • the processing unit controls output of a frame start packet in each of the image sensors and controls output of a frame end packet in each of the image sensors, According to any one of (15) to (17) above, for the plurality of images output from each of the image sensors, control is performed to concatenate the plurality of images from the image including the start packet to the image including the end packet. image sensor system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本開示は、より汎用性を高めることができるようにする画像センサ、データ処理装置、および画像センサシステムに関する。 画像センサは、フォトダイオードが受光した光の輝度を検出し、その輝度値を示す輝度信号を出力する輝度検出部と、輝度信号が示す輝度値と所定の基準値との差分を求め、その差分がプラス側のイベント検出閾値またはマイナス側のイベント検出閾値を超えた場合に、イベントの発生を検出して、そのイベントの内容を示すイベントデータを出力するイベント検出部と、イベントデータに基づいて、イベントデータについて付加的に設けられる付加情報として、フレームに対して付加されるフレーム情報を生成する付加情報生成部と、フレーム情報をエンベデッドデータの一部として、イベントデータをペイロードデータの一部としたフレーム構造で送信するデータ送信部とを備える。本技術は、例えば、ＥＶＳ（Event based Vision Sensor）に適用できる。

Description

画像センサ、データ処理装置、および画像センサシステム
　本開示は、画像センサ、データ処理装置、および画像センサシステムに関し、特に、より汎用性を高めることができるようにした画像センサ、データ処理装置、および画像センサシステムに関する。
　近年、画素ごとの輝度変化をイベントとしてリアルタイムに検出する画像センサ（以下、ＥＶＳ（Event based Vision Sensor）と称する）の開発が進められている。
　例えば、特許文献１には、フレームベース、イベントベース、および、フレームベースとイベントベースとのハイブリット方式で、サンプリングを行うことができるセンサアーキテクチャが開示されている。
特表２０１７－５３５９９９号公報
　ところで、従来、ＥＶＳから出力されるデータはイベントドリブンであるという特性上、出力フォーマットが決まっていないため、そのデータを受ける評価系を新規で設計することが必要であった。
　本開示は、このような状況に鑑みてなされたものであり、よりＥＶＳの汎用性を高めることができるようにするものである。
　本開示の一側面の画像センサは、フォトダイオードが受光した光の輝度変化であるイベントの発生を検出するイベント検出部と、前記イベントの内容を示すイベントデータをペイロードデータの一部とし、前記イベントデータについて付加的に設けられる付加情報としてフレームに対して付加されるフレーム情報を、エンベデッドデータの一部としたフレーム構造で送信するデータ送信部とを備える。
　本開示の一側面のデータ処理装置は、フォトダイオードが受光した光の輝度変化であるイベントの内容を示すイベントデータをペイロードデータの一部とし、前記イベントデータについて付加的に設けられる付加情報としてフレームに対して付加されるフレーム情報を、エンベデッドデータの一部としたフレーム構造で受信するデータ受信部と、前記フレーム情報を参照し、前記イベントに関連するデータ処理を行うイベント関連データ処理部とを備える。
　本開示の一側面の画像センサシステムは、フォトダイオードが受光した光の輝度変化であるイベントの発生を検出するイベント検出部と、前記イベントの内容を示すイベントデータをペイロードデータの一部とし、前記イベントデータについて付加的に設けられる付加情報としてフレームに対して付加されるフレーム情報を、エンベデッドデータの一部としたフレーム構造で送信するデータ送信部とを有する画像センサと、前記イベントデータと前記フレーム情報を受信するデータ受信部と、前記フレーム情報を参照し、前記イベントに関連するデータ処理を行うイベント関連データ処理部とを有するデータ処理装置とを備える。
　本開示の一側面においては、フォトダイオードが受光した光の輝度変化であるイベントの発生が検出され、そのイベントの内容を示すイベントデータをペイロードデータの一部とし、イベントデータについて付加的に設けられる付加情報としてフレームに対して付加されるフレーム情報が、エンベデッドデータの一部としたフレーム構造で送信される。そして、イベントデータとフレーム情報が受信され、フレーム情報を参照し、イベントに関連するデータ処理が行われる。
本技術を適用したセンサシステムの一実施の形態の構成例を示すブロック図である。 ３チップ積層構造のＥＶＳの構成例を示すブロック図である。 １フレーム分のイベントデータのフレーム構成の一例を示す図である。 エンベデッドデータの配置例を示す図である。 ３フレーム分のイベントデータを１フレームに連結したフレーム構成の第１の例を示す図である。 ３フレーム分のイベントデータを１フレームに連結したフレーム構成の第２の例を示す図である。 付加情報生成部の第１の構成例を示すブロック図である。 タイムスタンプ、フレーム数、およびデータ量について説明する図である。 フリッカの有無とイベントデータについて説明する図である。 フレーム情報を格納したフレーム構成の一例を示す図である。 データ処理装置の構成例を示すブロック図である。 アービタ型に対応した付加情報生成部の構成例を示すブロック図である。 フレーム生成部が行う処理について説明する図である。 付加情報生成部の第２の構成例を示すブロック図である。 ライン情報を格納したフレーム構成の一例を示す図である。 ライン情報を格納したフレーム構成の他の例を示す図である。 アービタ型に対応した付加情報生成部の構成例を示すブロック図である。 付加情報生成部の第３の構成例を示すブロック図である。 ピクセル情報を格納したフレーム構成の一例を示す図である。 ピクセル情報の伝送方式について説明する図である。 アービタ型に対応した付加情報生成部の構成例を示すブロック図である。 シリアライザおよびディシリアライザにおいて物理層を切り替え可能なセンサシステムの構成例を示すブロック図である。 ＥＶＳおよびデータ処理装置において物理層を切り替え可能なセンサシステムの構成例を示すブロック図である。 ＥＶＳを備える電子機器の構成例について説明する図である。 ＥＶＳの概略構成例を示すブロック図である。 イベント画素の概略構成例を示す回路図である。 スキャン型のＥＶＳの構成例を示すブロック図である。 複数のセンサを備えるセンサシステムの構成例を示すブロック図である。 画像の連結の制御結果の第１の例を示す図である。 画像の連結の制御結果の第２の例を示す図である。 画像の連結の制御結果の第３の例を示す図である。 画像の連結の制御結果の第４の例を示す図である。 画像の連結の制御結果の第５の例を示す図である。 第１の送信方式により送信されるデータの一例を示す説明図である。 第１の送信方式により送信されるEmbedded Dataの一例を説明するための説明図である。 イメージセンサを使用する使用例を示す図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　＜センサシステムの構成例＞
　図１は、本技術を適用したセンサシステム１１の一実施の形態の構成例を示すブロック図である。
　図１において、センサシステム１１は、ＥＶＳ１２およびデータ処理装置１３がデータバス１４を介して接続されて構成される。
　ＥＶＳ１２は、画素ごとの輝度変化をイベントとしてリアルタイムに検出する画像センサであり、データバス１４を介して、そのイベントの内容を示すイベントデータをデータ処理装置１３に送信する。ＥＶＳ１２は、輝度検出部２１、イベント検出部２２、付加情報生成部２３、およびデータ送信部２４を有して構成される。
　例えば、ＥＶＳ１２は、輝度検出部２１が設けられる画素チップ２５、並びに、イベント検出部２２、付加情報生成部２３、およびデータ送信部２４が設けられる信号処理チップ２６の２つのチップが積層された積層構造とすることができる。ここで、イベント検出部２２は、ＡＦＥ（Analog Front End）となるアナログ回路である。そこで、ＥＶＳ１２は、図２に示すように、輝度検出部２１が設けられる画素チップ２５、イベント検出部２２が設けられるＡＦＥチップ２７、並びに、付加情報生成部２３およびデータ送信部２４が設けられるロジックチップ２８の３つのチップが積層された積層構造としてもよい。
　データ処理装置１３は、例えば、アプリケーションプロセッサやFPGA（Field Programmable Gate Array）などにより構成される。データ処理装置１３は、ＥＶＳ１２から送信されてきたイベントデータに対して各種のデータ処理を施し、イベントに関連する様々な情報を取得する。データ処理装置１３は、データ受信部３１およびイベント関連データ処理部３２を有して構成され、その詳細については、後述の図１１を参照して説明する。
　データバス１４は、例えば、MIPI（Mobile Industry Processor Interface）アライアンスによるインタフェースの規格であるCSI-2（Camera Serial Interface-2）に従って、ＥＶＳ１２とデータ処理装置１３との間でデータを送受信する。
　輝度検出部２１は、画素ごとに設けられるフォトダイオードを有して構成され、フォトダイオードが受光した光の輝度を検出し、その輝度値を示す輝度信号をイベント検出部２２に供給する。
　イベント検出部２２は、輝度検出部２１から供給される輝度信号が示す輝度値と所定の基準値との差分を求め、その差分がプラス側のイベント検出閾値またはマイナス側のイベント検出閾値を超えた場合に、イベントの発生を検出する。そして、イベント検出部２２は、イベントの発生を検出すると、そのイベントの内容を示すイベントデータ（例えば、輝度値が基準値からプラス側およびマイナス側のどちらに変化したのかを示すデータ）を出力する。なお、イベント検出部２２から出力されるイベントデータを、適宜、イベントｒａｗデータとも称する。
　付加情報生成部２３は、イベント検出部２２から出力されるイベントデータに基づいて、イベントデータについて付加的に設けられる各種の付加情報を生成し、データ送信部２４に供給する。例えば、付加情報生成部２３は、付加情報として、CSI-2で規定されているエンベデッドデータの他に、後述するようなフレーム情報、ライン情報、およびピクセル情報を生成することができる。
　データ送信部２４は、イベント検出部２２から出力されるイベントデータ、および、付加情報生成部２３から供給される付加情報を、データバス１４の規格に従ったフレーム構成で、データ処理装置１３へ送信する。
　図３は、ＥＶＳ１２からデータ処理装置１３へ送信される１フレーム分のイベントデータのフレーム構成の一例を示す図である。
　図３に示すように、１フレーム分のイベントデータは、フレームの開始を示すショートパケットであるフレームスタートＦＳと、フレームの終了を示すショートパケットであるフレームエンドＦＥとの間に、ライン状に配置される複数のロングパケットに格納される。また、図３に示す例では、イベントデータが格納されたロングパケットの先頭に、エンベデッドデータが格納されたロングパケットが配置されている。
　ロングパケットには、パケットヘッダＰＨおよびパケットフッタＰＦが設けられている。パケットヘッダＰＨには、ロングパケットに格納されているデータの種類を示すデータタイプＤＴが配置されており、データタイプＤＴに従って、エンベデッドデータおよびイベントデータのいずれが格納されているのかを見分けることができる。なお、データタイプＤＴは、パケットヘッダＰＨに配置する他、ロングパケットにデータを格納する領域の先頭に配置してもよい。
　イベントデータとしては、例えば、輝度値が基準値からプラス側に変化した画素ではポジティブＰを示し、輝度値が基準値からマイナス側に変化した画素ではネガティブＮを示すデータであるイベントの極性情報を用いることができる。なお、イベントデータとして、イベントの極性情報以外のデータを用いてもよい。
　また、エンベデッドデータの配置位置は、図３に示すようなイベントデータの先頭に限定されることはない。また、複数のエンベデッドデータが配置されるようなフレーム構成としてもよい。
　例えば、エンベデッドデータの挿入位置は、図４のＡに示すように、イベントデータの最後尾となるフレーム構成としてもよいし、図４のＢに示すように、イベントデータの中間となるフレーム構成としてもよい。
　また、図４のＣに示すように、イベントデータの先頭および最後尾の両方にエンベデッドデータを配置するフレーム構成とすることができる。例えば、エンベデッドデータとして、タイムスタンプやフレーム数などのように、イベントが取得された時点で決定している情報が用いられる場合には、イベントデータの先頭にエンベデッドデータを配置することが好適である。一方、エンベデッドデータとして、イベントを取得した後に所定の演算を必要とする情報、例えば、フリッカや、オプティカルフロー、閾値などに関連する情報が用いられる場合には、イベントデータの最後尾にエンベデッドデータを配置することが好適である。
　また、１枚の画像データに対応する単一のイベントデータを１フレームとして送信する他、複数枚の画像データに対応する複数のイベントデータを連結して１フレームとして送信してもよい。
　図５および図６を参照して、３枚の画像に対応する３フレーム分のイベントデータをサブフレームとして連結し、１フレームとして送信するフレーム構造について説明する。
　図５に示すフレーム構造は、１番目のイベントデータとなるサブフレームのフレームエンドＦＥ、２番目のイベントデータとなるサブフレームのフレームスタートＦＳおよびフレームエンドＦＥ、並びに、３番目のイベントデータとなるサブフレームのフレームスタートＦＳが認識されないようにすることで１フレームとして構成される。即ち、１番目のイベントデータとなるサブフレームのフレームスタートＦＳと、３番目のイベントデータとなるサブフレームのフレームエンドＦＥのみが認識されるようにすることで、それらの間で送信されるイベントデータが実際に繋がった構造となっていなくても１フレームとみなされることとなる。
　図６に示すフレーム構造は、１番目のイベントデータとなるサブフレーム、２番目のイベントデータとなるサブフレーム、および、３番目のイベントデータとなるサブフレームが実際に繋がった構造とすることで、１フレームが構成される。なお、それらのサブフレームの間に間隔が設けられていてもよい。
　例えば、データ受信部３１が内部カウンタを備える構成とし、データ受信部３１においてサブフレーム数をカウントすることで、複数のサブフレームを１フレームとして認識して、イベントデータを受信することができる。
　＜追加情報生成部の第１の構成例＞
　図７は、付加情報生成部２３の第１の構成例を示すブロック図である。
　図７に示す付加情報生成部２３は、イベントデータについて付加的に設けられる付加情報として、フレームに対して付加されるフレーム情報を生成する。例えば、フレーム情報は、最小分解能が１フレーム以上となる所定期間に１度取得すればよいデータである。
　例えば、付加情報生成部２３は、フレーム情報として、フレーム情報自体の情報、閾値情報、フリッカ情報、移動情報、およびＲＯＩ（Region of Interest）情報を生成する。その他、各種の設定値や、イベント極性、データの種類（イベント以外の可能性を含む種類）を示す情報などをフレーム情報として用いてもよい。
　フレーム情報自体の情報には、そのフレームが生成された時刻を示すタイムスタンプや、何番目のフレームであるかを示すフレーム数、フレームを構成するデータのデータ量を示すフレームデータ量などが用いられる。閾値情報には、イベントの発生を検出するための閾値となるイベント検出閾値（上述したようなプラス側のイベント検出閾値およびマイナス側のイベント検出閾値）が用いられる。フリッカ情報には、フリッカの有無、フリッカの発生位置、フリッカの強度、およびフリッカの周波数を示す情報が用いられる。移動情報には、ＥＶＳ１２の移動有無および移動方向を示す情報が用いられる。ＲＯＩ情報は、イベントが検出された対象となっている領域である対象領域を示す情報である。
　付加情報生成部２３は、イベントアクセス部４１、イベントカウント部４２、イベント数解析部４３、イベント数周波数解析部４４、オプティカルフロー解析部４５、およびデータ量計算部４６を備えて構成される。
　イベントアクセス部４１は、タイムスタンプおよびフレーム数を生成し、データ送信部２４に供給する。また、イベントアクセス部４１は、イベント検出部２２がイベントデータをスキャンするタイミングを指示する。
　例えば、イベントアクセス部４１は、図８に示すようなクロックｃｌｋをカウントするための回路を有しており、外部からの指示を受けると、その後は内部のタイマーに従って動作することができる。例えば、イベントアクセス部４１は、イベント検出部２２に対してフレームの起点を指示するフレーム起点信号がオンとなったタイミングにおけるｃｌｋカウント出力をタイムスタンプとして生成する。また、イベントアクセス部４１は、タイムスタンプが生成されたタイミングでカウントアップするフレームカウントを、フレーム数として生成する。
　イベントカウント部４２は、イベント検出部２２から供給されるイベントｒａｗデータに基づいてイベントが発生した回数をカウントし、そのカウント値を示すイベント数をイベント数解析部４３およびイベント数周波数解析部４４に供給する。
　イベント数解析部４３は、イベントカウント部４２から供給されるイベント数を解析することによって、イベント検出閾値の設定やＲＯＩ情報の生成を行い、イベント検出閾値およびＲＯＩ情報をデータ送信部２４に供給する。
　例えば、イベント数解析部４３は、イベント数が大きすぎる場合、現在のイベント検出閾値が低く設定されていると判断し、イベントの発生が適切な頻度となるようにイベント検出閾値を高く設定する。一方、イベント数解析部４３は、イベント数が小さすぎる場合、現在のイベント検出閾値が高く設定されていると判断し、イベントの発生が適切な頻度となるようにイベント検出閾値を低く設定する。そして、イベント数解析部４３は、イベント検出閾値をイベント検出部２２にフィードバックして、イベントが検出される頻度を調整することができる。なお、イベント検出閾値は、通常、ＥＶＳ１２の外部から設定されるものであるが、イベント数解析部４３によってＥＶＳ１２の内部で適応的に設定することができ、イベント数解析部４３において設定されたイベント検出閾値は外部に出力することが必要となる。
　イベント数周波数解析部４４は、イベントカウント部４２から供給されるイベント数の周波数を解析することによって、フリッカの有無、フリッカの発生位置、フリッカの強度、およびフリッカの周波数を示すフリッカ情報を取得し、データ送信部２４に供給する。例えば、フリッカ情報は、画面上に存在するフリッカ光源の情報を表すものである。
　例えば、図９のＡには、フリッカが発生していない状態におけるイベントデータのサンプリング例が示されており、図９のＢには、フリッカが発生している状態におけるイベントデータのサンプリング例が示されている。例えば、光源の明滅によってフリッカが発生している場合には、ポジティブおよびネガティブのイベントデータが明滅で偏って出現することになる。このように、フリッカはイベント数として現れることより、イベントカウント部４２およびイベント数周波数解析部４４によってフリッカ情報を取得することができる。
　オプティカルフロー解析部４５は、イベント検出部２２から供給されるイベントｒａｗデータに基づいて、画像中の輝度情報から動きを解析して速度ベクトルによって物体の運動を求めるオプティカルフロー解析を行う。これにより、オプティカルフロー解析部４５は、ＥＶＳ１２の移動有無および移動方向を示す情報を取得して、データ送信部２４に供給する。
　データ量計算部４６は、イベント検出部２２から供給されるイベントｒａｗデータに基づいて、１フレーム当たりのデータ量となるフレームデータ量を計算し、データ送信部２４に供給する。
　例えば、図８に示すように、データ量計算部４６は、データイネーブル信号data_enがオンとなっている期間のクロックｃｌｋをカウントしたｅｎ数カウント値に基づいて、フレームデータ量を算出することができる。また、複数個の画素のイベントデータを同時に転送する場合には、その個数でｅｎ数カウント値を乗算すればよく、ｅｎ数カウント値が３３であって、１６個の画素のイベントデータを同時に転送するとき、フレームデータ量は５２８となる。
　このように、付加情報生成部２３は、タイムスタンプ、フレーム数、イベント検出閾値、ＲＯＩ情報、フリッカ情報、ＥＶＳ１２の移動有無および移動方向を示す情報、並びに、フレームデータ量をデータ送信部２４に供給することができる。そして、データ送信部２４は、これらの情報をフレーム情報として、図１０のＡに示すようなフレーム構造に格納し、イベントデータとともに、データバス１４を介してデータ処理装置１３に送信することができる。図１０のＢには、CSI-2の規格に従って出力されるフレーム情報およびイベントデータの出力フォーマットの一例が示されている。
　即ち、データ送信部２４は、図３を参照して説明したフレーム構造におけるエンベデッドデータの配置位置に準じて、フレーム情報を格納することができる。例えば、エンベデッドデータの一部にフレーム情報が含まれるようにしてもよい。また、フレーム情報の挿入位置は、上述した図４に示したエンベデッドデータと同様に、イベントデータの最後尾または中間としてもよく、イベントデータの先頭および最後尾の両方にフレーム情報を配置してもよい。また、上述した図５および図６に示したように、複数のイベントデータを連結して１フレームとしたときにも、それぞれのサブフレームにおけるエンベデッドデータと同様に、フレーム情報を格納することができる。
　以上のように構成される付加情報生成部２３を備えたＥＶＳ１２は、エンベデッドデータと同様にフレーム情報を格納したフレーム構造を採用し、このフレーム構造に従った出力フォーマットでフレーム情報を送信することができる。即ち、ＥＶＳ１２は、フレーム情報をエンベデッドデータの一部として、イベントデータをペイロードデータの一部としたフレーム構造で送信する。これにより、ＥＶＳ１２は、より汎用性を高めることができる。
　＜データ処理装置の構成例＞
　図１１は、データ処理装置１３の構成例を示すブロック図である。
　上述の図１に示したように、データ処理装置１３は、データ受信部３１およびイベント関連データ処理部３２を有して構成される。
　データ受信部３１は、図１０に示したようなフレーム構造でデータ送信部２４から送信されてくるフレーム情報およびイベントｒａｗデータを受信する。そして、データ受信部３１は、イベントｒａｗデータをそのままイベント関連データ処理部３２に供給するとともに、フレーム情報に含まれている各種の情報を取り出して、イベント関連データ処理部３２に供給する。即ち、イベント関連データ処理部３２には、タイムスタンプ、フレーム数、イベント検出閾値、ＲＯＩ情報、フリッカ情報、ＥＶＳ１２の移動有無および移動方向を示す情報、並びに、フレームデータ量が、データ受信部３１から供給される。
　イベント関連データ処理部３２は、フレーム情報に含まれていた各種の情報を参照し、データ受信部３１から供給されるイベントｒａｗデータに対し、イベント検出部２２により検出されたイベントに関連する様々なデータ処理を行うことができる。
　図示するように、イベント関連データ処理部３２は、ROI演算処理部６１、Recognition処理部６２、AE/AF処理部６３、VLC処理部６４、SLAM処理部６５、OIE/EIS処理部６６、MotionDetect処理部６７、Gesture処理部６８、Deblur処理部６９、および3DNR処理部７０を有して構成される。なお、ここで説明される各処理は、あくまで一例であり、イベント関連データ処理部３２は、イベントｒａｗデータに基づいて、ここで説明する処理以外の様々な処理を行うことができる。
　ROI演算処理部６１は、例えば、取得したい領域の座標情報を求めるROI演算処理を行い、その領域の座標情報を出力する。
　Recognition処理部６２は、例えば、イベントを発生させた対象物を認識するRecognition処理を行い、その対象物の認識結果および座標情報を出力する。
　AE/AF（Auto Exposure / Auto Focus）処理部６３は、イベントを発生させた対象に対して露出または焦点を自動的に合せるAE/AF処理において求められる、その対象までの距離を示す距離情報を出力する。
　VLC処理部６４は、VLC処理を行って、対象までの距離を示す距離情報を求めて出力する。
　SLAM（Simultaneous Localization and Mapping）処理部６５は、自己位置の推定および環境地図の作成を同時に行うSLAM処理を行うことによって、単位時間当たりのＥＶＳ１２の移動量を示す移動量情報を求めて出力する。
　OIS/EIS（Optical Image Stabilization / Electronic Image Stabilizer）処理部６６は、光学式の手ぶれ補正または電子式の手ぶれ補正を行うOIE/EIS処理において求められる、単位時間当たりのＥＶＳ１２の移動量を示す移動量情報を出力する。
　MotionDetect処理部６７は、画面内への動被写体の有無などを検出するMotionDetect処理を行い、動被写体の有無などを示す情報を出力する。
　Gesture処理部６８は、被写体により行われる特定の動作を検出するGesture処理を行い、その検出結果（例えば、手を振る動作や、手をあげる動作など）を示す情報を出力する。
　Deblur処理部６９は、被写体のブレを除去するDeblur処理において求められる、単位時間当たりの被写体の移動量を示す移動量情報を出力する。
　3DNR処理部７０は、被写体の三次元的なノイズを除去する3DNR処理において求められる、動被写体の座標を示す座標情報を出力する。
　＜追加情報生成部の第１の構成例の変形例＞
　図１２は、付加情報生成部２３の第１の構成例の変形例を示すブロック図である。なお、図１２に示す付加情報生成部２３’において、図７の付加情報生成部２３と共通する構成については同一の符号を付し、その詳細な説明は省略する。
　例えば、上述の図７に示したイベント検出部２２および付加情報生成部２３はスキャン型であり、イベントの発生の有無に関わらずにイベントデータを出力することで、１フレームが構成される。これに対し、付加情報生成部２３’は、イベントが発生したタイミングでのみイベントデータを出力するアービタ型イベント検出部２２’に対応するように構成されている。
　図示するように、付加情報生成部２３’は、フレーム生成部４７を備えて構成される点で、図７の付加情報生成部２３と異なる構成となっている。
　フレーム生成部４７は、アービタ型イベント検出部２２’から出力されるイベントデータから、イベントが発生していないタイミングにおけるイベントデータを補完することで１フレーム分のイベントデータを生成し、イベントカウント部４２、オプティカルフロー解析部４５、およびデータ量計算部４６に供給する。また、フレーム生成部４７は、イベントｒａｗデータをデータ送信部２４に供給するとともに、生成したフレームのタイムスタンプおよびフレーム数をデータ送信部２４に供給する。
　図１３を参照して、フレーム生成部４７が行う処理について説明する。
　例えば、アービタ型イベント検出部２２’は、ｎ番目のイベントが発生すると、そのタイミングで、座標情報および時間情報を示すｎ番目のイベントデータ（ｘｎ，ｙｎ，ｐｎ，ｔｎ）を出力する。フレーム生成部４７は、ある１フレーム分の期間に発生したイベントデータを、座標情報に従って、SRAM（Static Random Access Memory）４８に一時的に保持させることができる。そして、フレーム生成部４７は、その１フレーム分の期間に発生したイベントデータがSRAMに保持されると、それらのイベントデータをフレームの形式にして出力することができる。
　即ち、アービタ型イベント検出部２２’は、フレームという概念でイベントデータの出力を行わない為、アービタ型のＥＶＳ１２は、フレーム生成部４７を備える必要がある。
　＜追加情報生成部の第２の構成例＞
　図１４は、付加情報生成部２３の第２の構成例を示すブロック図である。なお、図１４に示す付加情報生成部２３Ａにおいて、図７の付加情報生成部２３と共通する構成については同一の符号を付し、その詳細な説明は省略する。
　図１４に示す付加情報生成部２３Ａは、イベントデータについて付加的に設けられる付加情報として、ラインに対して付加されるライン情報を生成する。
　例えば、付加情報生成部２３Ａは、ライン情報として、ライン情報自体の情報、当該ラインの識別情報、およびフリッカ情報を生成する。
　ライン情報自体の情報には、ライン情報自体のデータ量（長さ）や、ライン情報であることを識別するための識別子などが用いられる。当該ラインの識別情報には、タイムスタンプや、当該ラインの座標（位置）、当該ラインのデータ量（長さ）、当該ラインのイベント数（活性化率・注目度）、当該ラインのイベント検出閾値、当該ラインのイベント極性、データの種類（イベント以外の可能性を含む種類）、圧縮手法などを示す情報が用いられる。フリッカ情報には、当該ラインのフリッカの有無、当該ラインのフリッカの発生位置、当該ラインのフリッカの強度、および当該ラインのフリッカの周波数を示す情報が用いられる。
　なお、ライン情報自体の情報は、データ送信部２４において付与することができる。また、これらの情報の一部は、エンベデッドデータに格納してもよい。また、当該ラインは、１行であってもよいし、複数行であってもよい。例えば、１０行ごとで付与されるライン情報が、該当１０行のうち１行目のライン情報として挿入される。
　付加情報生成部２３Ａは、イベントアクセス部４１、イベントカウント部４２、イベント数解析部４３、およびイベント数周波数解析部４４を備えて構成される点で、図７の付加情報生成部２３と同様の構成となっている。そして、付加情報生成部２３Ａは、データ量計算部４９およびデータ圧縮部５０を備えて構成される点で、図７の付加情報生成部２３と異なる構成となっている。
　イベントアクセス部４１は、タイムスタンプ、当該ラインの座標、および、当該ラインのイベント極性を生成し、データ送信部２４に供給する。
　イベント数解析部４３は、当該ラインのイベント数を求めて当該ラインのイベント検出閾値の設定を行い、当該ラインのイベント検出閾値および当該ラインのイベント数をデータ送信部２４に供給する。
　イベント数周波数解析部４４は、当該ラインのフリッカの有無、当該ラインのフリッカの発生位置、当該ラインのフリッカの強度、および当該ラインのフリッカの周波数を示す当該ラインのフリッカ情報を取得し、データ送信部２４に供給する。
　データ量計算部４９は、イベント検出部２２から供給されるイベントｒａｗデータに基づいて、処理の対象となっている当該ラインのデータ量となるラインデータ量を計算し、データ送信部２４およびデータ圧縮部５０に供給する。
　データ圧縮部５０は、イベント検出部２２から供給されるイベントｒａｗデータを、予め設定されている圧縮手法で圧縮するデータ圧縮処理を行い、その処理の結果として得られる圧縮後データを、圧縮手法とともにデータ送信部２４に供給する。
　このように、付加情報生成部２３Ａは、タイムスタンプ、当該ラインの座標、当該ラインのイベント極性、当該ラインのイベント検出閾値、当該ラインのイベント数、当該ラインのフリッカ情報、当該ラインのラインデータ量、圧縮後データ、および圧縮手法をデータ送信部２４に供給することができる。そして、データ送信部２４は、これらの情報をライン情報として、図１５のＡに示すようなフレーム構造に格納し、イベントデータとともに、データバス１４を介してデータ処理装置１３に送信することができる。図１５のＢには、CSI-2の規格に従って出力されるライン情報およびイベントデータの出力例が示されている。
　即ち、図１５に示すように、データ送信部２４は、ラインごとにイベントデータを格納するロングパケットにおける、データを格納する領域の先頭（つまり、パケットヘッダＰＨの直後）に、ライン情報を格納する。
　また、図１６のＡに示すように、パケットヘッダＰＨにライン情報が含まれるようにしてもよい。また、図１６のＢに示すように、ライン情報のデータ長は任意である。
　このように、ライン情報の挿入位置や挿入回数などは任意であるが、実使用を鑑みると、ラインの先頭にライン情報を配置することが好ましい。つまり、ライン情報が、イベントデータを識別するための情報の場合、イベントデータより前にライン情報を送信することで、データ処理装置１３側におけるイベントデータの処理効率を向上させることができる。さらに、イベントデータより前にライン情報を送信することで、データ処理装置１３は、従来の規格と互換性を保ちつつＥＶＳ１２から出力されるイベントデータを扱うことができる。
　以上のように構成される付加情報生成部２３Ａを備えたＥＶＳ１２は、ライン情報をラインの所定位置に格納したフレーム構造を採用し、このフレーム構造に従った出力フォーマットでライン情報を送信することができる。即ち、ＥＶＳ１２は、フレーム情報をペイロードデータの先頭に格納し、イベントデータをペイロードデータの一部としたフレーム構造で送信する。これにより、ＥＶＳ１２は、より汎用性を高めることができる。
　そして、データ処理装置１３は、パケットヘッダＰＨおよびライン情報を解釈して、ライン情報に記載されている内容に基づいて、イベントデータに対して施す処理を決定することができる。
　＜追加情報生成部の第２の構成例の変形例＞
　図１７は、付加情報生成部２３の第２の構成例の変形例を示すブロック図である。なお、図１７に示す付加情報生成部２３Ａ’において、図１４の付加情報生成部２３Ａと共通する構成については同一の符号を付し、その詳細な説明は省略する。
　例えば、上述の図１４に示したイベント検出部２２および付加情報生成部２３Ａはスキャン型であり、イベントの発生の有無に関わらずにイベントデータを出力することで、１フレームが構成される。これに対し、付加情報生成部２３Ａ’は、イベントが発生したタイミングでのみイベントデータを出力するアービタ型イベント検出部２２’に対応するように構成されている。
　図示するように、付加情報生成部２３Ａ’は、フレーム生成部４７を備えて構成される点で、図１４の付加情報生成部２３Ａと異なる構成となっている。フレーム生成部４７は、図１３を参照して上述したように、ある１フレーム分の期間に発生したイベントデータをSRAM４８に一時的に保持させ、その１フレーム分の期間に発生したイベントデータをフレームの形式にして出力することができる。
　＜追加情報生成部の第３の構成例＞
　図１８は、付加情報生成部２３の第３の構成例を示すブロック図である。なお、図１８に示す付加情報生成部２３Ｂにおいて、図７の付加情報生成部２３と共通する構成については同一の符号を付し、その詳細な説明は省略する。
　図１８に示す付加情報生成部２３Ｂは、イベントデータについて付加的に設けられる付加情報として、画素に対して付加されるピクセル情報を生成する。
　例えば、付加情報生成部２３Ｂは、ピクセル情報として、イベント情報、フリッカ情報、および、イベント情報から求められる情報を生成する。
　イベント情報には、タイムスタンプや、座標、イベントの有無、発生したイベントの極性、イベント検出閾値、輝度変化量、イベント数（活性化率）などが用いられる。フリッカ情報には、フリッカの有無、フリッカの発生位置、フリッカの強度、およびフリッカの周波数を示す情報が用いられる。イベント情報から求められる情報は、各画素のイベント情報に基づいた演算によって、１画素または複数画素に跨った領域に付与される情報であり、オプティカルフローや、注目度、クラシフィケーション値などを示す情報が用いられる。
　付加情報生成部２３Ｂは、イベントアクセス部４１、イベントカウント部４２、イベント数解析部４３、イベント数周波数解析部４４、およびオプティカルフロー解析部４５を備えて構成される点で、図７の付加情報生成部２３と同様の構成となっている。そして、付加情報生成部２３Ｂは、注目度算出部５１、およびデータ処理部５２を備えて構成される点で、図７の付加情報生成部２３と異なる構成となっている。
　オプティカルフロー解析部４５は、イベント検出部２２から供給されるイベントｒａｗデータに基づいて、各画素のオプティカルフロー値を求めて、データ送信部２４に供給する。
　注目度算出部５１は、イベントカウント部４２から供給されるイベント数に基づいて、各画素の注目度を算出し、データ送信部２４に供給する。
　データ処理部５２は、例えば、ニューラルネットワークなどにより構成され、イベント検出部２２から供給されるイベントｒａｗデータに基づいた機械学習を利用したデータ処理を行うことにより、各画素のクラシフィケーション値および輝度変化量を求め、データ送信部２４に供給する。
　このように、付加情報生成部２３Ｂは、タイムスタンプ、フレーム数、イベント検出閾値、イベント数、フリッカ情報、各画素の注目度、各画素のオプティカルフロー値、輝度変化量、イベントの有無、およびイベントの極性をデータ送信部２４に供給することができる。そして、データ送信部２４は、これらの情報をピクセル情報として、それぞれの画素のデータにイベントデータとともに埋め込んで、図１９のＡに示すようなフレーム構造に格納することができる。図１９のＢには、CSI-2の規格に従って出力されるイベントデータ（画素ごとにピクセル情報が埋め込まれたデータ）の出力例が示されている。
　また、データ送信部２４は、画素のデータに埋め込むピクセル情報のデータ量に応じて、１画素分のデータで何ビットのデータ量を使用するかを示すモード情報をデータタイプＤＴに挿入することができる。例えば、モード情報がモード１である場合には、画素のデータ量は、０／－／＋の２ビットとし、モード情報がモード２である場合には、画素のデータ量は、０／－／＋の２ビットに付加して必要なデータ量αとする。これにより、アプリケーションの用途や、必要になる情報量または精度などによって、ＥＶＳ１２の出力を柔軟に変更可能とすることができる。
　図２０を参照して、画素のデータに埋め込まれるピクセル情報の伝送方式について説明する。
　図２０のＡには、イベント検出部２２から付加情報生成部２３Ｂに入力される入力データの一例が示されている。例えば、ポジティブのイベントデータには“０１”が入力され、ネガティブのイベントデータには“１０”が入力され、輝度の変化がないステイのイベントデータには“００”が入力される。
　図２０のＢには、イベントデータ（＋／－／stay）のみを、２ビットまたは３ビットを使用して送信する場合のデータの一例が示されている。
　例えば、イベントデータ（＋／－／stay）のみを２ビットを使用して送信する場合、ポジティブのイベントデータには“０１”が入力され、ネガティブのイベントデータには“１０”が入力され、ステイのイベントデータには“００”が入力される。また、イベントデータ（＋／－／stay）のみを３ビットを使用して送信する場合、ステイ・ポジティブのイベントデータには“００１”が入力され、ポジティブ・ステイのイベントデータには“０１０”が入力され、ポジティブ・ポジティブのイベントデータには“０１１”が入力され、ステイ・ステイのイベントデータには“１００”が入力され、ステイ・ネガティブのイベントデータには“１０１”が入力され、ネガティブ・ステイのイベントデータには“１１０”が入力され、ネガティブ・ネガティブのイベントデータには“１１１”が入力される。
　図２０のＣには、イベントデータ（event／stay）のみを、２ビットを使用して送信する場合のデータの一例が示されている。例えば、ステイのイベントデータには“００”が入力され、イベント発生を示すイベントデータには“０１”が入力される。
　図２０のＤには、フリッカの有無を示すピクセル情報を、２ビットを使用して送信する場合のデータの一例が示されている。例えば、フリッカなしを示すピクセル情報には“００”が入力され、フリッカありを示すピクセル情報には“０１”が入力される。
　図２０のＥには、注目度を示すピクセル情報を、２ビットを使用して送信する場合のデータの一例が示されている。例えば、注目領域でないことを示すピクセル情報には“００”が入力され、注目領域であることを示すピクセル情報には“０１”が入力される。
　図２０のＦには、オプティカルフロー値を示すピクセル情報を、２ビットを使用して送信する場合のデータの一例が示されている。
　このようなデータ伝送の方法（データフォーマット）によって、ＥＶＳ１２は、イベントデータのみの送信と、イベントデータにピクセル情報を付加した送信とを選択することができる。また、それらの選択（データ長および内容の選択）は、FuseやROM等で固定的にすること、または、フレーム単位で動的に選択可能にすることができる。フレーム単位で動的に選択可能にする場合、例えば、エンベデッドデータに格納されるフレーム情報を利用することができる。
　以上のように構成される付加情報生成部２３Ｂを備えたＥＶＳ１２は、イベントデータに対してピクセル情報を埋め込んだフレーム構造を採用し、このフレーム構造に従った出力フォーマットでピクセル情報を送信することができる。これにより、ＥＶＳ１２は、より汎用性を高めることができる。
　そして、データ処理装置１３は、ＥＶＳ１２から取得したデータに基づいて、１画素分のデータで何ビットが使用されているのかというモードの切り替えの有無を判断して、ＥＶＳ１２に送信する切り替え指示信号を生成する回路を備えた構成とすることができる。
　＜追加情報生成部の第２の構成例の変形例＞
　図２１は、付加情報生成部２３の第２の構成例の変形例を示すブロック図である。なお、図２１に示す付加情報生成部２３Ｂ’において、図１８の付加情報生成部２３Ｂと共通する構成については同一の符号を付し、その詳細な説明は省略する。
　例えば、上述の図１８に示したイベント検出部２２および付加情報生成部２３Ｂはスキャン型であり、イベントの発生の有無に関わらずにイベントデータを出力することで、１フレームが構成される。これに対し、付加情報生成部２３Ｂ’は、イベントが発生したタイミングでのみイベントデータを出力するアービタ型イベント検出部２２’に対応するように構成されている。
　図示するように、付加情報生成部２３Ｂ’は、フレーム生成部４７を備えて構成される点で、図１８の付加情報生成部２３Ｂと異なる構成となっている。フレーム生成部４７は、図１３を参照して上述したように、ある１フレーム分の期間に発生したイベントデータをSRAM４８に一時的に保持させ、その１フレーム分の期間に発生したイベントデータをフレームの形式にして出力することができる。
　＜複数の物理層の切り替え構成＞
　図２２および図２３を参照して、複数の物理層の切り替えることができるセンサシステム１１の構成例について説明する。
　例えば、センサシステム１１は、ＥＶＳ１２およびデータ処理装置１３の間でデータを伝送するための物理層として、伝送距離が１５ｍ程度であって車両内でデバイスを接続するためのSerDes規格であるA-PHYを利用することができる。また、センサシステム１１は、A-PHY以外の物理層（例えば、C-PHYやD-PHYなど）を利用してもよく、それらの物理層を切り替え可能に構成されている。
　図２２は、シリアライザおよびディシリアライザに物理層を切り替える機能が備えられたセンサシステム１１の構成例が示されている。
　図２２に示すように、センサシステム１１は、シリアライザ７１およびディシリアライザ７２を備えて構成されている。センサシステム１１は、ＥＶＳ１２とシリアライザ７１との間、および、データ処理装置１３とディシリアライザ７２との間では、それぞれCSI-2規格で通信が行われ、シリアライザ７１とディシリアライザ７２との間で、データバス１４を介した通信が行われるように構成される。
　ＥＶＳ１２は、図１のデータ送信部２４に対応するCSI-2送信回路７３を備えており、データ処理装置１３は、図１のデータ受信部３１に対応するCSI-2受信回路７４を備えて構成される。
　シリアライザ７１は、CSI-2受信回路８１、A-PHY変換部８２、SerDes変換部８３、セレクタ８４、およびSerDes送信回路８５を備えて構成される。
　シリアライザ７１では、ＥＶＳ１２のCSI-2送信回路７３から送信されてくるイベントデータをCSI-2受信回路８１が受信し、A-PHY変換部８２およびSerDes変換部８３に供給する。A-PHY変換部８２は、CSI-2受信回路８１から供給されるイベントデータをA-PHYの規格に従ってシリアル変換し、セレクタ８４に供給する。SerDes変換部８３は、CSI-2受信回路８１から供給されるイベントデータをA-PHY以外の、一般的なSerDesの規格に従ってシリアル変換し、セレクタ８４に供給する。セレクタ８４は、例えば、所定の選択信号に従って、A-PHY変換部８２から供給されるシリアル変換されたイベントデータ、および、SerDes変換部８３から供給されるシリアル変換されたイベントデータのうちの一方を選択し、SerDes送信回路８５に供給する。SerDes送信回路８５は、セレクタ８４によって選択された方のシリアル変換されたイベントデータを、データバス１４を介して送信する。
　ディシリアライザ７２は、SerDes受信回路９１、A-PHY変換部９２、SerDes変換部９３、セレクタ９４、およびCSI-2送信回路９５を備えて構成される。
　ディシリアライザ７２では、データバス１４を介して送信されてくるイベントデータをSerDes受信回路９１が受信し、A-PHY変換部９２およびSerDes変換部９３に供給する。A-PHY変換部９２は、SerDes受信回路９１から供給されるイベントデータをA-PHYの規格に従ってディシリアル変換を行って、セレクタ９４に供給する。SerDes変換部９３は、SerDes受信回路９１から供給されるイベントデータをSerDes変換部８３によるシリアル変換に対応したディシリアル変換を行って、セレクタ９４に供給する。セレクタ９４は、例えば、所定の選択信号に従って、A-PHY変換部９２から供給されるイベントデータ、および、SerDes変換部９３から供給されるイベントデータのうちの一方を選択し、CSI-2送信回路９５に供給する。CSI-2送信回路９５は、セレクタ９４によって選択された方のイベントデータを、データ処理装置１３のCSI-2受信回路７４に送信する。
　このような構成とすることで、センサシステム１１は、シリアライザ７１およびディシリアライザ７２において、A-PHYの規格に従ったシリアル変換と、一般的なSerDesの規格に従ったシリアル変換とを切り替えることができる。そして、シリアライザ７１およびディシリアライザ７２で互いに同じ規格のシリアル変換が行われるように、A-PHY変換部８２とSerDes変換部８３との切り替え、A-PHY変換部９２とSerDes変換部９３との切り替えが行われる。
　図２３は、ＥＶＳ１２およびデータ処理装置１３に物理層を切り替える機能が備えられたセンサシステム１１の構成例が示されている。
　図２３に示すように、ＥＶＳ１２は、CSI-2送信回路７３、A-PHY変換部８２、SerDes変換部８３、セレクタ８４、およびSerDes送信回路８５を備えて構成され、データ処理装置１３は、CSI-2受信回路７４、SerDes受信回路９１、A-PHY変換部９２、SerDes変換部９３、およびセレクタ９４を備えて構成される。
　このような構成とすることで、センサシステム１１は、ＥＶＳ１２およびデータ処理装置１３において、A-PHYの規格に従ったシリアル変換と、一般的なSerDesの規格に従ったシリアル変換とを切り替えることができる。そして、ＥＶＳ１２およびデータ処理装置１３で互いに同じ規格のシリアル変換が行われるように、A-PHY変換部８２とSerDes変換部８３との切り替え、A-PHY変換部９２とSerDes変換部９３との切り替えが行われる。
　＜電子機器の構成例＞
　図２４乃至図２７を参照して、ＥＶＳ１２を備える電子機器の構成例について説明する。
　図２４は、ＥＶＳ１２を備える電子機器１０１の構成例を示すブロック図である。
　図２４に示すように、ＥＶＳ１２を備える電子機器１０１は、レーザ光源１１１、照射レンズ１１２、撮像レンズ１１３、ＥＶＳ１２、およびシステム制御部１１４を備えて構成される。
　レーザ光源１１１は、図２４に示すように、例えば、垂直共振器型面発光レーザ（ＶＣＳＥＬ：Vertical Cavity Surface Emitting Laser）１２２、および、ＶＣＳＥＬ１２２を駆動する光源駆動部１２１から構成される。ただし、ＶＣＳＥＬ１２２に限定されず、ＬＥＤ（Light Emitting Diode）などの種々の光源が使用されてもよい。また、レーザ光源１１１は、点光源、面光源、線光源のいずれであってもよい。面光源または線光源の場合、レーザ光源１１１は、例えば、複数の点光源（例えばＶＣＳＥＬ）が１次元または２次元に配列した構成を備えてもよい。なお、本実施形態において、レーザ光源１１１は、例えば赤外（ＩＲ）光など、可視光の波長帯とは異なる波長帯の光を出射してよい。
　照射レンズ１１２は、レーザ光源１１１の出射面側に配置され、レーザ光源１１１から出射した光を所定の広がり角の照射光に変換する。
　撮像レンズ１１３は、ＥＶＳ１２の受光面側に配置され、入射光による像をＥＶＳ１２の受光面に結像する。入射光には、レーザ光源１１１から出射して被写体１０２で反射した反射光も含まれ得る。
　ＥＶＳ１２は、図２４に示すように、例えば、イベントを検出する画素（以下、イベント画素という）が２次元格子状に配列する受光部１３２、および、受光部１３２を駆動することで、イベント画素で検出されたイベントデータに基づくフレームデータを生成するセンサ制御部１３１から構成される。
　システム制御部１１４は、例えば、プロセッサ（ＣＰＵ）によって構成され、光源駆動部１２１を介してＶＣＳＥＬ１２２を駆動する。また、システム制御部１１４は、レーザ光源１１１に対する制御と同期してＥＶＳ１２を制御することで、レーザ光源１１１の発光／消光に応じて検出されるイベントデータを取得する。
　例えば、レーザ光源１１１から出射した照射光は、照射レンズ１１２を透して被写体１０２に投影される。この投影された光は、被写体１０２で反射される。そして、被写体１０２で反射された光は、撮像レンズ１１３を透してＥＶＳ１２に入射する。ＥＶＳ１２は、被写体１０２で反射した反射光を受光してイベントデータを生成し、生成されたイベントデータに基づいて、１枚の画像であるフレームデータを生成する。
　ＥＶＳ１２で生成されたフレームデータは、データバス１４を介して、データ処理装置１３に供給される。図示されるように、フレームデータは、フレームデータの先頭を示すフレームヘッダＦＳと、各ラインデータの先頭を示すラインヘッダＰＨと、各ラインデータの末尾を示すラインフッタＰＦと、ラインヘッダＰＨとラインフッタＰＦとの間に挟まれたラインデータＥｖｅｎｔと、フレームデータの末尾を示すフレームフッタＦＥとが出力される構成において、フレームヘッダＦＳとフレームフッタＦＥとの間には、フレームデータを構成する全てのラインのラインデータＥｖｅｎｔが含まれる。また、各ラインデータＥｖｅｎｔには、各ラインを構成する全ての画素についてのイベントデータ（例えば、正イベント、負イベント、または、イベント無し）の他、ラインの位置を示すｙアドレスや、当該ラインデータが非圧縮のデータであるか、いずれの符号化方式を用いて圧縮されたデータであるか、いずれの信号処理の処理結果であるかを示すフラグ等が含まれていてもよい。
　アプリケーションプロセッサなどからなるデータ処理装置１３は、ＥＶＳ１２から入力されたフレームデータに対して画像処理や認識処理などの所定の処理を実行する。
　図２５は、ＥＶＳ１２の概略構成例を示すブロック図である。
　例えば、図２５に示す画素アレイ部１４１、Ｘアービタ１４３、およびＹアービタ１４４が、上述した輝度検出部２１およびアービタ型イベント検出部２２’に対応する。また、図２５に示すイベント信号処理回路１４２およびシステム制御回路１４５の機能として、上述した付加情報生成部２３’が組み込まれており、図２５に示す出力インタフェース１４６が、上述したデータ送信部２４に対応する。
　図２５に示すように、ＥＶＳ１２は、画素アレイ部１４１、Ｘアービタ１４３、Ｙアービタ１４４、イベント信号処理回路１４２、システム制御回路１４５、および出力インタフェース（Ｉ／Ｆ）１４６を備えて構成される。
　画素アレイ部１４１は、それぞれ入射光の輝度変化に基づいてイベントを検出する複数のイベント画素１５１が２次元格子状に配列した構成を備える。なお、以下の説明において、行方向（ロウ方向ともいう）とは画素行の画素の配列方向（図面中、横方向）をいい、列方向（カラム方向ともいう）とは画素列の画素の配列方向（図面中、縦方向）をいう。
　各イベント画素１５１は、入射光の輝度に応じた電荷を生成する光電変換素子を備え、光電変換素子から流れ出した光電流に基づいて入射光の輝度変化を検出した場合、自身からの読出しを要求するリクエストをＸアービタ１４３およびＹアービタ１４４へ出力し、Ｘアービタ１４３およびＹアービタ１４４による調停に従って、イベントを検出したことを示すイベント信号を出力する。
　各イベント画素１５１は、入射光の輝度に応じた光電流に、所定の閾値を超える変化が生じたか否かによって、イベントの有無を検出する。例えば、各イベント画素１５１は、輝度変化が所定の閾値を超えたこと（正イベント）、または、下回ったこと（負イベント）をイベントとして検出する。
　イベント画素１５１は、イベントを検出した際に、イベントの発生を表すイベント信号の出力許可を要求するリクエストをＸアービタ１４３およびＹアービタ１４４にそれぞれに出力する。そして、イベント画素１５１は、イベント信号の出力許可を表す応答をＸアービタ１４３およびＹアービタ１４４それぞれから受け取った場合、イベント信号処理回路１４２に対してイベント信号を出力する。
　Ｘアービタ１４３およびＹアービタ１４４は、複数のイベント画素１５１それぞれから供給されるイベント信号の出力を要求するリクエストを調停し、その調停結果（イベント信号の出力の許可／不許可）に基づく応答、および、イベント検出をリセットするリセット信号を、リクエストを出力したイベント画素１５１に送信する。
　イベント信号処理回路１４２は、イベント画素１５１から入力されたイベント信号に対して所定の信号処理を実行することで、イベントデータを生成して出力する。
　上述したように、イベント画素１５１で生成される光電流の変化は、イベント画素１５１の光電変換部に入射する光の光量変化（輝度変化）とも捉えることができる。従って、イベントは、所定の閾値を超えるイベント画素１５１の光量変化（輝度変化）であるとも言うことができる。イベントの発生を表すイベントデータには、少なくとも、イベントとしての光量変化が発生したイベント画素１５１の位置を表す座標等の位置情報が含まれる。イベントデータには、位置情報の他、光量変化の極性を含ませることができる。
　イベント画素１５１からイベントが発生したタイミングで出力されるイベントデータの系列については、イベントデータ同士の間隔がイベントの発生時のまま維持されている限り、イベントデータは、イベントが発生した相対的な時刻を表す時間情報を暗示的に含んでいるということができる。
　但し、イベントデータがメモリに記憶されること等により、イベントデータ同士の間隔がイベントの発生時のまま維持されなくなると、イベントデータに暗示的に含まれる時間情報が失われる。そのため、イベント信号処理回路１４２は、イベントデータ同士の間隔がイベントの発生時のまま維持されなくなる前に、イベントデータに、タイムスタンプ等のイベントが発生した相対的な時刻を表す時間情報を含めてもよい。
　図２６は、イベント画素１５１の概略構成例を示す回路図である。なお、図２６には、正イベントの検出および負イベントの検出を１つのコンパレータが時分割で行う場合の構成例が示されている。
　ここで、イベントには、例えば、光電流の変化量が上限の閾値を超えた旨を示す正イベントと、その変化量が下限の閾値を下回った旨を示す負イベントとが含まれ得る。その場合、イベントの発生を表すイベントデータは、例えば、イベントの発生を示す１ビットと、発生したイベントの極性を示す１ビットとを含み得る。尚、イベント画素１５１については、正イベントのみについて検出する機能を有する構成とすることもできるし、負イベントのみについて検出する機能を有する構成とすることもできる。
　図２６に示すように、イベント画素１５１は、例えば、光電変換部ＰＤと、アドレスイベント検出回路１７１とを備える。光電変換部ＰＤは、例えば、フォトダイオードなどで構成され、入射光を光電変換することで発生した電荷を光電流Ｉｐｈｏｔｏとして流出させる。流出された光電流Ｉｐｈｏｔｏは、アドレスイベント検出回路１７１に流入する。
　アドレスイベント検出回路１７１は、受光回路１８１、メモリ容量１８２、コンパレータ１８３、リセット回路１８４、インバータ１８５、および、出力回路１８６を有する。
　受光回路１８１は、例えば、電流電圧変換回路から構成され、光電変換部ＰＤから流出した光電流Ｉｐｈｏｔｏを電圧Ｖｐｒに変換する。ここで、光の強度（輝度）に対する電圧Ｖｐｒの関係は、通常、対数の関係である。すなわち、受光回路１８１は、光電変換部ＰＤの受光面に照射される光の強度に対応する光電流Ｉｐｈｏｔｏを、対数関数である電圧Ｖｐｒに変換する。但し、光電流Ｉｐｈｏｔｏと電圧Ｖｐｒとの関係は、対数の関係に限られるものではない。
　受光回路１８１から出力される、光電流Ｉｐｈｏｔｏに応じた電圧Ｖｐｒは、メモリ容量１８２を経た後、電圧Ｖｄｉｆｆとしてコンパレータ１８３の第１入力である反転（－）入力となる。コンパレータ１８３は、通常、差動対トランジスタによって構成される。コンパレータ１８３は、システム制御回路１４５から与えられる閾値電圧Ｖｂを第２入力である非反転（＋）入力とし、正イベントの検出、および、負イベントの検出を時分割で行う。また、正イベント／負イベントの検出後は、リセット回路１８４によって、イベント画素１５１のリセットが行われる。
　システム制御回路１４５は、閾値電圧Ｖｂとして、時分割で、正イベントを検出する段階では電圧Ｖｏｎを出力し、負イベントを検出する段階では電圧Ｖｏｆｆを出力し、リセットを行う段階では電圧Ｖｒｅｓｅｔを出力する。電圧Ｖｒｅｓｅｔは、電圧Ｖｏｎと電圧Ｖｏｆｆとの間の値、好ましくは、電圧Ｖｏｎと電圧Ｖｏｆｆとの中間の値に設定される。ここで、「中間の値」とは、厳密に中間の値である場合の他、実質的に中間の値である場合も含む意味であり、設計上あるいは製造上生ずる種々のばらつきの存在は許容される。
　また、システム制御回路１４５は、イベント画素１５１に対して、正イベントを検出する段階ではＯＮ選択信号を出力し、負イベントを検出する段階ではＯＦＦ選択信号を出力し、リセットを行う段階ではグローバルリセット信号（Global Reset）を出力する。ＯＮ選択信号は、インバータ１８５と出力回路１８６との間に設けられた選択スイッチＳＷｏｎに対して、その制御信号として与えられる。ＯＦＦ選択信号は、コンパレータ１８３と出力回路１８６との間に設けられた選択スイッチＳＷｏｆｆに対して、その制御信号として与えられる。
　コンパレータ１８３は、正イベントを検出する段階では、電圧Ｖｏｎと電圧Ｖｄｉｆｆとを比較し、電圧Ｖｄｉｆｆが電圧Ｖｏｎを超えたとき、光電流Ｉｐｈｏｔｏの変化量が上限の閾値を超えた旨を示す正イベント情報Ｏｎを比較結果として出力する。正イベント情報Ｏｎは、インバータ１８５で反転された後、選択スイッチＳＷｏｎを通して出力回路１８６に供給される。
　コンパレータ１８３は、負イベントを検出する段階では、電圧Ｖｏｆｆと電圧Ｖｄｉｆｆとを比較し、電圧Ｖｄｉｆｆが電圧Ｖｏｆｆを下回ったとき、光電流Ｉｐｈｏｔｏの変化量が下限の閾値を下回った旨を示す負イベント情報Ｏｆｆを比較結果として出力する。負イベント情報Ｏｆｆは、選択スイッチＳＷｏｆｆを通して出力回路１８６に供給される。
　リセット回路１８４は、リセットスイッチＳＷＲＳ、２入力ＯＲ回路１９１、および、２入力ＡＮＤ回路１９２を有する構成となっている。リセットスイッチＳＷＲＳは、コンパレータ１８３の反転（－）入力端子と出力端子との間に接続されており、オン（閉）状態となることで、反転入力端子と出力端子との間を選択的に短絡する。
　ＯＲ回路１９１は、選択スイッチＳＷｏｎを経た正イベント情報Ｏｎ、および、選択スイッチＳＷｏｆｆを経た負イベント情報Ｏｆｆを２入力とする。ＡＮＤ回路１９２は、ＯＲ回路１９１の出力信号を一方の入力とし、システム制御回路１４５から与えられるグローバルリセット信号を他方の入力とし、正イベント情報Ｏｎまたは負イベント情報Ｏｆｆのいずれかが検出され、グローバルリセット信号がアクティブ状態のときに、リセットスイッチＳＷＲＳをオン（閉）状態とする。
　このように、ＡＮＤ回路１９２の出力信号がアクティブ状態となることで、リセットスイッチＳＷＲＳは、コンパレータ１８３の反転入力端子と出力端子との間を短絡し、イベント画素１５１に対して、グローバルリセットを行う。これにより、イベントが検出されたイベント画素１５１だけについてリセット動作が行われる。
　出力回路１８６は、負イベント出力トランジスタＮＭ１、正イベント出力トランジスタＮＭ２、および、電流源トランジスタＮＭ３を有する構成となっている。負イベント出力トランジスタＮＭ１は、そのゲート部に、負イベント情報Ｏｆｆを保持するためのメモリ（図示せず）を有している。このメモリは、負イベント出力トランジスタＮＭ１のゲート寄生容量から成る。
　負イベント出力トランジスタＮＭ１と同様に、正イベント出力トランジスタＮＭ２は、そのゲート部に、正イベント情報Ｏｎを保持するためのメモリ（図示せず）を有している。このメモリは、正イベント出力トランジスタＮＭ２のゲート寄生容量から成る。
　読出し段階において、負イベント出力トランジスタＮＭ１のメモリに保持された負イベント情報Ｏｆｆ、および、正イベント出力トランジスタＮＭ２のメモリに保持された正イベント情報Ｏｎは、システム制御回路１４５から電流源トランジスタＮＭ３のゲート電極に行選択信号が与えられることで、画素アレイ部１４１の画素行毎に、出力ラインｎＲｘＯｆｆおよび出力ラインｎＲｘＯｎを通して読出し回路１６１に転送される。読出し回路１６１は、例えば、イベント信号処理回路１４２（図２５参照）内に設けられる回路である。
　上述したように、イベント画素１５１は、１つのコンパレータ１８３を用いて、システム制御回路１４５による制御の下に、正イベントの検出、および、負イベントの検出を時分割で行うイベント検出機能を有する構成となっている。
　図２７には、スキャン型のＥＶＳ１２’の構成例が示されている。
　図２７に示すように、スキャン型のＥＶＳ１２’は、図２５に示したアービタ型のＥＶＳ１２が備えていたＸアービタ１４３およびＹアービタ１４４に替えて、アクセス部１４７を備えて構成されている。即ち、ＥＶＳ１２’は、画素アレイ部１４１、イベント信号処理回路１４２、システム制御回路１４５、および出力インタフェース１４６を備える点で、図２５のＥＶＳ１２と共通の構成となっている。
　アクセス部１４７は、例えば、図７のイベントアクセス部４１に対応し、画素アレイ部１４１の各イベント画素１５１に対して、イベントデータをスキャンするタイミングを指示する。
　＜複数のセンサを備えるセンサシステムの構成例＞
　図２８乃至図３３を参照して、複数のセンサを備えるセンサシステムの構成例について説明する。
　例えば、図２８に示すセンサ２１２の全て、または、いずれか１つ以上として、上述したＥＶＳ１２を用いることができる。また、図２８に示すプロセッサ２１１が、上述したデータ処理装置１３に対応し、図２８に示すデータバスＢ１が、上述したデータバス１４に対応する。
　図２８は、本実施形態に係るセンサシステム２０１の構成の一例を示す説明図である。センサシステム２０１としては、例えば、スマートフォンなどの通信装置や、ドローン（遠隔操作による動作、または、自律的な動作が可能な機器）、自動車などの移動体などが挙げられる。なお、センサシステム２０１の適用例は、上記に示す例に限られない。
　センサシステム２０１は、例えば、プロセッサ２１１と、画像を出力する機能を有する複数のセンサ２１２－１、２１２－２、２１２－３、…と、メモリ２１３と、表示デバイス２１４とを有する。以下では、複数のセンサ２１２－１、２１２－２、２１２－３、…を総称して、または、複数のセンサ２１２－１、２１２－２、２１２－３、…のうちの１つのセンサを代表的に示して、「センサ２１２」と示す場合がある。
　なお、図２８では、３以上のセンサ２１２を有するセンサシステム２０１を示しているが、本実施形態に係るシステムが有するセンサ２１２の数は、図２８に示す例に限られない。例えば、本実施形態に係るシステムは、２つのセンサ２１２、３つのセンサ２１２など、２以上の任意の数のセンサ２１２を有していてもよい。以下では、説明の便宜上、センサシステム２０１が有する複数のセンサ２１２のうちの２つのセンサ２１２から画像が出力される場合、または、センサシステム２０１が有する複数のセンサ２１２のうちの３つのセンサ２１２から画像が出力される場合を、例に挙げる。
　プロセッサ２１１と複数のセンサ２１２それぞれとは、１つのデータバスＢ１により電気的に接続される。データバスＢ１は、プロセッサ２１１とセンサ２１２それぞれとを接続する、一の信号の伝送路である。例えば、センサ２１２それぞれから出力される画像を示すデータ（以下、「画像データ」と示す場合がある。）が、センサ２１２からプロセッサ２１１へとデータバスＢ１を介して伝送される。
　センサシステム２０１においてデータバスＢ１により伝送される信号は、例えば、CSI-2規格、PCI Expressなどの、伝送されるデータの開始と終了とが所定のデータにより特定される任意の規格によって、伝送される。上記所定のデータとしては、例えば、CSI-2規格におけるフレームの開始パケット、CSI-2規格におけるフレームの終了パケットなどが挙げられる。以下では、データバスＢ１により伝送される信号が、CSI-2規格に従って伝送される例を示す。
　また、プロセッサ２１１と複数のセンサ２１２それぞれとは、データバスＢ１とは異なる制御バスＢ２により電気的に接続される。制御バスＢ２は、プロセッサ２１１とセンサ２１２それぞれとを接続する、他の信号の伝送路である。例えば、プロセッサ２１１から出力される制御情報（後述する）が、プロセッサ２１１からセンサ２１２へと制御バスＢ２を介して伝送される。以下では、データバスＢ１と同様に、制御バスＢ２により伝送される信号が、CSI-2規格に従って伝送される例を示す。
　なお、図２８では、プロセッサ２１１と複数のセンサ２１２それぞれとが、１つの制御バスＢ２により接続される例を示しているが、本実施形態に係るシステムは、センサ２１２ごとに制御バスが設けられる構成をとることも可能である。また、プロセッサ２１１と複数のセンサ２１２それぞれとは、制御バスＢ２を介して制御情報（後述する）を送受信する構成に限られず、例えば、後述する制御情報の送受信を行うことが可能な任意の通信方式の無線通信によって制御情報（後述する）を送受信する構成であってもよい。
　プロセッサ２１１は、ＭＰＵ（Micro Processing Unit）などの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成される。プロセッサ２１１は、バッテリなどのセンサシステム２０１を構成する内部電源（図示せず）から供給される電力、または、センサシステム２０１の外部電源から供給される電力によって、駆動する。
　プロセッサ２１１は、本実施形態に係る処理装置の一例である。本実施形態に係る処理装置は、後述する処理部における処理（本実施形態に係る制御方法に係る処理）を行うことが可能な、任意の回路、任意のデバイスに適用することが可能である。
　プロセッサ２１１は、"データバスＢ１に接続される複数のセンサ２１２それぞれからデータバスＢ１を介して出力される画像に関する制御（本実施形態に係る制御方法に係る制御）"を行う。
　画像に関する制御は、例えば、プロセッサ２１１が備える処理部２２１において行われる。プロセッサ２１１では、画像に関する制御を行う特定のプロセッサ（または特定の処理回路）、または、複数のプロセッサ（または複数の処理回路）が、処理部２２１の役目を果たす。
　なお、処理部２２１は、プロセッサ２１１における機能を便宜上切り分けたものである。よって、プロセッサ２１１では、例えば、本実施形態に係る画像に関する制御が、複数の機能ブロックによって行われてもよい。以下では、本実施形態に係る画像に関する制御が、処理部２２１において行われる場合を例に挙げる。
　処理部２２１は、センサ２１２それぞれに対して制御情報を送信することによって、画像に関する制御を行う。
　本実施形態に係る制御情報には、例えば、センサ２１２を示す識別情報と、制御のための情報と、処理命令とが含まれる。本実施形態に係る識別情報としては、例えば、センサ２１２に設定されているＩＤなどの、センサ２１２を特定することが可能な任意のデータが挙げられる。
　制御情報は、上述したように、例えば制御バスＢ２を介して送信される。
　また、処理部２２１により送信された制御情報は、例えば、センサ２１２それぞれが備えるレジスタ（記録媒体の一例）に記録される。そして、センサ２１２は、レジスタに記憶されている制御情報に基づいて画像を出力する。
　処理部２２１は、画像に関する制御として、例えば下記の（１）に示す第１の例に係る制御～下記の（４）に示す第４の例に係る制御のいずれかの制御を行う。なお、本実施形態に係る画像に関する制御により実現される、センサシステム２０１における画像の出力例については、後述する。
（１）画像に関する制御の第１の例：画像の連結の制御
　処理部２２１は、センサ２１２それぞれから出力される複数の画像の連結の制御を行う。
　より具体的には、処理部２２１は、例えば、センサ２１２それぞれから出力される複数の画像におけるフレームの開始とフレームの終了とを制御することによって、複数の画像の連結を制御する。
　センサ２１２それぞれにおけるフレームの開始は、例えば、処理部２２１が、センサ２１２それぞれにおけるフレームの開始パケットの出力を制御することによって、制御される。フレームの開始パケットとしては、例えば、CSI-2規格における"ＦＳ（Frame Start）パケット"が、挙げられる。以下では、フレームの開始パケットを「ＦＳ」または「ＦＳパケット」と示す場合がある。
　処理部２２１は、例えば、フレームの開始パケットを出力するかを示すデータ（第１出力情報。制御のための情報の一例）を含む制御情報を、センサ２１２に対して送信することによって、センサ２１２におけるフレームの開始パケットの出力を制御する。上記フレームの開始パケットを出力するかを示すデータとしては、例えば、フレームの開始パケットを出力するか否かを示すフラグが挙げられる。
　また、センサ２１２それぞれにおけるフレームの終了は、例えば、処理部２２１が、センサ２１２それぞれにおけるフレームの終了パケットの出力を制御することによって、制御される。フレームの終了パケットとしては、例えば、CSI-2規格における"ＦＥ（Frame End）パケット"が、挙げられる。以下では、フレームの終了パケットを「ＦＥ」または「ＦＥパケット」と示す場合がある。
　処理部２２１は、例えば、フレームの終了パケットを出力するかを示すデータ（第２出力情報。制御のための情報の一例）を含む制御情報を、センサ２１２に対して送信することによって、センサ２１２におけるフレームの終了パケットの出力を制御する。上記フレームの終了パケットを出力するかを示すデータとしては、例えば、フレームの終了パケットを出力するか否かを示すフラグが挙げられる。
　例えば上記のように、処理部２２１によって、センサ２１２それぞれから出力される複数の画像におけるフレームの開始とフレームの終了とが制御されることによって、複数のセンサ２１２からは、下記のような画像を示すデータが出力される。
　　・フレームの開始パケットおよびフレームの終了パケットを含むデータ
　　・フレームの開始パケットのみを含むデータ
　　・フレームの終了パケットのみを含むデータ
　　・フレームの開始パケットおよびフレームの終了パケットを含まないデータ
　複数のセンサ２１２からデータバスＢ１を介して伝送される複数の画像を受信するプロセッサ２１１は、受信された画像に含まれるフレームの開始パケットに基づき、あるフレームにおける画像の伝送が開始されたことを認識する。
　また、プロセッサ２１１は、受信された画像に含まれるフレームの終了パケットに基づき、あるフレームにおける画像の伝送が終了したことを認識する。
　また、プロセッサ２１１は、受信された画像に、フレームの開始パケットとフレームの終了パケットとが含まれない場合には、あるフレームにおける画像の伝送が開始されたこと、およびあるフレームにおける画像の伝送が終了したことを、認識しない。なお、プロセッサ２１１は、上記の場合において、あるフレームにおける画像の伝送が行われている途中であると認識してもよい。
　よって、複数のセンサ２１２からデータバスＢ１を介して伝送される複数の画像を受信するプロセッサ２１１では、下記の（ａ）、（ｂ）に示すような処理が実現される。なお、データバスＢ１に、画像を処理することが可能な他の処理回路が接続されている場合、複数のセンサ２１２から出力される画像の処理は、当該他の処理回路により行われてもよい。以下では、プロセッサ２１１が備える処理部２２１が、複数のセンサ２１２から出力される画像の処理を行う場合を例に挙げる。
（ａ）複数のセンサ２１２から出力される画像の処理の第１の例
　１つのセンサ２１２から送信されるデータに、フレームの開始パケットおよびフレームの終了パケットが含まれる場合、処理部２２１は、当該１つのセンサ２１２から出力される画像を、単体の画像として処理する。
（ｂ）複数のセンサ２１２から出力される画像の処理の第２の例
　"一のセンサ２１２から送信されたデータにフレームの開始パケットが含まれ、当該フレームの開始パケットが含まれるデータの受信後に受信された他のセンサ２１２から送信されたデータに、フレームの終了パケットが含まれる場合"には、処理部２２１は、フレームの開始パケットが含まれるデータにおける画像と、フレームの終了パケットが含まれるデータにおける画像とを、合成する。
　また、"第２の例における上記の場合においてフレームの終了パケットが含まれるデータが受信される前に、１または２以上の他のセンサ２１２から送信されたフレームの開始パケットおよびフレームの終了パケットを含まないデータが、受信されたとき"には、処理部２２１は、フレームの開始パケットが含まれるデータにおける画像、フレームの開始パケットおよびフレームの終了パケットを含まないデータにおける画像、およびフレームの終了パケットが含まれるデータにおける画像を、合成する。
　処理部２２１が、フレームの開始パケットとフレームの終了パケットとに基づいて、上記のように複数のセンサ２１２から送信された画像を合成することによって、複数のセンサ２１２から送信された複数の画像の連結が、実現される。
　なお、本実施形態に係る複数の画像の連結の制御は、上記に示す例に限られない。
　例えば、処理部２２１は、さらに、センサ２１２それぞれから出力される複数の画像に対する識別子の付与を制御することによって、複数の画像の連結を制御することが可能である。
　ここで、本実施形態に係る識別子とは、センサ２１２から出力される画像を識別することが可能なデータである。本実施形態に係る識別子としては、例えば、CSI-2規格において規定されているＶＣ（Virtual　Channel）値（「ＶＣ番号」と示す場合もある。）と、CSI-2規格において規定されているＤＴ（Data　Type）値との一方または双方が、挙げられる。なお、本実施形態に係る識別子は、上記に示す例に限られず、複数のセンサ２１２から送信される複数の画像の連結の制御において、画像の識別に用いることが可能な、任意のデータが挙げられる。
　処理部２２１は、例えば、画像の識別子を示すデータ（第３出力情報。制御のための情報の一例）を含む制御情報を、センサ２１２に対して送信することによって、センサ２１２から出力される画像に対する識別子の付与を制御する。
　センサ２１２から送信されたデータに識別子が含まれる場合、処理部２２１は、あるフレームにおいて異なる識別子が付与された画像を、異なる画像と認識する。つまり、センサ２１２から送信されたデータに識別子が含まれる場合、処理部２２１は、異なる識別子が付与された画像を連結しない。
　よって、処理部２２１が、フレームの開始とフレームの終了との制御に加えて、センサ２１２それぞれから出力される複数の画像に対する識別子の付与をさらに制御することによって、フレームの開始とフレームの終了とを制御する場合よりも、より多様な画像の連結の制御を実現することが可能となる。
　図２９～図３３は、本実施形態に係るセンサシステム２０１を構成するプロセッサ２１１における画像に関する制御の一例を説明するための説明図である。図２９～図３３それぞれは、プロセッサ２１１における画像の連結の制御結果の一例を示している。
（１－１）画像の連結の制御結果の第１の例：図２９
　図２９に示すＡは、プロセッサ２１１が２つのセンサ２１２からデータバスＢ１を介して取得した、あるフレームに対応するデータの一例を示している。図２９に示すＡでは、一のセンサ２１２と他のセンサ２１２とから下記に示すデータが受信された例を示している。
　　・一のセンサ２１２：ラインごとの画像データ、フレームの開始パケット、フレームの終了パケット、およびＶＣ値"０"（識別子の一例。以下、同様とする。）を含むデータ
　　・他のセンサ２１２：ラインごとの画像データ、フレームの開始パケット、フレームの終了パケット、およびＶＣ値"１"（識別子の一例。以下、同様とする。）を含むデータ　
　また、図２９に示すＢは、図２９のＡに示すデータがメモリ２１３のフレームバッファに記憶される場合における、記憶イメージを示している。なお、図２９のＡに示すデータは、プロセッサ２１１が備える記録媒体などの他の記録媒体に記憶されてもよい。
　図２９のＡに示すようなデータが受信された場合、処理部２２１は、例えば図２９のＢに示すように、ＶＣ値ごとのフレームバッファに、分離して画像を記録する。
（１－２）画像の連結の制御結果の第２の例：図３０
　図３０に示すＡは、プロセッサ２１１が２つのセンサ２１２からデータバスＢ１を介して取得した、あるフレームに対応するデータの一例を示している。図３０に示すＡでは、一のセンサ２１２と他のセンサ２１２とから下記に示すデータが受信された例を示している。
　　・一のセンサ２１２：ラインごとの画像データ、フレームの開始パケット、フレームの終了パケット、およびＶＣ値"０"を含むデータ
　　・他のセンサ２１２：ラインごとの画像データ、フレームの開始パケット、フレームの終了パケット、およびＶＣ値"０"を含むデータ
　図３０のＡに示すようなデータが受信された場合、処理部２２１は、例えば図３０のＢに示すように、同一ＶＣ値用のフレームバッファに画像を記録する。図３０のＢに示す画像の記憶は、例えば、ダブルバッファなどにより実現される。
（１－３）画像の連結の制御結果の第３の例：図３１
　図３１に示すＡは、プロセッサ２１１が２つのセンサ２１２からデータバスＢ１を介して取得した、あるフレームに対応するデータの一例を示している。図３１に示すＡでは、一のセンサ２１２と他のセンサ２１２とから下記に示すデータが受信された例を示している。
　　・一のセンサ２１２：ラインごとの画像データ、フレームの開始パケット、およびＶＣ値"０"を含むデータ
　　・他のセンサ２１２：ラインごとの画像データ、フレームの終了パケット、およびＶＣ値"０"を含むデータ
　図３１のＡに示すようなデータが受信された場合、処理部２２１は、例えば図３１のＢに示すように、２つの画像を垂直方向に連結して、フレームバッファに画像を記録する。
（１－４）画像の連結の制御結果の第４の例：図３２
　図３２に示すＡは、プロセッサ２１１が２つのセンサ２１２からデータバスＢ１を介して取得した、あるフレームに対応するデータの一例を示している。図３２に示すＡでは、一のセンサ２１２と他のセンサ２１２とから下記に示すデータが受信された例を示している。
　　・一のセンサ２１２：ラインごとの画像データ、フレームの開始パケット、フレームの終了パケット、およびＶＣ値"０"を含むデータ
　　・他のセンサ２１２：ラインごとの画像データ、フレームの開始パケット、フレームの終了パケット、およびＶＣ値"１"を含むデータ
　図３２のＡに示すようなデータが受信された場合、処理部２２１は、例えば図３２のＢに示すように、ＶＣ値ごとのフレームバッファに、分離して画像を記録する。
（１－５）画像の連結の制御結果の第５の例：図３３
　図３３に示すＡは、プロセッサ２１１が２つのセンサ２１２からデータバスＢ１を介して取得した、あるフレームに対応するデータの一例を示している。図３３に示すＡでは、一のセンサ２１２と他のセンサ２１２とから下記に示すデータが受信された例を示している。
　　・一のセンサ２１２：ラインごとの画像データ、フレームの開始パケット、およびＶＣ値"０"を含むデータ
　　・他のセンサ２１２：ラインごとの画像データ、フレームの終了パケット、およびＶＣ値"０"を含むデータ
　図３３のＡに示すようなデータが受信された場合、処理部２２１は、例えば図３３のＢに示すように、２つの画像を水平方向に連結して、フレームバッファに画像を記録する。
　プロセッサ２１１の処理部２２１における画像の連結の制御によって、例えば図２９～図３３に示すように、画像が選択的に連結される。なお、本実施形態に係るプロセッサ１００の処理部２２１による画像の連結の制御結果の例が、図２９～図３３に示す例に限られないことは、言うまでもない。
（２）画像に関する制御の第２の例：出力される画像の制御
　処理部２２１は、センサ２１２から出力される画像の制御を行う。本実施形態に係るセンサ２１２から出力される画像の制御としては、例えば、センサ２１２それぞれから出力される画像サイズの制御と、複数のセンサ２１２それぞれから出力される画像のフレームレートの制御との一方または双方が、挙げられる。
　処理部２２１は、例えば、画像サイズを示すデータと、フレームレートを示すデータとの一方または双方（制御のための情報の一例）を含む制御情報を、センサ２１２に対して送信することによって、センサ２１２から出力される画像を制御する。
（３）画像に関する制御の第３の例：画像の出力タイミング制御
　処理部２２１は、画像センサそれぞれから出力される画像の出力タイミングを制御する。
　処理部２２１は、例えば、画像の出力命令が受信されてから画像を出力するまでの出力遅延量を示すデータ（制御のための情報の一例）を含む制御情報を、センサ２１２に対して送信することによって、センサ２１２から出力される画像の出力タイミングを制御する。
（４）画像に関する制御の第４の例
　処理部２２１は、上記（１）に示す第１の例に係る制御～上記（３）に示す第３の例に係る制御のうちの２以上の制御を、行ってもよい。
　処理部２２１は、画像に関する制御として、画像に関する制御として、例えば上記（１）に示す第１の例に係る制御～上記（４）に示す第４の例に係る制御を行う。
　プロセッサ２１１は、例えば処理部２２１を備えることによって、上述したような画像に関する制御に係る処理（本実施形態に係る制御方法に係る処理）を行う。
　なお、プロセッサ２１１において行われる処理は、上述したような画像に関する制御に係る処理に限られない。
　例えば、プロセッサ２１１は、図２９～図３３を参照して示したようなメモリ２１３などの記録媒体への画像データの記録制御に係る処理、表示デバイス２１４の表示画面への画像の表示制御に係る処理、任意のアプリケーションソフトウェアを実行する処理など、様々な処理を行うことが可能である。記録制御に係る処理としては、例えば"記録命令を含む制御データと記録媒体に記録させるデータとを、メモリ２１３などの記録媒体に伝達する処理"が、挙げられる。また、表示制御に係る処理としては、例えば"表示命令を含む制御データと表示画面に表示させるデータとを、表示デバイス２１４などの表示デバイスに伝達する処理"が、挙げられる。
　センサ２１２は、画像センサである。本実施形態に係る画像センサは、例えば、デジタルスチルカメラやデジタルビデオカメラ、ステレオカメラなどの撮像デバイスや、赤外線センサ、距離画像センサなどの、任意のセンサデバイスを含み、生成された画像を出力する機能を有する。ここで、センサ２１２において生成される画像は、センサ２１２におけるセンシング結果を示すデータに該当する。
　センサ２１２は、例えば図２８に示すように、他のセンサ２１２が接続されるデータバスＢ１に接続される。
　また、センサ２１２は、制御情報に基づいて画像を出力する。上述したように、制御情報はプロセッサ２１１から送信され、センサ２１２は、制御バスＢ２を介して制御情報を受信する。
　＜送信方式の一例＞
　図３４および図３５を参照して、センサ２１２からプロセッサ２１１への送信方式の一例について説明する。
　センサ２１２は、領域情報と領域データとを、パケットのペイロードに格納して、行ごとに送信させる。例えば、センサ２１２では、イベントデータからなる画像に対して設定される領域に対応する領域情報を、付加情報生成部２３が、画像における行ごとに設定し、設定された領域情報と、領域に対応する領域データとなるイベントデータとを、行ごとに送信させる。センサ２１２は、例えばｙ座標の値の昇順または降順など、所定の順序に従って、行ごとの領域情報と領域データとを送信させる。また、センサ２１２は、ランダムな順序で、行ごとの領域情報と領域データとを送信させてもよい。ここで、領域情報とは、画像に対して設定される領域を、受信装置側で特定するためのデータ（データ群）である。領域情報には、例えば、行の位置を示す情報、行に含まれる領域の識別情報、行に含まれる領域の列の位置を示す情報、および行に含まれる領域の大きさを示す情報が、含まれる。
　図３４は、本実施形態に係る送信方法に係る第１の送信方式により送信されるデータの一例を示す説明図である。図３４は、"図３５に示す領域１、領域２、領域３、および領域４それぞれに対応する領域情報および領域データ（領域１のイベントデータ、領域２のイベントデータ、領域３のイベントデータ、および領域４のイベントデータ）が、MIPIのロングパケットのペイロードに格納して、行ごとに送信される例"を示している。
　図３４に示す"ＦＳ"は、MIPI CSI-2規格におけるＦＳ（Frame Start）パケットであり、図３４に示す"ＦＥ"は、MIPI CSI-2規格におけるＦＥ（Frame End）パケットである（他の図においても同様である）。
　図３４に示す"Embedded Data"は、送信されるデータのヘッダ、または、フッタに埋め込むことの可能なデータである。"Embedded Data"としては、例えば、センサ２１２が付加的に送信する付加情報が挙げられる。以下では、Embedded Dataを「ＥＢＤ」と示す場合がある。
　本実施形態に係る付加情報としては、例えば、領域のデータ量を示す情報、領域の大きさを示す情報、および領域の優先度を示す情報のうちの、１または２以上が、挙げられる。
　領域のデータ量を示す情報としては、例えば"領域に含まれる画素数（または領域のデータ量）と、ヘッダのデータ量とを示すデータ"など、領域のデータ量を特定することが可能な任意の形式のデータが、挙げられる。図３４に示す"Embedded Data"として領域のデータ量を示す情報が送信されることによって、受信装置は、各領域のデータ量を特定することができる。つまり、図３４に示す"Embedded Data"として領域のデータ量を示す情報が送信されることによって、受信装置が、領域情報に基づいて各領域のデータ量を算出する機能を有していない場合であっても、受信装置に領域のデータ量を特定させることができる。
　領域の大きさを示す情報としては、例えば"領域を含む矩形の領域を示すデータ（例えば、当該矩形の領域における、水平方向の画素数および垂直方向の画素数を示すデータ）"など、領域の大きさを特定することが可能な任意の形式のデータが、挙げられる。
　領域の優先度を示す情報は、例えば、領域のデータの処理において用いられるデータである。一例を挙げると、領域の優先度を示す情報が示す優先度は、領域を処理する順序や、図３５に示す領域３および領域４のような設定されている領域が重なっている場合における処理などに、利用される。
　なお、本実施形態に係る付加情報は、上記に示す例に限られない。例えば、本実施形態に係る付加情報としては、画像センサデバイスにおける露出値などを示す露光情報、画像センサデバイスにおけるゲインを示すゲイン情報などの、様々なデータが、挙げられる。露光情報が示す露光値、およびゲイン情報が示すゲインそれぞれは、制御バスＢ２を介したプロセッサ２１１による制御によって画像センサデバイスに設定される。
　図３５は、本実施形態に係る送信方法に係る第１の送信方式により送信されるEmbedded Dataの一例を説明するための説明図である。図３５は、図３４に示す"Embedded Data"として領域の大きさを示す情報が送信され、送信される領域の大きさを示す情報が、領域を含む最小の矩形の領域を示すデータである例を、示している。また、図３５は、領域１、領域２、領域３、および領域４という４つの領域が設定されている例を示している。
　図３４に示す"Embedded Data"として領域の大きさを示す情報が送信されることによって、受信装置は、図３５のＲ１に示す領域１を含む最小の矩形の領域、図３５のＲ２に示す領域２を含む最小の矩形の領域、図３５のＲ３に示す領域３を含む最小の矩形の領域、および図３５のＲ４に示す領域４を含む最小の矩形の領域を、特定することができる。つまり、図３４に示す"Embedded Data"として領域の大きさを示す情報が送信されることによって、受信装置が、領域情報に基づいて各領域を含む最小の矩形の領域を特定する機能を有していない場合であっても、受信装置に、領域情報に基づいて各領域を含む最小の矩形の領域を特定させることができる。なお、領域の大きさを示す情報が、各領域を含む最小の矩形の領域を示すデータに限られないことは、言うまでもない。
　領域の優先度を示す情報としては、例えば、優先度が高い順にROI IDが並べられているデータや、優先度が低い順にROI IDが並べられているデータなど、領域の優先度を特定することが可能な任意の形式のデータが、挙げられる。図３４に示す"Embedded Data"として領域の優先度を示す情報が送信されることによって、受信装置は、例えば、領域の処理順序や、どの領域を優先的に処理するかを、特定することができる。つまり、図３４に示す"Embedded Data"として領域の優先度を示す情報が送信されることによって、受信装置における領域に対する処理を制御することができる。
　なお、図３４に示す"Embedded Data"として送信される、領域のデータ量を示す情報、領域の大きさを示す情報、および領域の優先度を示す情報それぞれの例が、上記に示す例に限られないことは、言うまでもない。
　図３４に示す"ＰＨ"は、ロングパケットのパケットヘッダである。ここで、第１の送信方式に係るロングパケットのパケットヘッダは、領域情報に含まれる情報が１つ前に送信させるパケットに含まれる領域情報から変化しているか否かを示すデータ（変化情報）として、機能してもよい。つまり、図３４に示す"ＰＨ"は、ロングパケットのデータタイプを示す一のデータであるといえる。
　一例を挙げると、センサ２１２は、領域情報に含まれる情報が１つ前に送信させるパケットに含まれる領域情報から変化している場合、"ＰＨ"に"0x38"を設定する。この場合、センサ２１２は、領域情報をロングパケットのペイロードに格納する。
　他の例を挙げると、センサ２１２は、領域情報に含まれる情報が１つ前に送信させるパケットに含まれる領域情報から変化していない場合、"ＰＨ"に"0x39"を設定する。この場合、センサ２１２は、領域情報をロングパケットのペイロードに格納しない。つまり、領域情報に含まれる情報が１つ前に送信させるパケットに含まれる領域情報から変化していない場合、センサ２１２は、領域情報を送信させない。
　なお、"ＰＨ"に設定されるデータが、上記に示す例に限られないことは、言うまでもない。
　図３４に示す"Info"は、ペイロードに格納される領域情報である（他の図においても同様である）。図３４に示すように、領域情報は、ペイロードの先頭部分に格納される。例えば、領域情報を「ROI Info」と示す場合がある。
　図３４に示す"１"、"２"、"３"、および"４"それぞれは、ペイロードに格納される、領域１の領域データ、領域２の領域データ、領域３の領域データ、および領域４の領域データに該当する（他の図においても同様である）。なお、図３４では、各領域データが区切られて示されているが、これは便宜上区切りを表したものであり、ペイロードに格納されるデータに区切りはない（他の図においても同様である）。例えば、領域データを「ROI DATA」と示す場合がある。
　＜イメージセンサの使用例＞
　図３６は、上述のイメージセンサ（ＥＶＳ１２）を使用する使用例を示す図である。
　上述したイメージセンサは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
　・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
　・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
　・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
　・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
　・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
　・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
　・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
　・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
　＜構成の組み合わせ例＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　フォトダイオードが受光した光の輝度変化であるイベントの発生を検出するイベント検出部と、
　前記イベントの内容を示すイベントデータをペイロードデータの一部とし、前記イベントデータについて付加的に設けられる付加情報としてフレームに対して付加されるフレーム情報を、エンベデッドデータの一部としたフレーム構造で送信するデータ送信部と
　を備える画像センサ。
（２）
　前記フレーム情報の配置位置は、複数のラインで構成される前記イベントデータの先頭位置、前記イベントデータの最後尾位置、前記イベントデータの中間位置、または、前記イベントデータの先頭位置および最後尾位置である
　上記（１）に記載の画像センサ。
（３）
　前記データ送信部は、複数フレーム分の前記イベントデータをサブフレームとして連結し、１フレームとして送信する
　上記（１）または（２）に記載の画像センサ。
（４）
　前記付加情報は、前記イベントデータに関連するタイムスタンプもしくはフレーム数を含む
　上記（１）から（３）までのいずれかに記載の画像センサ。
（５）
　前記付加情報は、前記イベントデータに基づいて生成されたイベント検出閾値もしくはＲＯＩ（Region of Interest）情報を含む
　上記（１）から（４）までのいずれかに記載の画像センサ。
（６）
　前記付加情報は、前記イベントデータに基づいて生成されたフリッカ情報を含む
　上記（１）から（５）までのいずれかに記載の画像センサ。
（７）
　前記付加情報は、前記イベントデータに基づいて生成された被写体の移動有無もしくは移動方向を示す情報であるオプティカルフローを含む
　上記（１）から（６）までのいずれかに記載の画像センサ。
（８）
　前記付加情報は、前記フレームのデータ量を含む
　上記（１）から（７）までのいずれかに記載の画像センサ。
（９）
　前記イベント検出部がアービタ型である場合、
　前記イベント検出部からイベントが発生したタイミングで出力される前記イベントデータを含む１フレーム分のフレームが生成される
　上記（１）から（８）までのいずれかに記載の画像センサ。
（１０）
　前記データ送信部は、前記イベントデータからなる画像に対して設定される領域に対応する領域情報を前記画像における行ごとに設定し、設定された前記領域情報と前記領域に対応する領域データとなる前記イベントデータとを、行ごとに送信し、
　前記領域情報には、行の位置を示す情報、および行に含まれる前記領域の列の位置を示す情報が、含まれる
　上記（１）から（９）までのいずれかに記載の画像センサ。
（１１）
　前記フォトダイオードが受光した光の輝度を検出し、その輝度値を示す輝度信号を出力する輝度検出部と、
　前記イベントデータに基づいて、前記イベントデータについて付加的に設けられる付加情報として前記フレーム情報を生成する付加情報生成部と
　をさらに備え、
　前記イベント検出部は、前記輝度信号が示す輝度値と所定の基準値との差分を求め、その差分がプラス側のイベント検出閾値またはマイナス側のイベント検出閾値を超えた場合に、前記イベントの発生を検出して、そのイベントの内容を示す前記イベントデータを出力する
　上記（１）から（１０）までのいずれかに記載の画像センサ。
（１２）
　フォトダイオードが受光した光の輝度変化であるイベントの内容を示すイベントデータをペイロードデータの一部とし、前記イベントデータについて付加的に設けられる付加情報としてフレームに対して付加されるフレーム情報を、エンベデッドデータの一部としたフレーム構造で受信するデータ受信部と、
　前記フレーム情報を参照し、前記イベントに関連するデータ処理を行うイベント関連データ処理部と
　を備えるデータ処理装置。
（１３）
　前記データ受信部は、
　　前記イベントデータからなる画像に対して設定される領域に対応して設定され、前記画像における行ごとに設定される領域情報と、
　　前記領域に対応する領域データとなる前記イベントデータと
　を受信し、
　前記領域情報には、行の位置を示す情報、および行に含まれる前記領域の列の位置を示す情報が、含まれる
　上記（１２）に記載のデータ処理装置。
（１４）
　データバスに接続され、前記イベントデータを出力する複数の画像センサそれぞれから前記データバスを介して出力される前記イベントデータからなる画像に関する制御を行う処理部を備え、
　前記処理部は、前記画像センサそれぞれにおける、フレームの開始パケットの出力制御および、前記画像センサそれぞれにおける、フレームの終了パケットの出力制御を行い、　前記画像センサそれぞれから出力される複数の画像について、開始パケットを含む画像から、終了パケットを含む画像までの複数の画像を連結する制御を行う
　上記（１２）または（１３）に記載のデータ処理装置。
（１５）
　　フォトダイオードが受光した光の輝度変化であるイベントの発生を検出するイベント検出部と、
　　前記イベントの内容を示すイベントデータをペイロードデータの一部とし、前記イベントデータについて付加的に設けられる付加情報としてフレームに対して付加されるフレーム情報を、エンベデッドデータの一部としたフレーム構造で送信するデータ送信部と
　を有する画像センサと、
　　前記イベントデータと前記フレーム情報を受信するデータ受信部と、
　　前記フレーム情報を参照し、前記イベントに関連するデータ処理を行うイベント関連データ処理部と
　を有するデータ処理装置と
　を備える画像センサシステム。
（１６）
　前記画像センサと前記データ処理装置との間ではデータがシリアル変換されて伝送され、
　前記画像センサ側および前記データ処理装置側で、一の規格に従ったシリアル変換と、他の規格に従ったシリアル変換とが切り替え可能に構成されている
　上記（１５）に記載の画像センサシステム。
（１７）
　前記データ送信部は、前記イベントデータからなる画像に対して設定される領域に対応する領域情報を前記画像における行ごとに設定し、設定された前記領域情報と前記領域に対応する領域データとなる前記イベントデータとを、行ごとに送信し、
　前記データ受信部は、前記領域情報と前記領域データとなる前記イベントデータとを受信し、
　前記領域情報には、行の位置を示す情報、および行に含まれる前記領域の列の位置を示す情報が、含まれる
　上記（１５）または（１６）に記載の画像センサシステム。
（１８）
　前記データ処理装置は、
　　データバスに接続され、前記イベントデータを出力する複数の前記画像センサそれぞれから前記データバスを介して出力される前記イベントデータからなる画像に関する制御を行う処理部を備え、
　　前記処理部は、前記画像センサそれぞれにおける、フレームの開始パケットの出力制御および、前記画像センサそれぞれにおける、フレームの終了パケットの出力制御を行い、
　　前記画像センサそれぞれから出力される複数の画像について、開始パケットを含む画像から、終了パケットを含む画像までの複数の画像を連結する制御を行う
　上記（１５）から（１７）までのいずれかに記載の画像センサシステム。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１１　センサシステム，　１２　ＥＶＳ，　１３　データ処理装置，　１４　データバス，　２１　輝度検出部，　２２　イベント検出部，　２３　付加情報生成部，　２４　データ送信部，　２５　画素チップ，　２６　信号処理チップ，　２７　ＡＦＥチップ，　２８　ロジックチップ，　３１　データ受信部，　３２　イベント関連データ処理部，　４１　イベントアクセス部，　４２　イベントカウント部，　４３　イベント数解析部，　４４　イベント数周波数解析部，　４５　オプティカルフロー解析部，　４６　データ量計算部，　４７　フレーム生成部，　４８　SRAM，　４９　データ量計算部，　５０　データ圧縮部，　５１　注目度算出部，　５２　データ処理部

Claims (18)

  1. 　フォトダイオードが受光した光の輝度変化であるイベントの発生を検出するイベント検出部と、
    　前記イベントの内容を示すイベントデータをペイロードデータの一部とし、前記イベントデータについて付加的に設けられる付加情報としてフレームに対して付加されるフレーム情報を、エンベデッドデータの一部としたフレーム構造で送信するデータ送信部と
    　を備える画像センサ。
  2. 　前記フレーム情報の配置位置は、複数のラインで構成される前記イベントデータの先頭位置、前記イベントデータの最後尾位置、前記イベントデータの中間位置、または、前記イベントデータの先頭位置および最後尾位置である
    　請求項１に記載の画像センサ。
  3. 　前記データ送信部は、複数フレーム分の前記イベントデータをサブフレームとして連結し、１フレームとして送信する
    　請求項１に記載の画像センサ。
  4. 　前記付加情報は、前記イベントデータに関連するタイムスタンプもしくはフレーム数を含む
    　請求項１に記載の画像センサ。
  5. 　前記付加情報は、前記イベントデータに基づいて生成されたイベント検出閾値もしくはＲＯＩ（Region of Interest）情報を含む
    　請求項１に記載の画像センサ。
  6. 　前記付加情報は、前記イベントデータに基づいて生成されたフリッカ情報を含む
    　請求項１に記載の画像センサ。
  7. 　前記付加情報は、前記イベントデータに基づいて生成された被写体の移動有無もしくは移動方向を示す情報であるオプティカルフローを含む
    　請求項１に記載の画像センサ。
  8. 　前記付加情報は、前記フレームのデータ量を含む
    　請求項１に記載の画像センサ。
  9. 　前記イベント検出部がアービタ型である場合、
    　前記イベント検出部からイベントが発生したタイミングで出力される前記イベントデータを含む１フレーム分のフレームが生成される
    　請求項１に記載の画像センサ。
  10. 　前記データ送信部は、前記イベントデータからなる画像に対して設定される領域に対応する領域情報を前記画像における行ごとに設定し、設定された前記領域情報と前記領域に対応する領域データとなる前記イベントデータとを、行ごとに送信し、
    　前記領域情報には、行の位置を示す情報、および行に含まれる前記領域の列の位置を示す情報が、含まれる
    　請求項１に記載の画像センサ。
  11. 　前記フォトダイオードが受光した光の輝度を検出し、その輝度値を示す輝度信号を出力する輝度検出部と、
    　前記イベントデータに基づいて、前記イベントデータについて付加的に設けられる付加情報として前記フレーム情報を生成する付加情報生成部と
    　をさらに備え、
    　前記イベント検出部は、前記輝度信号が示す輝度値と所定の基準値との差分を求め、その差分がプラス側のイベント検出閾値またはマイナス側のイベント検出閾値を超えた場合に、前記イベントの発生を検出して、そのイベントの内容を示す前記イベントデータを出力する
    　請求項１に記載の画像センサ。
  12. 　フォトダイオードが受光した光の輝度変化であるイベントの内容を示すイベントデータをペイロードデータの一部とし、前記イベントデータについて付加的に設けられる付加情報としてフレームに対して付加されるフレーム情報を、エンベデッドデータの一部としたフレーム構造で受信するデータ受信部と、
    　前記フレーム情報を参照し、前記イベントに関連するデータ処理を行うイベント関連データ処理部と
    　を備えるデータ処理装置。
  13. 　前記データ受信部は、
    　　前記イベントデータからなる画像に対して設定される領域に対応して設定され、前記画像における行ごとに設定される領域情報と、
    　　前記領域に対応する領域データとなる前記イベントデータと
    　を受信し、
    　前記領域情報には、行の位置を示す情報、および行に含まれる前記領域の列の位置を示す情報が、含まれる
    　請求項１２に記載のデータ処理装置。
  14. 　データバスに接続され、前記イベントデータを出力する複数の画像センサそれぞれから前記データバスを介して出力される前記イベントデータからなる画像に関する制御を行う処理部を備え、
    　前記処理部は、前記画像センサそれぞれにおける、フレームの開始パケットの出力制御および、前記画像センサそれぞれにおける、フレームの終了パケットの出力制御を行い、　前記画像センサそれぞれから出力される複数の画像について、開始パケットを含む画像から、終了パケットを含む画像までの複数の画像を連結する制御を行う
    　請求項１２に記載のデータ処理装置。
  15. 　　フォトダイオードが受光した光の輝度変化であるイベントの発生を検出するイベント検出部と、
    　　前記イベントの内容を示すイベントデータをペイロードデータの一部とし、前記イベントデータについて付加的に設けられる付加情報としてフレームに対して付加されるフレーム情報を、エンベデッドデータの一部としたフレーム構造で送信するデータ送信部と
    　を有する画像センサと、
    　　前記イベントデータと前記フレーム情報を受信するデータ受信部と、
    　　前記フレーム情報を参照し、前記イベントに関連するデータ処理を行うイベント関連データ処理部と
    　を有するデータ処理装置と
    　を備える画像センサシステム。
  16. 　前記画像センサと前記データ処理装置との間ではデータがシリアル変換されて伝送され、
    　前記画像センサ側および前記データ処理装置側で、一の規格に従ったシリアル変換と、他の規格に従ったシリアル変換とが切り替え可能に構成されている
    　請求項１５に記載の画像センサシステム。
  17. 　前記データ送信部は、前記イベントデータからなる画像に対して設定される領域に対応する領域情報を前記画像における行ごとに設定し、設定された前記領域情報と前記領域に対応する領域データとなる前記イベントデータとを、行ごとに送信し、
    　前記データ受信部は、前記領域情報と前記領域データとなる前記イベントデータとを受信し、
    　前記領域情報には、行の位置を示す情報、および行に含まれる前記領域の列の位置を示す情報が、含まれる
    　請求項１５に記載の画像センサシステム。
  18. 　前記データ処理装置は、
    　　データバスに接続され、前記イベントデータを出力する複数の前記画像センサそれぞれから前記データバスを介して出力される前記イベントデータからなる画像に関する制御を行う処理部を備え、
    　　前記処理部は、前記画像センサそれぞれにおける、フレームの開始パケットの出力制御および、前記画像センサそれぞれにおける、フレームの終了パケットの出力制御を行い、
    　　前記画像センサそれぞれから出力される複数の画像について、開始パケットを含む画像から、終了パケットを含む画像までの複数の画像を連結する制御を行う
    　請求項１５に記載の画像センサシステム。
PCT/JP2022/037204 2021-10-08 2022-10-05 画像センサ、データ処理装置、および画像センサシステム WO2023058669A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-166417 2021-10-08
JP2021166417 2021-10-08

Publications (1)

Publication Number Publication Date
WO2023058669A1 true WO2023058669A1 (ja) 2023-04-13

Family

ID=85803459

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/037204 WO2023058669A1 (ja) 2021-10-08 2022-10-05 画像センサ、データ処理装置、および画像センサシステム

Country Status (1)

Country Link
WO (1) WO2023058669A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020067410A1 (ja) * 2018-09-28 2020-04-02 ソニーセミコンダクタソリューションズ株式会社 データ処理装置、データ処理方法、及び、プログラム
WO2020116185A1 (ja) * 2018-12-05 2020-06-11 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、信号処理チップ、および、電子機器
WO2020182591A1 (en) * 2019-03-08 2020-09-17 Osram Gmbh Component for a lidar sensor system, lidar sensor system, lidar sensor device, method for a lidar sensor system and method for a lidar sensor device
WO2020261491A1 (ja) * 2019-06-27 2020-12-30 株式会社ソニー・インタラクティブエンタテインメント センサ制御装置、センサ制御方法およびプログラム
JP2021044623A (ja) * 2019-09-06 2021-03-18 キヤノン株式会社 撮像装置及びその制御方法
WO2021111873A1 (ja) * 2019-12-02 2021-06-10 ソニーグループ株式会社 信号処理装置、信号処理方法、および検出センサ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020067410A1 (ja) * 2018-09-28 2020-04-02 ソニーセミコンダクタソリューションズ株式会社 データ処理装置、データ処理方法、及び、プログラム
WO2020116185A1 (ja) * 2018-12-05 2020-06-11 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、信号処理チップ、および、電子機器
WO2020182591A1 (en) * 2019-03-08 2020-09-17 Osram Gmbh Component for a lidar sensor system, lidar sensor system, lidar sensor device, method for a lidar sensor system and method for a lidar sensor device
WO2020261491A1 (ja) * 2019-06-27 2020-12-30 株式会社ソニー・インタラクティブエンタテインメント センサ制御装置、センサ制御方法およびプログラム
JP2021044623A (ja) * 2019-09-06 2021-03-18 キヤノン株式会社 撮像装置及びその制御方法
WO2021111873A1 (ja) * 2019-12-02 2021-06-10 ソニーグループ株式会社 信号処理装置、信号処理方法、および検出センサ

Similar Documents

Publication Publication Date Title
JP7105754B2 (ja) 撮像装置、及び、撮像装置の制御方法
US11050955B2 (en) Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus
US11509840B2 (en) Solid-state imaging device, signal processing chip, and electronic apparatus
US20200084398A1 (en) Systems and methods for a digital image sensor
WO2017221715A1 (ja) 撮像素子及び電子機器
WO2018198787A1 (ja) 固体撮像装置、および電子機器
WO2020059487A1 (ja) 固体撮像装置、及び電子機器
US11032470B2 (en) Sensors arrangement and shifting for multisensory super-resolution cameras in imaging environments
WO2023058670A1 (ja) 画像センサ、データ処理装置、および画像センサシステム
WO2023058669A1 (ja) 画像センサ、データ処理装置、および画像センサシステム
WO2023058671A1 (ja) 画像センサ、データ処理装置、および画像センサシステム
JP6805350B2 (ja) 撮像素子、撮像装置、および距離画像の取得方法
CN108476290B (zh) 用于提供全景图像的电子装置及其控制方法
WO2024209994A1 (ja) 画像センサ、データ処理装置、および画像センサシステム
WO2019017217A1 (ja) 固体撮像素子およびその制御方法、並びに電子機器
CN118044221A (zh) 图像传感器、数据处理装置和图像传感器系统
CN106233713B (zh) 固体摄像元件、摄像模块和电子设备
JP2020067534A (ja) 撮像装置
WO2024024464A1 (ja) 固体撮像素子、および電子機器
US20230224609A1 (en) Photoelectric conversion device
JP6764572B2 (ja) イメージセンサ、および電子機器
KR101421693B1 (ko) 차량용 비디오 카메라

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22878537

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22878537

Country of ref document: EP

Kind code of ref document: A1