WO2020246186A1 - 撮像システム - Google Patents

撮像システム Download PDF

Info

Publication number
WO2020246186A1
WO2020246186A1 PCT/JP2020/018338 JP2020018338W WO2020246186A1 WO 2020246186 A1 WO2020246186 A1 WO 2020246186A1 JP 2020018338 W JP2020018338 W JP 2020018338W WO 2020246186 A1 WO2020246186 A1 WO 2020246186A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
unit
control unit
event
pixel
Prior art date
Application number
PCT/JP2020/018338
Other languages
English (en)
French (fr)
Inventor
慶 中川
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to DE112020002709.0T priority Critical patent/DE112020002709T5/de
Priority to JP2021524717A priority patent/JPWO2020246186A1/ja
Priority to CN202080033329.1A priority patent/CN113785560A/zh
Priority to US17/613,555 priority patent/US11760267B2/en
Publication of WO2020246186A1 publication Critical patent/WO2020246186A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing

Definitions

  • This disclosure relates to an imaging system.
  • an asynchronous imaging device As one of the event-driven imaging devices, there is an asynchronous imaging device called DVS (Dynamic Vision Sensor).
  • the asynchronous type imaging device can detect as an event that the change in the brightness of the pixel that photoelectrically converts the incident light exceeds a predetermined threshold value. Therefore, this kind of asynchronous imaging device can be called an event detection sensor.
  • an event detection sensor is mounted on a vehicle and used as an event-based visual sensor for monitoring a traveling road surface (see, for example, Patent Document 1).
  • An object of the present disclosure is to provide an imaging system capable of detecting information in various wavelength bands as an event.
  • the imaging system of the present disclosure for achieving the above object is Event detection sensor that detects events, and Equipped with a control unit that controls event detection in the event detection sensor
  • the event detection sensor is provided with a color filter for each pixel.
  • the control unit controls event detection in a specific wavelength band based on the color filter.
  • FIG. 1 is a block diagram showing an example of a system configuration of an imaging system according to the first embodiment of the present disclosure.
  • FIG. 2A is a block diagram showing an example of the configuration of the motion recognition unit in the imaging system according to the first embodiment
  • FIG. 2B is a block diagram showing an example of the configuration of the object recognition unit in the imaging system according to the first embodiment. It is a figure.
  • FIG. 3 is a block diagram showing an example of the configuration of the event detection sensor in the imaging system according to the first embodiment.
  • FIG. 4 is a block diagram showing an example of the configuration of the pixel array unit in the event detection sensor.
  • FIG. 5 is a circuit diagram showing an example of a pixel circuit configuration in the event detection sensor.
  • FIG. 1 is a block diagram showing an example of a system configuration of an imaging system according to the first embodiment of the present disclosure.
  • FIG. 2A is a block diagram showing an example of the configuration of the motion recognition unit in the imaging system according to the first embodiment
  • FIG. 2B is
  • FIG. 6 is a block diagram showing an example of the circuit configuration of the event detection unit in the pixels of the event detection sensor.
  • FIG. 7 is a circuit diagram showing an example of the configuration of the current-voltage conversion unit in the event detection unit.
  • FIG. 8 is a circuit diagram showing an example of the configuration of the subtraction unit and the quantization unit in the event detection unit.
  • FIG. 9 is an exploded perspective view showing an outline of a stacked chip structure of an event detection sensor.
  • 10A and 10B are color filter arrangement diagrams showing various arrangement examples of color filters arranged in each pixel of the event detection sensor.
  • FIG. 11 is a circuit diagram showing an example of a circuit configuration of pixels shared by four pixels.
  • FIG. 12 is a flowchart showing a processing flow of the top-level concept according to the first embodiment.
  • FIG. 12 is a flowchart showing a processing flow of the top-level concept according to the first embodiment.
  • FIG. 13 is a flowchart showing a flow of processing for detecting the tail lamp according to the second embodiment.
  • FIG. 14 is a flowchart showing a flow of processing for vehicle recognition and tail lamp detection according to the third embodiment.
  • FIG. 15 is a flowchart showing a flow of processing for vehicle recognition and direction indicator detection according to the fourth embodiment.
  • FIG. 16 is a flowchart showing a flow of processing for vehicle recognition and direction indicator detection according to the fifth embodiment.
  • FIG. 17 is a flowchart showing a processing flow for traffic light recognition and red light detection according to the sixth embodiment.
  • FIG. 18 is a flowchart showing a processing flow for traffic light recognition and change detection from red signal to green signal according to the seventh embodiment.
  • FIG. 19 is a block diagram showing an example of the system configuration of the imaging system according to the second embodiment of the present disclosure.
  • FIG. 20 is a block diagram showing an outline of the configuration of a CMOS type image sensor which is an example of an image sensor in the imaging system according to the second embodiment.
  • FIG. 21 is a circuit diagram showing an example of a pixel circuit configuration in an image sensor.
  • FIG. 22 is a plan view showing an outline of the horizontal chip structure of the image sensor.
  • FIG. 23 is a plan view showing an outline of a laminated chip structure of an image sensor.
  • FIG. 24 is a flowchart showing a processing flow of the top-level concept according to the eighth embodiment.
  • FIG. 25 is a flowchart showing a flow of processing for vehicle recognition and tail lamp detection according to the ninth embodiment.
  • FIG. 20 is a block diagram showing an outline of the configuration of a CMOS type image sensor which is an example of an image sensor in the imaging system according to the second embodiment.
  • FIG. 21 is a
  • FIG. 26 is a flowchart showing a flow of processing for vehicle recognition and direction indicator detection according to the tenth embodiment.
  • FIG. 27 is a flowchart showing a processing flow for traffic light recognition and red light detection according to the eleventh embodiment.
  • FIG. 28 is a flowchart showing a processing flow for traffic light recognition and change detection from red signal to green signal according to the twelfth embodiment.
  • FIG. 29 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • FIG. 30 is a diagram showing an example of an installation position of an image pickup device in a mobile control system.
  • Example 1 Example of processing the top-level concept of the first embodiment
  • Example 2 Example of detecting a tail lamp
  • Example 3 Example of detecting a tail lamp after recognizing a car
  • Example 4 Modification of Example 3: Example of detecting relative velocity) 2-7.
  • Example 5 Example of detecting a direction indicator after recognizing a vehicle
  • Example 6 Example of detecting a red light after recognizing a traffic light 2-9.
  • Example 7 (Modification of Example 6: Example of detecting a change from a red light to a green light) 3. 3. Second Embodiment of the present disclosure 3-1. Configuration example of the imaging system according to the second embodiment 3-2. Configuration example of image sensor 3-2-1. Configuration example of CMOS type image sensor 3-2-2. Pixel configuration example 3-2-3. Configuration example of chip structure 3-2-3-1. Flat chip structure (so-called flat structure) 3-2-3-2. Laminated chip structure (so-called laminated structure) 3-3.
  • Example 8 (Example of processing the top-level concept of the second embodiment) 3-4.
  • Example 9 (Example of detecting a tail lamp after recognizing a car) 3-5.
  • Example 10 (Example of detecting a direction indicator after recognizing a vehicle) 3-6.
  • Example 11 (Example of detecting a red light after recognizing a traffic light) 3-7.
  • Example 12 (Modification of Example 11: Example of detecting a change from a red light to a green light) 4.
  • Modification example 5 Application example of the technology according to the present disclosure (example of mobile body) 6. Configuration that can be taken by this disclosure
  • the event detection sensor may be configured to include an asynchronous imaging device that detects as an event that the brightness change of the pixel that photoelectrically converts the incident light exceeds a predetermined threshold value. it can.
  • the imaging system of the present disclosure is preferably mounted on a moving body for use.
  • control unit may be configured to perform signal processing based on the object of interest when the object of interest is recognized based on the event detection by the event detection sensor. .. Further, the control unit may be configured to transmit a predetermined instruction signal to the control system of the moving body when the tail lamp of the vehicle traveling in front of the own vehicle is recognized as an object of interest.
  • the control unit recognizes the vehicle traveling in front of the own vehicle, and then uses the tail lamp of the vehicle traveling in front of the own vehicle as an object of interest. It can be configured to be recognized. Further, when the control unit recognizes the tail lamp as an object of interest, when the relative speed between the own vehicle and the vehicle traveling in front is equal to or higher than a predetermined threshold value, a predetermined instruction signal is sent to the control system of the moving body. It can be configured to transmit.
  • the control unit recognizes the vehicle traveling in front of the own vehicle and pays attention to the direction indicator of the vehicle traveling in front of the own vehicle.
  • it can be configured to transmit a predetermined instruction signal to the control system of the moving body.
  • the traffic light is red when the control unit recognizes the traffic light as an object of interest and detects a red light, or when the traffic light is in a red light state.
  • a predetermined instruction signal can be transmitted to the control system of the moving body.
  • the imaging system of the present disclosure including the above-mentioned preferable configuration can be configured to include an image sensor that captures images at a predetermined frame rate. Then, the control unit is configured to perform object recognition based on the image data of the image sensor, and then perform signal processing based on the object of interest when the object of interest is recognized based on the event detection by the event detection sensor. Can be done.
  • the control unit recognizes the vehicle traveling in front of the own vehicle, and then uses the tail lamp of the vehicle traveling in front of the own vehicle as an object of interest.
  • a predetermined value is given to the control system of the moving body. It can be configured to transmit an instruction signal.
  • a predetermined instruction signal is sent to the control system of the moving body. It can be configured to transmit, or when it is detected that the signal has changed from a red signal to a green signal while the signal is in a red light state, a predetermined instruction signal is transmitted to the control system of the moving body.
  • FIG. 1 is a block diagram showing an example of a system configuration of an imaging system according to the first embodiment of the present disclosure.
  • the imaging system 1A includes an event detection sensor 10, a motion recognition unit 30, an object recognition unit 40, a control unit 50, an operation pattern definition unit 60, and a recording unit 70. It also has an interface 80.
  • the imaging system 1A according to the first embodiment can be mounted on a moving body such as a vehicle and used.
  • a predetermined position of the vehicle for example, at least one position of the front nose, side mirror, rear bumper, back door of the vehicle, and the upper part of the windshield in the vehicle interior.
  • the image pickup system 1A will be arranged and used. Details of application examples of the technique according to the present disclosure (that is, the imaging system 1A according to the first embodiment) will be described later.
  • an asynchronous imaging device called DVS that detects as an event that the brightness change of the pixel that photoelectrically converts the incident light exceeds a predetermined detection threshold value can be used.
  • the asynchronous type imaging device is an imaging device that detects an event asynchronously with a vertical synchronization signal, as opposed to a synchronous imaging device that performs imaging in synchronization with a vertical synchronization signal. Details of the event detection sensor 10 including an asynchronous imaging device will be described later.
  • the DVS has been described here as an asynchronous imaging device, the event may be detected in synchronization with the vertical synchronization signal.
  • the motion recognition unit 30 recognizes (detects) the motion of the object based on the event signal (event data) indicating the occurrence of the event output from the event detection sensor 10.
  • An example of a specific configuration of the motion recognition unit 30 is shown in FIG. 2A.
  • the motion recognition unit 30 is composed of, for example, an event frame generation unit 31 and a motion detection unit 32.
  • the event frame generation unit 31 generates an event frame by framing how many events have occurred within a certain period of time based on the event signal output from the event detection sensor 10.
  • the motion detection unit 32 detects motion between the event frames framed by the event frame generation unit 31. It should be noted that the event frame generation unit 31 does not have to frame the event, that is, the motion recognition unit 30 may directly receive the event signal output asynchronously to detect the motion.
  • the object recognition unit 40 performs recognition processing of an object detected as an event based on the result of motion detection given by the motion recognition unit 30.
  • An example of a specific configuration of the object recognition unit 40 is shown in FIG. 2B.
  • the object recognition unit 40 is composed of, for example, an ROI extraction unit 41 and a recognition processing unit 42.
  • the ROI extraction unit 41 extracts a specific region for performing object recognition, that is, extracts the ROI (Region Of Interest: region of interest).
  • the recognition processing unit 42 performs object recognition processing based on the data of the region extracted by the ROI extraction unit 41.
  • image recognition is performed by comparing a pattern recognition technique by machine learning such as a neural network, for example, a feature point of an image given as teacher data with a feature point of a captured subject image. Can be used.
  • the control unit 50 is configured by, for example, a processor (CPU), and controls the event detection sensor 10, specifically, the resolution of the event detection sensor 10 based on the information given from the operation pattern definition unit 60.
  • Various information such as vehicle speed is given to the control unit 50 from the vehicle control system 12000 (see FIG. 29), which is an example of the mobile control system to which the technique according to the present disclosure described later can be applied, via the interface 80. Be done. The details of controlling the resolution of the event detection sensor 10 will be described later.
  • the operation pattern definition unit 60 uses the motion recognition result given by the motion recognition unit 30 and the object recognition result given by the object recognition unit 40 to use the vehicle as an example of a moving body. Detects the running state of, for example, the state of traffic congestion, the running state of an expressway, and the like.
  • the information output from the operation pattern definition unit 60 is given to the control unit 50 as information for controlling the resolution of the event detection sensor 10, and is stored in the storage unit 70 as needed. Further, the information output from the operation pattern definition unit 60 is supplied to the vehicle control system 12000 (see FIG. 29) via the interface 80.
  • the event detection sensor 10 and the control unit 50 are provided to configure the imaging device of the present disclosure.
  • the control unit 50 controls to switch the resolution of the event detection sensor 10 according to the traveling state of the vehicle as an example of the moving body.
  • the vehicle control system 12000 may be configured to have the functions of the operation pattern definition unit 60 and the recording unit 70.
  • FIG. 3 is a block diagram showing an example of the configuration of the event detection sensor 10 in the imaging system 1 of the present disclosure having the above configuration.
  • the event detection sensor 10 has a pixel array unit 12 in which a plurality of pixels 11 are two-dimensionally arranged in a matrix (array).
  • Each of the plurality of pixels 11 generates an analog signal having a voltage corresponding to the photocurrent as an electric signal generated by the photoelectric conversion as a pixel signal.
  • each of the plurality of pixels 11 detects the presence or absence of an event depending on whether or not a change exceeding a predetermined threshold value has occurred in the photocurrent corresponding to the brightness of the incident light. In other words, each of the plurality of pixels 11 detects that the change in luminance exceeds a predetermined threshold value as an event.
  • the event detection sensor 10 includes a drive unit 13, an arbiter unit (arbitration unit) 14, a column processing unit 15, and a signal processing unit 16 as peripheral circuit units of the pixel array unit 12. There is.
  • each of the plurality of pixels 11 When an event is detected, each of the plurality of pixels 11 outputs a request for outputting event data indicating the occurrence of the event to the arbiter unit 14. Then, when each of the plurality of pixels 11 receives a response indicating permission for output of the event data from the arbiter unit 14, the event data is output to the drive unit 13 and the signal processing unit 16. Further, the pixel 11 that has detected the event outputs an analog pixel signal generated by photoelectric conversion to the column processing unit 15.
  • the drive unit 13 drives each pixel 11 of the pixel array unit 12. For example, the drive unit 13 drives the pixel 11 that detects the event and outputs the event data, and outputs the analog pixel signal of the pixel 11 to the column processing unit 15.
  • the arbiter unit 14 arbitrates a request for output of event data supplied from each of the plurality of pixels 11, responds based on the arbitration result (permission / disapproval of output of event data), and detects an event.
  • a reset signal to be reset is transmitted to the pixel 11.
  • the column processing unit 15 has, for example, an analog-to-digital conversion unit composed of a set of analog-to-digital converters provided for each pixel row of the pixel array unit 12.
  • an analog-to-digital converter for example, a single-slope type analog-to-digital converter can be exemplified.
  • the column processing unit 15 performs a process of converting an analog pixel signal output from the pixel 11 of the pixel array unit 12 into a digital signal for each pixel array of the pixel array unit 12.
  • the column processing unit 15 can also perform CDS (Correlated Double Sampling) processing on the digitized pixel signal.
  • the signal processing unit 16 executes predetermined signal processing on the digitized pixel signal supplied from the column processing unit 15 and the event data output from the pixel array unit 12, and the event data after signal processing and the event data Output a pixel signal.
  • the change in the photocurrent generated by the pixel 11 can also be regarded as the change in the amount of light (change in brightness) of the light incident on the pixel 11. Therefore, it can be said that the event is a change in the amount of light (change in brightness) of the pixel 11 that exceeds a predetermined threshold value.
  • the event data representing the occurrence of the event includes at least position information such as coordinates representing the position of the pixel 11 in which the change in the amount of light as an event has occurred. In addition to the position information, the event data can include the polarity of the light intensity change.
  • the event data shall be the relative time when the event occurred. It can be said that the time information to be represented is implicitly included. However, if the interval between the event data is not maintained as it was when the event occurred due to the event data being stored in the memory or the like, the time information implicitly included in the event data is lost. Therefore, the signal processing unit 16 includes time information such as a time stamp, which represents a relative time when the event has occurred, in the event data before the interval between the event data is not maintained as it was when the event occurred.
  • FIG. 4 is a block diagram showing an example of the configuration of the pixel array unit 12 in the event detection sensor 10.
  • each of the plurality of pixels 11 has a light receiving unit 61, a pixel signal generation unit 62, and an event detection unit 63. There is.
  • the light receiving unit 61 photoelectrically converts the incident light to generate a photocurrent. Then, the light receiving unit 61 has a voltage corresponding to the photocurrent generated by photoelectric conversion of the incident light into either the pixel signal generation unit 62 or the event detection unit 63 under the control of the drive unit 13 (see FIG. 3). Supply a signal.
  • the pixel signal generation unit 62 generates a signal having a voltage corresponding to the photocurrent supplied from the light receiving unit 61 as an analog pixel signal SIG. Then, the pixel signal generation unit 62 supplies the generated analog pixel signal SIG to the column processing unit 15 (see FIG. 3) via the vertical signal line VSL wired for each pixel row of the pixel array unit 12.
  • the event detection unit 63 detects the presence or absence of an event depending on whether or not the amount of change in the photocurrent from each of the light receiving units 61 exceeds a predetermined threshold value.
  • the event comprises, for example, an on-event indicating that the amount of change in the photocurrent exceeds the upper limit threshold, and an off-event indicating that the amount of change has fallen below the lower limit threshold.
  • the event data indicating the occurrence of an event is composed of, for example, one bit indicating an on-event detection result and one bit indicating an off-event detection result.
  • the event detection unit 63 may be configured to detect only on-events.
  • the event detection unit 63 When an event occurs, the event detection unit 63 outputs a request for outputting event data indicating the occurrence of the event to the arbiter unit 14 (see FIG. 3). Then, when the event detection unit 63 receives the response to the request from the arbiter unit 14, the event detection unit 63 outputs the event data to the drive unit 13 and the signal processing unit 16.
  • FIG. 5 is a circuit diagram showing an example of the circuit configuration of the pixel 11 of the pixel array unit 12 in the event detection sensor 10.
  • each of the plurality of pixels 11 has a light receiving unit 61, a pixel signal generation unit 62, and an event detection unit 63.
  • the light receiving unit 61 has a light receiving element (photoelectric conversion element) 611, a transfer transistor 612, and a transfer transistor 613.
  • a light receiving element photoelectric conversion element
  • a transfer transistor 612 for example, an N-type MOS (Metal Oxide Semiconductor) transistor can be used.
  • the transfer transistor 612 and the transfer transistor 613 are connected in series with each other.
  • the light receiving element 611 is connected between the common connection node N 1 of the transfer transistor 612 and the transfer transistor 613 and the ground, and photoelectrically converts the incident light to generate a charge amount corresponding to the light amount of the incident light. To do.
  • the transfer signal TRG is supplied from the drive unit 13 shown in FIG. 3 to the gate electrode of the transfer transistor 612.
  • the transfer transistor 612 is turned on in response to the transfer signal TRG, so that the electric signal generated by photoelectric conversion by the light receiving element 611 is supplied to the pixel signal generation unit 62.
  • a control signal OFG is supplied from the drive unit 13 to the gate electrode of the transfer transistor 613.
  • the transfer transistor 613 is turned on in response to the control signal OFG, so that the electric signal generated by photoelectric conversion by the light receiving element 611 is supplied to the event detection unit 63.
  • the electric signal supplied to the event detection unit 63 is a photocurrent composed of electric charges.
  • the pixel signal generation unit 62 has a configuration including a reset transistor 621, an amplification transistor 622, a selection transistor 623, and a floating diffusion layer 624.
  • a reset transistor 621 for example, an N-type MOS transistor can be used.
  • the electric charge converted photoelectric by the light receiving element 611 of the light receiving unit 61 is supplied to the pixel signal generation unit 62 by the transfer transistor 612.
  • the charge supplied from the light receiving unit 61 is accumulated in the floating diffusion layer 624.
  • the floating diffusion layer 624 generates a voltage signal having a voltage value corresponding to the amount of the accumulated electric charge. That is, the floating diffusion layer 624 is a charge-voltage conversion unit that converts electric charge into voltage.
  • the reset transistor 621 is connected between the power supply line of the power supply voltage V DD and the floating diffusion layer 624.
  • a reset signal RST is supplied from the drive unit 13 to the gate electrode of the reset transistor 621.
  • the reset transistor 621 is turned on in response to the reset signal RST to initialize (reset) the floating diffusion layer 624.
  • the amplification transistor 622 is connected in series with the selection transistor 623 between the power supply line of the power supply voltage V DD and the vertical signal line VSL.
  • the amplification transistor 622 amplifies the charge-voltage-converted voltage signal in the floating diffusion layer 624.
  • the selection signal SEL is supplied from the drive unit 13 to the gate electrode of the selection transistor 623.
  • the selection transistor 623 is turned on in response to the selection signal SEL, so that the voltage signal amplified by the amplification transistor 622 is used as an analog pixel signal SIG via the vertical signal line VSL to the column processing unit 15 (FIG. 3). See).
  • the drive unit 13 is instructed by the control unit 50 shown in FIG. 1 to start event detection. Then, when the start of event detection is instructed, the drive unit 13 drives the transfer transistor 613 by supplying the control signal OFG to the transfer transistor 613 of the light receiving unit 61, and the electric charge generated by the light receiving element 611 is used. The corresponding light current is supplied to the event detection unit 63.
  • the drive unit 13 turns off the transfer transistor 613 of the pixel 11 and stops the supply of the photocurrent to the event detection unit 63.
  • the drive unit 13 drives the transfer transistor 612 by supplying the transfer signal TRG to the transfer transistor 612, and transfers the charge photoelectrically converted by the light receiving element 611 to the floating diffusion layer 624.
  • the power consumption of the event detection sensor 10 and the amount of image processing can be reduced as compared with the case where the pixel signals of all pixels are output regardless of the presence or absence of an event.
  • the configuration of the pixel 11 illustrated here is an example, and is not limited to this configuration example.
  • a pixel configuration that does not include the pixel signal generation unit 62 may be used.
  • the transfer transistor 612 may be omitted in the light receiving unit 61.
  • the column processing unit 15 of FIG. 3 can be configured not to have an analog-to-digital conversion function. By adopting a pixel configuration that does not output a pixel signal, the scale of the event detection sensor 10 can be suppressed.
  • FIG. 6 is a block diagram showing an example of the circuit configuration of the event detection unit 63 in the pixel 11 of the event detection sensor 10.
  • the event detection unit 63 has a configuration including a current-voltage conversion unit 631, a buffer 632, a subtraction unit 633, a quantization unit 634, and a transfer unit 635.
  • the current-voltage conversion unit 631 converts the photocurrent supplied from the light-receiving unit 63 of the pixel 11 into a voltage signal (hereinafter, may be referred to as “optical voltage”) that is the logarithm of the photocurrent, and converts it into the buffer 632. Supply.
  • the buffer 632 buffers the optical voltage supplied from the current-voltage conversion unit 631 and supplies it to the subtraction unit 633.
  • the subtraction unit 633 calculates the difference between the current optical voltage and the optical voltage that differs from the present for a minute time, and supplies the difference signal corresponding to the difference to the quantization unit 634.
  • the quantization unit 634 quantizes the difference signal supplied from the subtraction unit 633 into a digital signal, and supplies the digital value of the difference signal to the transfer unit 635.
  • the transfer unit 635 supplies a request for transmission of event data to the arbiter unit 14. Then, when the transfer unit 635 receives the response to the request, that is, the response to allow the output of the event data from the arbiter unit 14, the event data is in accordance with the digital value of the difference signal supplied from the quantization unit 634. Is supplied to the drive unit 13 and the signal processing unit 16.
  • FIG. 7 is a circuit diagram showing an example of the configuration of the current-voltage conversion unit 631 in the event detection unit 63.
  • the current-voltage conversion unit 631 has a circuit configuration including a transistor 6311, a transistor 6312, and a transistor 6313.
  • An N-type MOS transistor can be used as the transistor 6311 and the transistor 6313, and a P-type MOS transistor can be used as the transistor 6312.
  • the transistor 6311 is connected between the power supply line of the power supply voltage V DD and the signal input line 6314.
  • the transistor 6312 and the transistor 6313 are connected in series between the power supply line of the power supply voltage V DD and the ground.
  • the gate electrode of the transistor 6311 and the input terminal of the buffer 632 shown in FIG. 6 are connected to the common connection node N 2 of the transistor 6312 and the transistor 6313.
  • a predetermined bias voltage V bias is applied to the gate electrode of the transistor 6312.
  • the transistor 6312 supplies a constant current to the transistor 6313.
  • a photocurrent is input from the light receiving unit 61 to the gate electrode of the transistor 6313 through the signal input line 6314.
  • the drain electrode of the transistor 6311 is connected to the power supply line of the power supply voltage V DD , and has a source follower configuration.
  • the gate electrode of transistor 6313 is connected to the source electrode of transistor 6311. Then, the light current from the light receiving unit 61 is converted into an optical voltage corresponding to the logarithm of the photocurrent by the transistor 6311 and the transistor 6313 having a source follower configuration.
  • FIG. 8 is a circuit diagram showing an example of the configuration of the subtraction unit 633 and the quantization unit 634 in the event detection unit 63.
  • the subtraction unit 633 has a configuration including a capacitance element 6331, an operational amplifier 6332, a capacitance element 6333, and a switch element 6334.
  • One end of the capacitance element 6331 is connected to the output terminal of the buffer 632 shown in FIG. 6, and the other end of the capacitance element 6331 is connected to the input terminal of the operational amplifier 6332.
  • the optical voltage supplied from the buffer 632 is input to the input terminal of the operational amplifier 6332 via the capacitive element 6331.
  • the capacitance element 6333 is connected in parallel to the operational amplifier 6332.
  • the switch element 6334 is connected between both ends of the capacitance element 6333.
  • a reset signal is supplied to the switch element 6334 from the arbiter unit 14 shown in FIG. 3 as a control signal for opening and closing the switch element 6334.
  • the switch element 6334 opens and closes a path connecting both ends of the capacitance element 6333 in response to a reset signal.
  • the subtraction unit 633 subtraction of the optical voltage V init and photovoltage V after, i.e., corresponding to the difference between the optical voltage V init and photovoltage V after (V init -V after)
  • the difference signal V out is calculated.
  • the subtraction gain of the subtraction unit 633 is C 1 / C 2 .
  • the capacitance value C 1 of the capacitance element 6331 it is preferable to design the capacitance value C 1 of the capacitance element 6331 to be large and the capacitance value C 2 of the capacitance element 6333 to be small.
  • the capacitance value C 2 of the capacitance element 6333 is too small, kTC noise may increase and the noise characteristics may deteriorate. Therefore, the capacitance reduction of the capacitance value C 2 of the capacitance element 6333 may allow noise. Limited to the range that can be done. Further, since the event detection unit 63 including the subtraction unit 633 is mounted on each pixel 11, the capacitance element 6331 and the capacitance element 6333 have restrictions on the area. Considering these, the capacitance value C 2 of the capacitance value C 1 and the capacitor 6333 of the capacitor 6331 is determined.
  • the quantization unit 634 has a configuration including a comparator 6341.
  • the comparator 6341 uses the difference signal from the subtraction unit 633 (that is, the output signal of the operational amplifier 6332) as a non-inverting (+) input, and the predetermined threshold voltage V th as an inverting ( ⁇ ) input. Then, the comparator 6341 compares the difference signal V out from the subtraction unit 633 with the predetermined threshold voltage V th, and sets the high level or the low level representing the comparison result as the quantized value of the difference signal V out . Output to the transfer unit 635 shown in 6.
  • the transfer unit 635 recognizes that a light amount change (luminance change) as an event has occurred from the quantization value of the difference signal V out from the quantization unit 634, that is, the difference signal V out has a predetermined threshold voltage V.
  • the threshold voltage V th is a threshold for detecting an event based on a change in the amount of light (change in brightness) of the pixel 11.
  • the signal processing unit 16 includes the event data supplied from the transfer unit 635, the position information of the pixel 11 that has detected the event represented by the event data, the time information indicating the time when the event occurred, and further, if necessary. Then, the polarity information of the change in the amount of light as an event is included and output.
  • the data format of the event data including the position information of the pixel 11 that detected the event, the time information indicating the time when the event occurred, and the polarity information of the change in the amount of light as the event is called, for example, AER (Address Event Representation).
  • AER Address Event Representation
  • the pixel 11 can receive arbitrary light as incident light by providing an optical filter such as a color filter that transmits a predetermined light.
  • the event data represents the occurrence of a change in the pixel value in an image in which a visible subject appears.
  • the event data represents the occurrence of a change in the distance to the subject.
  • the event data represents the occurrence of a change in the temperature of the subject.
  • the pixel 11 receives visible light as incident light.
  • FIG. 9 is an exploded perspective view showing an outline of a laminated chip structure of the event detection sensor 10.
  • the laminated chip structure is a structure in which at least two chips of the light receiving chip 101, which is the first chip, and the detection chip 102, which is the second chip, are laminated. It has become. Then, in the circuit configuration of the pixel 11 shown in FIG. 5, each of the light receiving elements 611 is arranged on the light receiving chip 101, and all the elements other than the light receiving element 611, the elements of the other circuit parts of the pixel 11 and the like are detected chips. It is placed on 102.
  • the light receiving chip 101 and the detection chip 102 are electrically connected via a connecting portion such as a via (VIA), a Cu—Cu junction, or a bump.
  • each element of the light receiving unit 61 is arranged on the light receiving chip 101, and elements other than the light receiving unit 61, elements of other circuit parts of the pixel 11 and the like are arranged on the detection chip 102. It can be configured to be. Further, each element of the light receiving unit 61, the reset transistor 621 of the pixel signal generation unit 62, and the floating diffusion layer 624 can be arranged on the light receiving chip 101, and the other elements can be arranged on the detection chip 102. .. Further, a part of the elements constituting the event detection unit 63 can be arranged on the light receiving chip 101 together with the elements of the light receiving unit 61 and the like.
  • the event detection sensor 10 is provided with a color filter as an example of the wavelength selection element for each pixel 11, and the threshold value is detected in each pixel 11 to detect an event for each color. Enables detection. Then, the motion recognition unit 30 shown in FIG. 1 detects the motion of the object whose event is detected for each color. As a result, the event signal for each color in each wavelength band can be used for lighting (blinking) of car brake lamps and tail lamps, blinking of direction indicators, color change of traffic lights, detection (detection) of lightning signs, etc. Can be done.
  • 2 ⁇ 2 pixels is an example of a pixel group that is a unit of an array of color filters, and is not limited to 2 ⁇ 2 pixels.
  • the color filter array is an RCCC filter that combines R (red) pixels and C (clear) pixels, as shown in FIG. 10A, and R pixels and C pixels.
  • examples include an RCCB filter in which B (blue) pixels are combined, and an RGB Bayer array filter in which R pixels, G (green), and B pixels are combined.
  • the C (clear) pixel is a pixel that is not provided with a color filter or is provided with a transparent filter, and is the same pixel as the W (white) pixel.
  • the RCCC filter which is a combination of R (red) pixels and C (clear) pixels, can be used for distant obstacles even in low light equivalent to moonlight nights. It is possible to realize high sensitivity that can image people and the like. Further, the RCCC filter can improve the detection accuracy of light in the red wavelength band (for example, the red signal of a tail lamp or a traffic light), which is important for in-vehicle sensing or the like.
  • the RCGB filter in which the R pixel, the C (clear) pixel, the G pixel, and the B pixel shown in FIG. 10B are combined, and the R pixel.
  • RIR (infrared light) GB filter that combines pixels, IR (infrared light) pixels, G pixels, and B pixels, G pixels, Mg (magenta) pixels, Cy (cyan) pixels , And a GMgCyYe filter in which Ye (yellow) pixels are combined can be exemplified.
  • the arrangement of the color filters is not limited to the arrangements exemplified in FIGS. 10A and 10B.
  • circuit configuration of the pixel 11 will be described by taking the case where the color filter arrangement is an RGB Bayer arrangement as an example. Basically, as shown in FIG. 5, a pixel signal generation unit 62 and an event detection unit 63 are provided for each light receiving unit 61 for each pixel 11, but a circuit configuration example shown below is provided. As described above, for example, the circuit configuration may be such that the pixel signal generation unit 62 and the event detection unit 63 are shared among the four light receiving units 61 in units of four pixels of 2 ⁇ 2 pixels.
  • FIG. 11 is a circuit diagram showing an example of a circuit configuration of pixels shared by 4 pixels.
  • FIG. 11 illustrates a circuit configuration example of a pixel block PB having 4 pixels of 2 ⁇ 2 pixels as a unit.
  • the pixel block PB includes, for example, a light receiving unit 61, a pixel signal generation unit 62, an event detection unit 63, and a logic circuit 64.
  • the logic circuit 64 includes a drive unit 13 in FIG. 3, a signal processing unit 16, and an arbiter unit 14.
  • the light receiving unit 61 shared by 4 pixels includes a light receiving element 611R having a red (R) color filter, a light receiving element 611G having a green (Gr) color filter, and green (Gb). It has a light receiving element 611Gb including the above color filter and a light receiving element 611B including a blue (B) color filter.
  • the light receiving unit 61 further refers to the four transfer transistors 612R, 612Gr, 612Gb, 612B provided for each of the four light receiving elements 611R, 611Gr, 611Gb, 611B, and the four light receiving elements 611R, 611Gr, 611Gb, 611B. It has a transfer transistor 613 provided in common.
  • the transfer signal TRG R from the driving unit 13 of the logic circuit 64, TRG Gr, TRG Gb, the TRG B is supplied.
  • a control signal OFG is supplied from the drive unit 13 to the gate electrode of the transfer transistor 613.
  • the signals output from the light receiving elements 611R, 611Gr, 611Gb, 611B via the transfer transistors 612R, 612Gr, 612Gb, 612B are integrated at the node N 61 .
  • the node N 61 is connected to the output terminal of the pixel signal generation unit 62 and is connected to the input terminal of the event detection unit 63 via the transfer transistor 613.
  • the event detection sensor 10 can not only detect the event but also acquire an image.
  • the pixel signal generation unit 62 and the event detection unit 63 are shared among the four light receiving units 61 in units of four pixels of 2 ⁇ 2 pixels, pixel sharing is performed. It is possible to reduce the circuit scale of the pixel 11 as compared with the case where it is not taken.
  • the first embodiment is an example of processing the top-level concept of the first embodiment.
  • the flow chart of FIG. 12 shows the processing flow of the top-level concept according to the first embodiment.
  • control unit 50 detects an event in a specific wavelength band based on the signal of the pixel 11 provided with the filter in the specific wavelength band (step). S11) Then, the motion recognition unit 30 shown in FIG. 1 detects the motion of the object detected as an event (step S12).
  • control unit 50 extracts a specific region ROI for performing object recognition at the location where the motion is detected in the ROI extraction unit 41 shown in FIG. 2 (step S13), and then the recognition shown in FIG. In the processing unit 42, object recognition is performed on the extracted ROI portion (step S14).
  • control unit 50 determines whether or not the object is recognized as a noteworthy object by object recognition (step S15), and if it is not recognized as a noteworthy object (No in S15), the control unit 50 proceeds to step S11. Return.
  • the control unit 50 recognizes the object as a noteworthy object (Yes in S15)
  • the control unit 50 executes a predetermined signal process based on the noteworthy object (step S16), and performs a series of processes of the top-level concept according to the first embodiment. To finish.
  • the event is detected in a specific wavelength band
  • the motion of the event-detected object is detected, and when the object is recognized as a noteworthy object, a predetermined signal processing based on the object is performed. ..
  • information in various wavelength bands can be detected as an event. Specifically, while the vehicle is driving, the driver's eyes see the brake lamp and tail lamp of the vehicle traveling in front of the vehicle lighting (blinking), the direction indicator blinking, the color change of the traffic light, and the lightning. Information on various wavelength bands such as signs jumps in, and the imaging system 1A can detect and determine the information in the same manner as the driver.
  • the "predetermined signal processing" is, for example, a process of transmitting command signals for various automatic controls to, for example, the drive system control unit 12010 of the vehicle control system 12000 shown in FIG. 29.
  • the vehicle control system 12000 receives a command signal from the event detection sensor 10, it automatically performs various controls such as applying a brake by automatic control and displaying an alert to call attention to the driver. It will be.
  • the second embodiment is an example of detecting the tail lamp of a vehicle traveling in front of the own vehicle.
  • the flow chart of FIG. 13 shows the flow of processing for detecting the tail lamp according to the second embodiment.
  • the RCCC filter shown in FIG. 10A is used as the color filter provided for each pixel 11 in the event detection sensor 10.
  • red (R) is a specific wavelength band. The same applies to the examples described later.
  • the control unit 50 detects an event in the red wavelength band (step S21), and then the motion recognition unit 30 detects an object as an event. Motion detection (step S22). Next, the control unit 50 extracts the ROI at the place where the motion is detected in the ROI extraction unit 41 (step S23), and then the recognition processing unit 42 performs object recognition in the extracted ROI part (step). S24).
  • control unit 50 determines by object recognition whether or not it is recognized as a tail lamp of a vehicle traveling in front of the own vehicle (step S25), and if it is not recognized as a tail lamp (No in S25), Return to step S21.
  • the control unit 50 recognizes it as a tail lamp (Yes in S25)
  • the control unit 50 sends an instruction signal such as brake control or alert display to the drive system control of the vehicle control system 12000 shown in FIG. 29 via the interface 80 shown in FIG. Transmission to unit 12010 (step S26).
  • an instruction signal such as brake control or alert display
  • the drive system control unit 12010 of the vehicle control system 12000 When the drive system control unit 12010 of the vehicle control system 12000 receives an instruction signal such as brake control or alert display from the imaging system 1A according to the first embodiment, the drive system control unit 12010 automatically controls the brake or displays an alert to drive the vehicle. Controls such as calling attention to a person will be performed.
  • the front of the own vehicle is recognized. It is judged that the distance between the vehicle and the other vehicle traveling on the vehicle is close to the extent that the tail lamp of the other vehicle can be recognized.
  • instruction signals such as brake control and alert display are transmitted to the drive system control unit 12010 of the vehicle control system 12000.
  • the vehicle control system 12000 can perform control such as braking by automatic control and alerting the driver by displaying an alert, which can contribute to safe driving. Become.
  • the tail lamp is recognized as a tail lamp by object recognition during the tail lamp recognition process, but the flicker of the tail lamp may be detected and used as information for object recognition (object detection).
  • the third embodiment is an example in which the tail lamp is detected after recognizing the vehicle traveling in front of the own vehicle.
  • the flow chart of FIG. 14 shows the flow of processing for vehicle recognition and tail lamp detection according to the third embodiment.
  • the control unit 50 detects an event in all wavelength bands (step S31), and then the motion recognition unit 30 detects an object as an event. Motion detection is performed (step S32). Next, the control unit 50 extracts the ROI at the place where the motion is detected in the ROI extraction unit 41 (step S33), and then the recognition processing unit 42 performs object recognition in the extracted ROI part (step). S34).
  • control unit 50 determines by object recognition whether or not it is recognized as a vehicle traveling in front (step S35), and if it is not recognized as a vehicle (No in S35), returns to step S31.
  • the control unit 50 recognizes the vehicle as a vehicle (Yes in S35)
  • the control unit 50 extracts a red event signal area in the area recognized as a vehicle (step S36).
  • control unit 50 determines whether or not the object is recognized as a tail lamp by the object recognition in the recognition processing unit 42 (step S37), and if it is not recognized as a tail lamp (No in S37), returns to step S36. ..
  • the control unit 50 recognizes it as a tail lamp (Yes in S37)
  • the control unit 50 transmits an instruction signal such as brake control or alert display to the drive system control unit 12010 of the vehicle control system 12000 shown in FIG. 29 via the interface 80. (Step S38). Then, a series of processes for vehicle recognition and tail lamp detection according to the third embodiment are completed.
  • the drive system control unit 12010 of the vehicle control system 12000 When the drive system control unit 12010 of the vehicle control system 12000 receives an instruction signal such as brake control or alert display from the imaging system 1A according to the first embodiment, the drive system control unit 12010 automatically controls the brake or displays an alert to drive the vehicle. Controls such as calling attention to a person will be performed.
  • the event is detected in all wavelength bands, the motion of the detected object is detected, the vehicle traveling in front of the own vehicle is recognized, and then the tail lamp recognition process is performed. ..
  • the recognition accuracy of the tail lamp can be improved as compared with the case of the second embodiment in which the tail lamp of the vehicle traveling in front of the own vehicle is directly recognized.
  • the tail lamp is recognized as a tail lamp by object recognition during the tail lamp recognition process, but the flicker of the tail lamp may be detected and used as information for object recognition (object detection).
  • the fourth embodiment is a modification of the third embodiment, and is an example of detecting the relative speed between the own vehicle and another vehicle (a vehicle traveling in front of the own vehicle) when the tail lamp is recognized.
  • the flow chart of FIG. 15 shows the flow of processing for vehicle recognition and tail lamp detection according to the fourth embodiment.
  • steps S41 and S42 are inserted between steps S37 and S38 in the flowchart of the third embodiment shown in FIG.
  • the control unit 50 recognizes the tail lamp in step S37 (Yes in S37)
  • the control unit 50 detects / calculates the relative speed between the own vehicle and another vehicle (the vehicle traveling in front of the own vehicle) (step S41), and then the relative speed. It is determined whether or not the speed is equal to or higher than a predetermined threshold value (relative velocity) (step S42).
  • the control unit 50 returns to step S41 when the relative speed is less than the predetermined threshold value (No in S42), and brake control or alert display when the relative speed is equal to or higher than the predetermined threshold value (Yes in S42). Etc. are transmitted to the drive system control unit 12010 of the vehicle control system 12000 shown in FIG. 29 via the interface 80 (step S38). Then, a series of processes for vehicle recognition and tail lamp detection according to the fourth embodiment are completed.
  • the relative speed between the own vehicle and the other vehicle is detected / calculated, and the relative speed is predetermined. If it is equal to or higher than the threshold value (relative velocity), it is determined that the own vehicle may suddenly approach the vehicle traveling in front. As a result, it is possible to contribute to safer driving than in the case of the third embodiment in which the relative speed is not detected.
  • the fifth embodiment is an example of detecting a direction indicator (winker) after recognizing a vehicle traveling in front of the own vehicle.
  • the flow chart of FIG. 16 shows the flow of processing for vehicle recognition and direction indicator detection according to the fifth embodiment.
  • the control unit 50 detects an event in all wavelength bands (step S51), and then the motion recognition unit 30 detects an object as an event. Motion detection is performed (step S52). Next, the control unit 50 extracts the ROI at the place where the motion is detected in the ROI extraction unit 41 (step S53), and then the recognition processing unit 42 performs object recognition in the extracted ROI part (step). S54).
  • control unit 50 determines by object recognition whether or not it is recognized as a vehicle traveling in front (step S55), and if it is not recognized as a vehicle (No in S55), returns to step S51.
  • the control unit 50 recognizes the vehicle as a vehicle (Yes in S55)
  • the control unit 50 extracts a yellow or red event signal area in the area recognized as a vehicle (step S56).
  • control unit 50 determines whether or not the object is recognized as a direction indicator by the object recognition in the recognition processing unit 42 (step S57), and if it is not recognized as a direction indicator (No in S57), Return to step S56.
  • the control unit 50 recognizes the vehicle as a direction indicator (Yes in S57)
  • the control unit 50 transmits an instruction signal for controlling the own vehicle according to the instruction content of the direction indicator via the interface 80 to control the vehicle shown in FIG. 29. Transmission is performed to the drive system control unit 12010 of the system 12000 (step S58). Then, a series of processes for vehicle recognition and direction indicator detection according to the fifth embodiment are completed.
  • the event is detected in all wavelength bands and the motion of the detected object is detected, the vehicle traveling in front of the own vehicle is recognized, and then the inside of the recognized vehicle area is detected.
  • the direction indicator recognition process is performed. Then, an instruction signal for controlling the own vehicle according to the instruction content (right turn, left turn, hazard) of the direction indicator is transmitted to the drive system control unit 12010 of the vehicle control system 12000.
  • control of the own vehicle according to the instruction content of the direction indicator for example, when the vehicle in front issues a right turn direction instruction, the vehicle traveling in front of the own vehicle moves forward by turning right. Since it does not exist, it is conceivable to control the drive system control unit 12010 of the vehicle control system 12000 to increase the vehicle speed.
  • the direction indicator of the vehicle in front is a hazard (blinking display), there is a high possibility that the vehicle traveling in front will stop. Therefore, for example, automatic with respect to the drive system control unit 12010 of the vehicle control system 12000. Control to apply the brakes is conceivable.
  • the direction indicator is recognized as a direction indicator by object recognition during the recognition process of the direction indicator, but the flicker of the direction indicator is detected and used as the information of the object recognition (object detection). You may.
  • the sixth embodiment is an example of recognizing a traffic light and detecting a red light.
  • the flow chart of FIG. 17 shows the flow of processing for traffic light recognition and red light detection according to the sixth embodiment.
  • the control unit 50 detects an event in all wavelength bands (step S61), and then the motion recognition unit 30 detects the object as an event. Motion detection is performed (step S62). Next, the control unit 50 extracts the ROI at the place where the motion is detected in the ROI extraction unit 41 (step S63), and then the recognition processing unit 42 performs object recognition in the extracted ROI part (step). S64).
  • control unit 50 determines whether or not it is recognized as a traffic light by object recognition (step S65), and if it is not recognized as a traffic light (No in S65), returns to step S61.
  • the control unit 50 recognizes it as a traffic light (Yes in S65)
  • the control unit 50 extracts a red event signal area in the area recognized as a traffic light (step S66).
  • control unit 50 determines whether or not the display content of the traffic light is recognized as a red signal by the object recognition in the recognition processing unit 42 (step S67), and if it is not recognized as a red signal (S67). No), the process returns to step S66.
  • the control unit 50 recognizes it as a red light (Yes in S67)
  • the control unit 50 transmits an instruction signal such as brake control or alert display to the drive system control unit 12010 of the vehicle control system 12000 shown in FIG. 29 via the interface 80. (Step S68). Then, a series of processes for traffic light recognition and red light detection according to the sixth embodiment are completed.
  • the vehicle control system 12000 Instruction signals such as brake control and alert display are transmitted to the drive system control unit 12010.
  • the vehicle control system 12000 can perform controls such as braking by automatic control and alerting the driver by displaying an alert, which can contribute to safe driving. Become.
  • the traffic light is recognized as a traffic light by object recognition during the traffic light recognition process, but the flicker information (for example, frequency, duty ratio, etc.) of the traffic light is detected and the information of the object recognition (object detection). It may be used as.
  • the seventh embodiment is a modification of the sixth embodiment, and is an example of detecting a change from a red signal to a green signal of a traffic light.
  • the flow chart of FIG. 18 shows the flow of processing for traffic light recognition and change detection from red signal to green signal according to the seventh embodiment.
  • steps S71 to S73 are inserted as the processes after step S78 in the flowchart of the sixth embodiment shown in FIG.
  • the control unit 50 recognizes the signal as a red light, transmits an instruction signal such as brake control or alert display (step S68), detects an event in the wavelength band of the green signal in the area recognized as a traffic light (step S71), and then detects the event. , It is determined whether or not it is recognized as a green light (step S72).
  • control unit 50 If the control unit 50 does not recognize it as a green light (No in S72), the process returns to step S61, and if it recognizes it as a green light (Yes in S72), the control unit 50 sends an instruction signal such as engine operation and start instruction to the interface 80. It is transmitted to the drive system control unit 12010 of the vehicle control system 12000 shown in FIG. 29 (step S73). Then, a series of processes for traffic light recognition and change detection from red signal to green signal according to the seventh embodiment are completed.
  • the drive system control unit 12010 of the vehicle control system 12000 is instructed to operate the engine, start, etc. Send an instruction signal.
  • the engine can be automatically operated to control the vehicle to start, so that problems such as a delay in starting due to an oversight of a traffic light can be prevented. it can.
  • the threshold value of blue or green is set low in the area recognized as a traffic light, or the threshold value is set high in another area so that only the green signal can be detected. It may be.
  • FIG. 19 is a block diagram showing an example of the system configuration of the imaging system according to the second embodiment of the present disclosure.
  • the imaging system 1B includes an event detection sensor 10, an image sensor 20, a motion recognition unit 30, an object recognition unit 40, a control unit 50, and an operation pattern definition unit 60. It also has a recording unit 70.
  • the functions of the event detection sensor 10, the motion recognition unit 30, the object recognition unit 40, the control unit 50, the operation pattern definition unit 60, and the recording unit 70 are as described in the imaging system 1A according to the first embodiment. is there.
  • the event detection sensor 10 includes, for example, the color filters shown in FIGS. 10A and 10B, as in the imaging system 1A according to the first embodiment. Further, the imaging system 1B according to the second embodiment can also be mounted on a moving body such as a vehicle and used in the same manner as the imaging system 1A according to the first embodiment.
  • CMOS type image sensor which is a kind of XY address type image sensor
  • a CMOS type image sensor is an image sensor manufactured by applying or partially using a CMOS process.
  • the image sensor 20 is not limited to the CMOS type image sensor.
  • FIG. 20 is a block diagram showing an outline of the configuration of a CMOS type image sensor which is an example of the image sensor 20 in the image pickup system 1B according to the second embodiment.
  • the pixel array unit 22 in which the pixels 21 including the light receiving unit (photoelectric conversion unit) are two-dimensionally arranged in the row direction and the column direction, that is, in a matrix, and the pixel array unit. It has a configuration having 22 peripheral circuit units.
  • the row direction refers to the arrangement direction of the pixels 21 in the pixel row
  • the column direction refers to the arrangement direction of the pixels 21 in the pixel row.
  • the image sensor 20 according to this example is an RGB sensor in which, for example, R (red), G (green), and B (blue) color filters are incorporated in each pixel 21 of the pixel array unit 22.
  • the image sensor 20 is not limited to the RGB sensor.
  • the peripheral circuit unit of the pixel array unit 22 is composed of, for example, a row selection unit 23, a constant current source unit 24, an analog-digital conversion unit 25, a horizontal transfer scanning unit 26, a signal processing unit 27, a timing control unit 28, and the like. Has been done.
  • pixel drive lines 31 1 to 31 m are aligned along the row direction for each pixel row with respect to the matrix-like pixel array. Is wired.
  • vertical signal lines 32 1 to 32 n (hereinafter, may be collectively referred to as “vertical signal lines 32") are wired along the column direction for each pixel row.
  • the pixel drive line 31 transmits a drive signal for driving when reading a signal from the pixel 21.
  • the pixel drive line 31 is shown as one wiring, but the wiring is not limited to one.
  • One end of the pixel drive line 31 is connected to the output end corresponding to each line of the line selection unit 23.
  • the control unit 28 will be described.
  • the row selection unit 23 is composed of a shift register, an address decoder, and the like, and controls the scanning of pixel rows and the address of pixel rows when each pixel 21 of the pixel array unit 22 is selected. Although the specific configuration of the row selection unit 23 is not shown, it generally has two scanning systems, a read scanning system and a sweep scanning system.
  • the read-out scanning system selectively scans each pixel 21 of the pixel array unit 22 row by row in order to read a pixel signal from the pixel 21.
  • the pixel signal read from the pixel 21 is an analog signal.
  • the sweep scanning system performs sweep scanning in advance of the read scan performed by the read scan system by the time of the shutter speed.
  • the so-called electronic shutter operation is performed by sweeping out (resetting) unnecessary charges by the sweeping scanning system.
  • the electronic shutter operation refers to an operation of discarding the light charge of the light receiving portion and starting a new exposure (starting the accumulation of the light charge).
  • the constant current source unit 24 includes a plurality of current sources I (see FIG. 18) connected to each of the vertical signal lines 32 1 to 32 n for each pixel row, for example, composed of MOS transistors, and the row selection unit 23.
  • a bias current is supplied to each pixel 21 of the pixel row selectively scanned by the above through each of the vertical signal lines 32 1 to 32 n .
  • the analog-to-digital converter 25 is composed of a set of a plurality of analog-to-digital converters provided (for example, provided for each pixel sequence) corresponding to the pixel array of the pixel array unit 22.
  • the analog-to-digital conversion unit 25 is a column-parallel type analog-to-digital conversion unit that converts an analog pixel signal output through each of the vertical signal lines 32 1 to 32 n for each pixel string into a digital signal.
  • analog-to-digital converter in the column-parallel analog-to-digital converter 25 for example, a single slope type analog-to-digital converter which is an example of a reference signal comparison type analog-to-digital converter can be used.
  • analog-to-digital converter is not limited to the single slope type analog-digital converter, but is not limited to the serial comparison type analog-digital converter and the delta-sigma modulation type ( ⁇ modulation type) analog-digital.
  • a converter or the like can be used.
  • analog-to-digital converter in the column-parallel analog-to-digital conversion unit 25 the analog-to-digital converter in the analog-to-digital conversion unit constituting the column processing unit 15 (see FIG. 3) of the event detection sensor 10 described above. The same applies to.
  • the horizontal transfer scanning unit 26 is composed of a shift register, an address decoder, and the like, and controls the scanning of the pixel string and the address of the pixel string when reading the signal of each pixel 21 of the pixel array unit 22. Under the control of the horizontal transfer scanning unit 26, the pixel signal converted into a digital signal by the analog-digital conversion unit 25 is read out to the horizontal transfer line (horizontal output line) 29 in pixel sequence units.
  • the signal processing unit 27 performs predetermined signal processing on the digital pixel signal supplied through the horizontal transfer line 29 to generate two-dimensional image data. For example, the signal processing unit 27 corrects vertical line defects and point defects, clamps signals, and performs digital signal processing such as parallel-serial conversion, compression, coding, addition, averaging, and intermittent operation. Or something.
  • the signal processing unit 27 outputs the generated image data as an output signal of the image sensor 20 to a subsequent device.
  • the timing control unit 28 is based on a vertical synchronization signal VD, a horizontal synchronization signal HD, a master clock MCK (not shown), etc. supplied from the outside, and various timing signals, clock signals, control signals, etc. To generate. Then, the timing control unit 28 drives and controls the row selection unit 23, the constant current source unit 24, the analog-digital conversion unit 25, the horizontal transfer scanning unit 26, the signal processing unit 27, and the like based on these generated signals. I do.
  • the image sensor 20 Under the control of the timing control unit 28, the image sensor 20 performs imaging in synchronization with a synchronization signal such as the vertical synchronization signal VD. That is, the image sensor 20 is a synchronous imaging device that images at a predetermined frame rate.
  • FIG. 21 is a circuit diagram showing an example of the circuit configuration of the pixels 21 of the pixel array unit 22 in the image sensor 20.
  • the pixel 21 has, for example, a photodiode 211 as a light receiving unit (photoelectric conversion unit).
  • the pixel 21 has a pixel configuration including a transfer transistor 212, a reset transistor 213, an amplification transistor 214, and a selection transistor 215 in addition to the photodiode 211.
  • an N-type MOS transistor is used as the four transistors of the transfer transistor 212, the reset transistor 213, the amplification transistor 214, and the selection transistor 215, but the four transistors 212 to 215 exemplified here are used.
  • the combination of conductive types is only an example, and is not limited to these combinations.
  • a plurality of pixel drive lines are commonly wired to each pixel 21 in the same pixel row as the pixel drive line 31 described above. These plurality of pixel drive lines are connected to the output end corresponding to each pixel row of the row selection unit 23 in pixel row units.
  • the row selection unit 23 appropriately outputs the transfer signal TRG, the reset signal RST, and the selection signal SEL to the plurality of pixel drive lines.
  • the anode electrode is connected to a low-potential side power supply (for example, ground), and the received light is photoelectrically converted into an electric charge (here, photoelectrons) having an electric charge corresponding to the amount of the light, and the light thereof. Accumulates electric charge.
  • the cathode electrode of the photodiode 211 is electrically connected to the gate electrode of the amplification transistor 214 via the transfer transistor 212.
  • the region where the gate electrodes of the amplification transistor 214 are electrically connected is a floating diffusion (floating diffusion region / impurity diffusion region) FD.
  • the floating diffusion FD is a charge-voltage converter that converts an electric charge into a voltage.
  • a transfer signal TRG in which a high level (for example, V DD level) is active is given to the gate electrode of the transfer transistor 212 from the row selection unit 23.
  • a high level for example, V DD level
  • the transfer transistor 212 is turned on in response to the transfer signal TRG, it is photoelectrically converted by the photodiode 211, and the optical charge accumulated in the photodiode 211 is transferred to the floating diffusion FD.
  • the reset transistor 213 is connected between the power supply line of the power supply voltage V DD and the floating diffusion FD.
  • a reset signal RST that activates a high level is given to the gate electrode of the reset transistor 213 by the row selection unit 23.
  • the reset transistor 213 is turned on in response to the reset signal RST, and resets the floating diffusion FD by discarding the charge of the floating diffusion FD to the node of the power supply voltage V DD .
  • the gate electrode is connected to the floating diffusion FD, and the drain electrode is connected to the power supply line of the power supply voltage V DD .
  • the amplification transistor 214 serves as an input unit of a source follower that reads out a signal obtained by photoelectric conversion in the photodiode 211.
  • the source electrode is connected to the vertical signal line 32 via the selection transistor 215.
  • the amplification transistor 214 and the current source I connected to one end of the vertical signal line 32 form a source follower that converts the voltage of the floating diffusion FD into the potential of the vertical signal line 32.
  • the drain electrode is connected to the source electrode of the amplification transistor 214, and the source electrode is connected to the vertical signal line 32.
  • a selection signal SEL that activates a high level is given to the gate electrode of the selection transistor 215 from the row selection unit 23.
  • the selection transistor 215 is turned on in response to the selection signal SEL, so that the signal output from the amplification transistor 214 is transmitted to the vertical signal line 32 with the pixel 21 in the selection state.
  • a 4Tr configuration including a transfer transistor 212, a reset transistor 213, an amplification transistor 214, and a selection transistor 215, that is, a 4Tr configuration consisting of four transistors (Tr) has been described as an example. It is not limited to this.
  • the selection transistor 215 may be omitted, and the amplification transistor 214 may be configured to have the function of the selection transistor 25, or may be configured to have a configuration of 5Tr or more by increasing the number of transistors, if necessary. ..
  • Examples of the chip (semiconductor integrated circuit) structure of the image sensor 20 having the above configuration include a horizontal chip structure and a laminated chip structure.
  • the image sensor 20 having a flat chip structure and a laminated chip structure when the substrate surface on the side where the wiring layer is arranged is the surface (front surface) of the pixel 21, the light emitted from the surface side is used. It is possible to have a front-illuminated pixel structure that captures the light, or a back-illuminated pixel structure that captures the light emitted from the back surface on the opposite side.
  • the horizontal chip structure and the laminated chip structure will be described below.
  • FIG. 22 is a plan view showing an outline of the horizontal chip structure of the image sensor 20.
  • the horizontal chip structure (so-called horizontal structure) is formed on the same semiconductor substrate 201 as the pixel array unit 22 in which the pixels 21 are arranged in a matrix, and the periphery of the pixel array unit 22. It has a structure in which a circuit part is formed. Specifically, on the same semiconductor substrate 201 as the pixel array unit 22, the row selection unit 23, the constant current source unit 24, the analog-digital conversion unit 25, the horizontal transfer scanning unit 26, the signal processing unit 27, and the timing control Part 28 and the like are formed.
  • FIG. 23 is an exploded perspective view showing an outline of the laminated chip structure of the image sensor 20.
  • the laminated chip structure has a structure in which at least two semiconductor substrates of the first semiconductor substrate 202 and the second semiconductor substrate 203 are laminated.
  • the pixel array portion 22 is formed on the first semiconductor substrate 202 of the first layer.
  • the circuit parts such as the row selection unit 23, the constant current source unit 24, the analog-digital conversion unit 25, the horizontal transfer scanning unit 26, the signal processing unit 27, and the timing control unit 28 are the second semiconductors of the second layer. It is formed on the substrate 203.
  • the first semiconductor substrate 202 of the first layer and the second semiconductor substrate 203 of the second layer are electrically connected through connecting portions 33A and 33B such as vias (VIA) and Cu—Cu bonding.
  • a process suitable for manufacturing the pixels 21 can be applied to the first layer first semiconductor substrate 202, and a circuit portion can be manufactured on the second layer second semiconductor substrate 203. Since a suitable process can be applied, the process can be optimized in manufacturing the image sensor 20. In particular, advanced processes can be applied to the fabrication of circuit parts.
  • a laminated structure having a two-layer structure in which the first semiconductor substrate 202 and the second semiconductor substrate 203 are laminated is illustrated, but the laminated structure is not limited to the two-layer structure and has three or more layers. It can also have the structure of.
  • the circuit portions such as the row selection unit 23, the constant current source unit 24, the analog-digital conversion unit 25, the horizontal transfer scanning unit 26, and the signal processing unit 27 have two layers. It can be dispersed and formed on the semiconductor substrate after the eyes.
  • the event detection sensor 10 and the image sensor 20 perform an event detection operation and an image pickup operation, respectively, under the control of the control unit 50.
  • the event signal (event data) output from the event detection sensor 10 and the image data output from the image sensor 20 are supplied to the motion recognition unit 30.
  • the motion recognition unit 30 recognizes (detects) the motion of the object based on the event signal output from the event detection sensor 10. More specifically, the motion recognition unit 30 generates an event frame by framing the event signal output from the event detection sensor 10, and detects motion between the event frames. When the object recognition of the event is performed using the event signal output from the event detection sensor 10, the object recognition unit 40 performs the object recognition based on the result of the motion detection given by the motion recognition unit 30.
  • the image sensor 20 is composed of a synchronous image pickup device, and in order to perform imaging at a predetermined frame rate, for example, a fixed frame rate, it is not necessary to generate an event frame as in the case of the event detection sensor 10. Therefore, the image data output from the image sensor 20 in frame units is directly supplied to the object recognition unit 40. Then, the object recognition unit 40 will perform object recognition based on the image data of each frame.
  • the event detection sensor 10 composed of the asynchronous image pickup device since the event detection sensor 10 composed of the asynchronous image pickup device has a pixel configuration having the event detection unit 63, the pixel size has to be larger than that of the image sensor 20 composed of the synchronous image pickup device. .. Therefore, the event detection sensor 10 has a lower resolution than the image sensor 20 that captures images at a fixed frame rate. On the other hand, the image sensor 20 composed of a synchronous image pickup device is superior in resolution to an asynchronous image pickup device.
  • an event detection sensor 10 and an image sensor 20 provided with a color filter are used in combination to detect an event in a specific wavelength band, and predetermined signal processing is performed based on the detection result.
  • predetermined signal processing is performed based on the detection result.
  • Example 8 is an example of processing the top-level concept of the second embodiment.
  • the flow chart of FIG. 24 shows the processing flow of the top-level concept according to the eighth embodiment.
  • the control unit 50 first uses the image data of the image sensor 20 as a front area of interest in the object recognition unit 40 shown in FIG. Object recognition is performed (step S101).
  • the image sensor 20 has a higher resolution than the event detection sensor 10. Therefore, by performing object recognition based on the output of the image sensor 20, the recognition accuracy can be improved as compared with the case of performing object recognition based on the output of the event detection sensor 10.
  • the event detection sensor 10 is superior to the image sensor 20 in terms of power consumption. Therefore, the processing after step S102 will be performed using the event detection sensor 10. The same applies to the examples described later.
  • control unit 50 extracts the ROI based on the output of the event detection sensor 10 in the area recognized as the object of interest (step S102), and then detects the event in the extracted ROI area (step S102). Step S103), then the movement of the object detected as an event is detected (step S104).
  • control unit 50 recognizes the object in the event detection area of a specific wavelength band (step S105), and then determines whether or not the object is recognized as a noteworthy object (step S106). Then, if the control unit 50 does not recognize it as a noteworthy object (No in S106), it returns to step S101, and if it recognizes it as a noteworthy object (Yes in S106), it is based on the noteworthy object.
  • a predetermined signal process is executed (step S107), and a series of processes of the top-level concept according to the eighth embodiment is completed.
  • the object recognition can be performed as a region of interest by using the image data of the image sensor 20 having a resolution superior to that of the event detection sensor 10. Then, the event is detected in a specific wavelength band, the motion of the object detected by the event is detected, and when the object is recognized as a noteworthy object, a predetermined signal processing based on the object is performed in the same manner as the driver. , Detection of information in various wavelength bands such as lighting (blinking) of brake lamps and tail lamps of vehicles running in front of own vehicle, blinking of direction indicators, color change of traffic lights, lightning signs, etc. You can make a judgment.
  • the "predetermined signal processing" is, for example, a process of transmitting command signals for various automatic controls to, for example, the drive system control unit 12010 of the vehicle control system 12000 shown in FIG. 29.
  • the vehicle control system 12000 receives a command signal from the event detection sensor 10, it automatically performs various controls such as applying a brake by automatic control and displaying an alert to call attention to the driver. It will be.
  • the ninth embodiment is an example in which the tail lamp of the vehicle traveling in front of the own vehicle is detected after recognizing the vehicle traveling in front of the own vehicle.
  • the flow chart of FIG. 25 shows the flow of processing for vehicle recognition and tail lamp detection according to the ninth embodiment.
  • the RCCC filter shown in FIG. 10A is used as the color filter provided for each pixel 11 in the event detection sensor 10.
  • red (R) is a specific wavelength band. The same applies to the examples described later.
  • the control unit 50 first uses the image data of the image sensor 20 to form an object as a vehicle in front of the object recognition unit 40 shown in FIG. Recognize (step S111). Next, the control unit 50 extracts the ROI in the area recognized as an object as a car (step S112), and then detects an event in the red wavelength band in the extracted ROI area (step S113).
  • control unit 50 detects the motion of the object detected as an event (step S114), then recognizes the object in the motion-detected area (step S115), and then serves as a noteworthy object, that is, a tail lamp. It is determined whether or not it has been recognized (step S116).
  • control unit 50 does not recognize it as a tail lamp (No in S116), it returns to step S111, and if it recognizes it as a tail lamp (Yes in S116), it interfaces with an instruction signal such as brake control or alert display. It is transmitted to the drive system control unit 12010 of the vehicle control system 12000 shown in FIG. 29 via 80 (step S117). Then, a series of processes for vehicle recognition and tail lamp detection according to the ninth embodiment are completed.
  • the drive system control unit 12010 of the vehicle control system 12000 When the drive system control unit 12010 of the vehicle control system 12000 receives an instruction signal such as brake control or alert display from the imaging system 1B according to the second embodiment, the drive system control unit 12010 automatically controls the brake or displays an alert to drive the vehicle. Controls such as calling attention to a person will be performed.
  • the object is recognized using the image data of the image sensor 20 having a resolution superior to that of the event detection sensor 10, and then the event is detected and the event is detected in the red wavelength band. Detects the movement of an object. Then, when it is recognized as the tail lamp of a vehicle traveling in front of the own vehicle, it is determined that the distance between the vehicle and another vehicle traveling in front of the own vehicle is close to the extent that the tail lamp of the other vehicle can be recognized, and the vehicle control system Instruction signals such as brake control and alert display are transmitted to the drive system control unit 12010 of 12000. As a result, in the vehicle control system 12000, it is possible to perform control such as braking by automatic control or displaying an alert to call attention to the driver, which can contribute to safe driving.
  • the tail lamp is recognized as a tail lamp by object recognition during the tail lamp recognition process, but the flicker of the tail lamp may be detected and used as information for object recognition (object detection).
  • the tenth embodiment is an example of detecting a direction indicator (winker) after recognizing a vehicle traveling in front of the own vehicle.
  • the flow chart of FIG. 26 shows the flow of processing for vehicle recognition and direction indicator detection according to the tenth embodiment.
  • the control unit 50 first recognizes an object as a vehicle in front by using the image data of the image sensor 20 (step S121). Next, the control unit 50 extracts the ROI in the area recognized as an object as a car (step S122), and then detects an event in the red wavelength band in the extracted ROI area (step S123).
  • control unit 50 detects the motion of the object detected as an event (step S124), then recognizes the object in the motion detected area (step S125), and then indicates the object of interest, that is, the direction instruction. It is determined whether or not the object is recognized as a blinker (step S126). Then, if the control unit 50 does not recognize it as a direction indicator (No in S126), the control unit 50 returns to step S121.
  • the control unit 50 recognizes the vehicle as a direction indicator (Yes in S126)
  • the instruction signal for controlling the own vehicle according to the instruction content of the direction indicator is shown in FIG. 29 via the interface 80. It is transmitted to the drive system control unit 12010 of the vehicle control system 12000 (step S127). Then, a series of processes for vehicle recognition and direction indicator detection according to the tenth embodiment are completed.
  • the object was recognized using the image data of the image sensor 20 having a resolution superior to that of the event detection sensor 10, and then the event was detected and the event was detected in the red wavelength band. Detects the movement of an object. Then, after recognizing the vehicle traveling in front of the own vehicle, the recognition process of the direction indicator in the area of the recognized vehicle is performed, and the vehicle itself responds to the instruction content (right turn, left turn, hazard, etc.) of the direction indicator. An instruction signal for controlling the vehicle is transmitted to the drive system control unit 12010 of the vehicle control system 12000.
  • control of the own vehicle according to the instruction content of the direction indicator for example, when the vehicle in front issues a right turn direction instruction, the vehicle traveling in front of the own vehicle moves forward by turning right. Since it does not exist, it is conceivable to control the drive system control unit 12010 of the vehicle control system 12000 to increase the vehicle speed.
  • the direction indicator of the vehicle in front is a hazard (blinking display), there is a high possibility that the vehicle traveling in front will stop. Therefore, for example, automatic with respect to the drive system control unit 12010 of the vehicle control system 12000. Control to apply the brakes is conceivable.
  • the direction indicator is recognized as a direction indicator by object recognition during the recognition process of the direction indicator, but the flicker of the direction indicator is detected and used as the information of the object recognition (object detection). You may.
  • the eleventh embodiment is an example of recognizing a traffic light and detecting a red light.
  • the flow chart of FIG. 27 shows the flow of processing for traffic light recognition and red light detection according to the eleventh embodiment.
  • control unit 50 first recognizes an object using the image data of the image sensor 20 (step S131), and then sets the object to be recognized.
  • the traffic light is detected (step S132).
  • control unit 50 extracts the ROI in the area where the traffic light is detected (step S133), then detects an event in the red wavelength band in the extracted ROI area (step S134), and then detects an event in the red wavelength band. The movement of the object detected as an event is detected (step S135).
  • control unit 50 recognizes an object in the motion-detected area (step S136), and then determines whether or not it has been recognized as a noteworthy object, that is, a red light of a traffic light (step S137). Then, if the control unit 50 does not recognize it as a red light (No in S137), the control unit 50 returns to step S131.
  • control unit 50 When the control unit 50 recognizes the red light (Yes in S137), the control unit 50 transmits an instruction signal such as brake control or alert display via the interface 80 to the drive system control unit of the vehicle control system 12000 shown in FIG. 29. It is transmitted to 12010 (step S138). Then, a series of processes for traffic light recognition and red light detection according to the eleventh embodiment are completed.
  • the object is a signal and the display content is a red signal.
  • instruction signals such as brake control and alert display are transmitted to the drive system control unit 12010 of the vehicle control system 12000.
  • the vehicle control system 12000 can perform controls such as braking by automatic control and alerting the driver by displaying an alert, which can contribute to safe driving. Become.
  • the traffic light is recognized as a traffic light by object recognition during the traffic light recognition process, but the flicker information (for example, frequency, duty ratio, etc.) of the traffic light is detected and the information of the object recognition (object detection) It may be used as.
  • Example 12 is a modification of Example 11, and is an example of detecting a change from a red signal to a green signal of a traffic light.
  • the flow chart of FIG. 28 shows the flow of processing for traffic light recognition and change detection from red signal to green signal according to the twelfth embodiment.
  • steps S141 to S143 are inserted as the processes after step S138 in the flowchart of Example 11 shown in FIG. 27.
  • the control unit 50 recognizes it as a red light and transmits an instruction signal such as brake control or alert display (step S138), it detects an event in the wavelength band of the green light in the area recognized as a traffic light (step S141), and then detects the event. , It is determined whether or not it is recognized as a green light (step S142).
  • control unit 50 If the control unit 50 does not recognize it as a green light (No in S142), it returns to step S131, and if it recognizes it as a green light (Yes in S142), it sends an instruction signal such as an engine operation or a start instruction to the interface 80. It is transmitted to the drive system control unit 12010 of the vehicle control system 12000 shown in FIG. 29 (step S73). Then, a series of processes for traffic light recognition and change detection from red signal to green signal according to the twelfth embodiment are completed.
  • the engine when the traffic light changes from the red light to the green light in the state where the traffic light is stopped at the red light, the engine is operated with respect to the drive system control unit 12010 of the vehicle control system 12000. An instruction signal such as a start instruction is transmitted.
  • the engine can be automatically operated to control the vehicle to start, so that problems such as a delay in starting due to an oversight of a traffic light can be prevented. it can.
  • the threshold value of blue or green is set low in the area recognized as a traffic light, or the threshold value is set high in another area so that only the green signal can be detected. It may be.
  • the technology according to the present disclosure can be applied to various products. A more specific application example will be described below.
  • the technology according to the present disclosure includes any type of movement such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, a robot, a construction machine, and an agricultural machine (tractor). It may be realized as an image pickup device or an image pickup system mounted on a body.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure includes any type of movement such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, robots, construction machines, agricultural machines (tractors), and the like. It may be realized as an image pickup device mounted on the body.
  • FIG. 29 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating a braking force of a vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, blinkers or fog lamps.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image pickup unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or characters on the road surface based on the received image.
  • the image pickup unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the imaging unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects the driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up running based on inter-vehicle distance, vehicle speed maintenance running, vehicle collision warning, or vehicle lane deviation warning. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform coordinated control for the purpose of automatic driving that runs autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the vehicle exterior information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the external information detection unit 12030, and performs coordinated control for the purpose of antiglare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits the output signal of at least one of the audio and the image to the output device capable of visually or audibly notifying the passenger or the outside of the vehicle of the information.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a heads-up display.
  • FIG. 30 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the vehicle 12100 has image pickup units 12101, 12102, 12103, 12104, 12105 as the image pickup unit 12031.
  • the imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 12100, for example.
  • the imaging unit 12101 provided on the front nose and the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the images in front acquired by the imaging units 12101 and 12105 are mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 30 shows an example of the photographing range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range of the imaging units 12102 and 12103.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 as viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image pickup units 12101 to 12104 may be a stereo camera composed of a plurality of image pickup elements, or may be an image pickup element having pixels for phase difference detection.
  • the microcomputer 12051 has a distance to each three-dimensional object within the imaging range 12111 to 12114 based on the distance information obtained from the imaging units 12101 to 12104, and a temporal change of this distance (relative velocity with respect to the vehicle 12100).
  • a predetermined speed for example, 0 km / h or more.
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle in advance, and can perform automatic braking control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform cooperative control for the purpose of automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that can be seen by the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging units 12101 to 12104.
  • pedestrian recognition includes, for example, a procedure for extracting feature points in an image captured by an imaging unit 12101 to 12104 as an infrared camera, and pattern matching processing for a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
  • the audio image output unit 12052 When the microcomputer 12051 determines that a pedestrian is present in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 outputs a square contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the technique according to the present disclosure can be applied to, for example, the imaging unit 12031 among the configurations described above. That is, the imaging system 1A according to the first embodiment or the imaging system 1B according to the second embodiment of the present disclosure can be used as the imaging unit 12031 or the like in the vehicle control system 12000 having the above configuration. Then, by applying the technique according to the present disclosure to the imaging unit 12031 or the like, it is possible to detect an event for each color in each wavelength band, and accordingly, the lighting (blinking) and direction of the brake lamp and tail lamp of the vehicle. Since it is possible to detect (detect) blinking of an indicator, a change in the color of a traffic light, a lightning sign, etc., the detection result can be reflected in automatic driving and the like, which can contribute to the realization of safe vehicle driving.
  • the present disclosure may also have the following configuration.
  • Imaging system ⁇ [A-1] An event detection sensor that detects an event, and Equipped with a control unit that controls event detection in the event detection sensor The event detection sensor is provided with a color filter for each pixel. The control unit controls event detection in a specific wavelength band based on the color filter. Imaging system. [A-2] The event detection sensor comprises an asynchronous imaging device that detects as an event that the change in brightness of a pixel that photoelectrically converts incident light exceeds a predetermined threshold value. The imaging system according to the above [A-1]. [A-3] Used by being mounted on a moving body, The imaging system according to the above [A-2].
  • control unit When the control unit recognizes the object of interest based on the event detection by the event detection sensor, the control unit performs signal processing based on the object of interest.
  • the imaging system according to the above [A-3].
  • control unit When the control unit recognizes the tail lamp of the vehicle traveling in front of the own vehicle as an object of interest, the control unit transmits a predetermined instruction signal to the control system of the moving body.
  • A-6 The control unit recognizes the vehicle traveling in front of the own vehicle and then recognizes the tail lamp of the vehicle traveling in front of the own vehicle as an object of interest.
  • control unit When the control unit recognizes the tail lamp as an object of interest, when the relative speed between the own vehicle and the vehicle traveling in front is equal to or higher than a predetermined threshold value, the control unit determines the control system of the moving body. Send an instruction signal, The imaging system according to the above [A-6].
  • the control unit When the control unit recognizes the vehicle traveling in front of the own vehicle and then recognizes the direction indicator of the vehicle traveling in front of the own vehicle as an object of interest, the control unit refers to the control system of the moving object. To send a predetermined instruction signal, The imaging system according to the above [A-4].
  • the control unit recognizes the traffic light as an object of interest, and when it detects a red light, transmits a predetermined instruction signal to the control system of the moving body.
  • [A-10] When the traffic light is in a red light state and detects that the traffic light has changed from a red light to a green light, the control unit transmits a predetermined instruction signal to the control system of the moving body.
  • An image sensor that captures images at a predetermined frame rate is provided. The imaging system according to any one of the above [A-1] to the above [A-3].
  • the control unit performs object recognition based on the image data of the image sensor, and when it recognizes the object of interest based on the event detection by the event detection sensor, performs signal processing based on the object of interest.
  • the imaging system according to the above [A-11].
  • the control unit determines the control system of the moving body. Send an instruction signal, The imaging system according to claim 12.
  • the control unit refers to the control system of the moving object.
  • the imaging system To send a predetermined instruction signal, The imaging system according to the above [A-12].
  • the control unit recognizes the traffic light as an object of interest, and when it detects a red light, it transmits a predetermined instruction signal to the control system of the moving body.
  • the control unit transmits a predetermined instruction signal to the control system of the mobile body when it detects that the traffic light has changed from a red light to a green light while the traffic light is in a red light state.
  • 1A ... Imaging system according to the first embodiment, 1B ... Imaging system according to the second embodiment, 10 ... Event detection sensor, 11 ... Pixels, 12 ... Pixel array unit, 13. ... Drive unit, 14 ... Arbiter unit (arbitration unit), 15 ... Column processing unit, 16 ... Signal processing unit, 20 ... Image sensor, 21 ... Pixel, 22 ... Pixel Array unit, 23 ... row selection unit, 24 ... constant current source unit, 25 ... analog-to-digital conversion unit, 26 ... horizontal transfer scanning unit, 27 ... signal processing unit, 28 ... -Timing control unit, 30 ... motion recognition unit, 40 ... object recognition unit, 50 ... control unit, 60 ... operation pattern definition unit, 70 ... image recording unit, 80 ... interface

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

本開示の撮像システムは、イベントを検出するイベント検出センサ、及び、イベント検出センサにおけるイベント検出の制御を行う制御部を備え、イベント検出センサには画素毎にカラーフィルタが設けられている。そして、制御部は、カラーフィルタに基づく特定の波長帯でイベント検出を行う。これにより、種々の波長帯の情報をイベントとして検出することができる。

Description

撮像システム
　本開示は、撮像システムに関する。
　イベントドリブン方式の撮像装置の一つとして、ＤＶＳ(Dynamic Vision Sensor)と呼ばれる非同期型の撮像装置がある。非同期型の撮像装置は、入射光を光電変換する画素の輝度変化が所定の閾値を超えたことをイベントとして検出することができる。従って、この種の非同期型の撮像装置については、イベント検出センサと言うこともできる。従来、イベント検出センサは、車両に搭載されて、走行路面をモニタリングするイベントベース視覚センサとして用いられている（例えば、特許文献１参照）。
特開２０１３－７９９３７号公報
　ところで、車両の走行中に、運転者の目には、自車の前を走行中の車両のブレーキランプやテールランプの点灯（点滅）、方向指示器の点滅、信号機の色の変化、電光標識等、種々の波長帯の情報が飛び込んでくる。車両等の移動体に搭載されて用いられるイベント検出センサにあっては、自車の周りの種々の波長帯の情報をイベントとして検出することができれば非常に便利である。
　本開示は、種々の波長帯の情報をイベントとして検出することができる撮像システムを提供することを目的とする。
　上記の目的を達成するための本開示の撮像システムは、
　イベントを検出するイベント検出センサ、及び、
　イベント検出センサにおけるイベント検出の制御を行う制御部を備え、
　イベント検出センサには画素毎にカラーフィルタが設けられている。制御部は、カラーフィルタに基づく特定の波長帯でイベント検出の制御を行う。
図１は、本開示の第１実施形態に係る撮像システムのシステム構成の一例を示すブロック図である。 図２Ａは、第１実施形態に係る撮像システムにおける動き認識部の構成の一例を示すブロック図であり、図２Ｂは、第１実施形態に係る撮像システムにおける物体認識部の構成の一例を示すブロック図である。 図３は、第１実施形態に係る撮像システムにおけるイベント検出センサの構成の一例を示すブロック図である。 図４は、イベント検出センサにおける画素アレイ部の構成の一例を示すブロック図である。 図５は、イベント検出センサにおける画素の回路構成の一例を示す回路図である。 図６は、イベント検出センサの画素におけるイベント検出部の回路構成の一例を示すブロック図である。 図７は、イベント検出部における電流電圧変換部の構成の一例を示す回路図である。 図８は、イベント検出部における減算部及び量子化部の構成の一例を示す回路図である。 図９は、イベント検出センサの積層型のチップ構造の概略を示す分解斜視図である。 図１０Ａ及び図１０Ｂは、イベント検出センサの各画素に配するカラーフィルタの種々の配列例を示すカラーフィルタ配列図である。 図１１は、４画素共有の画素の回路構成例を示す回路図である。 図１２は、実施例１に係る最上位概念の処理の流れを示すフローチャートである。 図１３は、実施例２に係るテールランプ検知のための処理の流れを示すフローチャートである。 図１４は、実施例３に係る車認識及びテールランプ検知のための処理の流れを示すフローチャートである。 図１５は、実施例４に係る車認識及び方向指示器検知のための処理の流れを示すフローチャートである。 図１６は、実施例５に係る車認識及び方向指示器検知のための処理の流れを示すフローチャートである。 図１７は、実施例６に係る信号機認識及び赤信号検知のための処理の流れを示すフローチャートである。 図１８は、実施例７に係る信号機認識及び赤信号→青信号の変化検知のための処理の流れを示すフローチャートである。 図１９は、本開示の第２実施形態に係る撮像システムのシステム構成の一例を示すブロック図である。 図２０は、第２実施形態に係る撮像システムにおける画像センサの一例であるＣＭＯＳ型イメージセンサの構成の概略を示すブロック図である。 図２１は、画像センサにおける画素の回路構成の一例を示す回路図である。 図２２は、画像センサの平置型のチップ構造の概略を示す平面図である。 図２３は、画像センサの積層型のチップ構造の概略を示す平面図である。 図２４は、実施例８に係る最上位概念の処理の流れを示すフローチャートである。 図２５は、実施例９に係る車認識及びテールランプ検知のための処理の流れを示すフローチャートである。 図２６は、実施例１０に係る車認識及び方向指示器検知のための処理の流れを示すフローチャートである。 図２７は、実施例１１に係る信号機認識及び赤信号検知のための処理の流れを示すフローチャートである。 図２８は、実施例１２に係る信号機認識及び赤信号→青信号の変化検知のための処理の流れを示すフローチャートである。 図２９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。 図３０は、移動体制御システムにおける撮像装置の設置位置の例を示す図である。
　以下、本開示に係る技術を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。本開示に係る技術は実施形態に限定されるものではない。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
　１．本開示の撮像システム、全般に関する説明
　２．本開示の第１実施形態
　　２－１．第１実施形態に係る撮像システムの構成例
　　２－２．イベント検出センサの構成例
　　　２－２－１．画素アレイ部の構成例
　　　２－２－２．画素の構成例
　　　２－２－３．イベント検出部の構成例
　　　　２－２－３－１．電流電圧変換部の構成例
　　　　２－２－３－２．減算部及び量子化部の構成例
　　　２－２－４．チップ構造の構成例
　　　２－２－５．カラーフィルタの必要性について
　　　２－２－６．４画素共有の画素の回路構成例
　　２－３．実施例１（第１実施形態の最上位概念の処理の例）
　　２－４．実施例２（テールランプを検知する例）
　　２－５．実施例３（車を認識した上でテールランプを検知する例）
　　２－６．実施例４（実施例３の変形例：相対速度を検出する例）
　　２－７．実施例５（車を認識した上で方向指示器を検知する例）
　　２－８．実施例６（信号機を認識した上で赤信号を検知する例）
　　２－９．実施例７（実施例６の変形例：赤信号→青信号の変化を検知する例）
　３．本開示の第２実施形態
　　３－１．第２実施形態に係る撮像システムの構成例
　　３－２．画像センサの構成例
　　　３－２－１．ＣＭＯＳ型イメージセンサの構成例
　　　３－２－２．画素の構成例
　　　３－２－３．チップ構造の構成例
　　　　３－２－３－１．平置型のチップ構造（所謂、平置構造）
　　　　３－２－３－２．積層型のチップ構造（所謂、積層構造）
　　３－３．実施例８（第２実施形態の最上位概念の処理の例）
　　３－４．実施例９（車を認識した上でテールランプを検知する例）
　　３－５．実施例１０（車を認識した上で方向指示器を検知する例）
　　３－６．実施例１１（信号機を認識した上で赤信号を検知する例）
　　３－７．実施例１２（実施例１１の変形例：赤信号→青信号の変化を検知する例）
　４．変形例
　５．本開示に係る技術の適用例（移動体の例）
　６．本開示がとることができる構成
＜本開示の撮像システム、全般に関する説明＞
　本開示の撮像システムにあっては、イベント検出センサについて、入射光を光電変換する画素の輝度変化が所定の閾値を超えたことをイベントとして検出する非同期型の撮像装置から成る構成とすることができる。そして、本開示の撮像システムについては、移動体に搭載して用いることが好ましい。
　上述した好ましい構成を含む本開示の撮像システムにあっては、制御部について、イベント検出センサによるイベント検出を基に注目物体を認識したとき、注目物体に基づく信号処理を行う構成とすることができる。また、制御部について、自車の前を走行する車のテールランプを注目物体として認識したとき、移動体の制御システムに対して所定の指示信号を送信する構成とすることができる。
　また、上述した好ましい構成を含む本開示の撮像システムにあっては、制御部について、自車の前を走行する車を認識した上で、自車の前を走行する車のテールランプを注目物体として認識する構成とすることができる。また、制御部について、テールランプを注目物体として認識したとき、自車と前を走行する車との相対速度が所定の閾値以上である場合に、移動体の制御システムに対して所定の指示信号を送信する構成とすることができる。
　また、上述した好ましい構成を含む本開示の撮像システムにあっては、制御部について、自車の前を走行する車を認識した上で、自車の前を走行する車の方向指示器を注目物体として認識したとき、移動体の制御システムに対して所定の指示信号を送信する構成とすることができる。
　また、上述した好ましい構成を含む本開示の撮像システムにあっては、制御部について、信号機を注目物体として認識し、赤信号を検知したとき、あるいは、信号機が赤信号の状態において、信号機が赤信号から青信号に変わったことを検知したとき、移動体の制御システムに対して所定の指示信号を送信する構成とすることができる。
　更に、上述した好ましい構成を含む本開示の撮像システムにあっては、所定のフレームレートで撮像を行う画像センサを備える構成とすることができる。そして、制御部について、画像センサの画像データに基づいて物体認識を行った上で、イベント検出センサによるイベント検出を基に注目物体を認識したとき、注目物体に基づく信号処理を行う構成とすることができる。
　また、上述した好ましい構成を含む本開示の撮像システムにあっては、制御部について、自車の前を走行する車を認識した上で、自車の前を走行する車のテールランプを注目物体として認識したとき、あるいは、自車の前を走行する車を認識した上で、自車の前を走行する車の方向指示器を注目物体として認識したとき、移動体の制御システムに対して所定の指示信号を送信する構成とすることができる。
　また、上述した好ましい構成を含む本開示の撮像システムにあっては、制御部について、信号機を注目物体として認識し、赤信号を検知したとき、移動体の制御システムに対して所定の指示信号を送信する、あるいは、信号機が赤信号の状態において、信号機が赤信号から青信号に変わったことを検知したとき、移動体の制御システムに対して所定の指示信号を送信する構成とすることができる。
≪本開示の第１実施形態≫
＜第１実施形態に係る撮像システムの構成例＞
　図１は、本開示の第１実施形態に係る撮像システムのシステム構成の一例を示すブロック図である。
　図１に示すように、本開示の第１実施形態に係る撮像システム１Ａは、イベント検出センサ１０、動き認識部３０、物体認識部４０、制御部５０、オペレーションパターン定義部６０、記録部７０、及び、インターフェース８０を有する構成となっている。第１実施形態に係る撮像システム１Ａは、車両等の移動体に搭載して用いることができる。
　車両に搭載して用いる場合を例に挙げると、車両の所定の位置、例えば、車両のフロントノーズ、サイドミラー、リアバンパ、バックドア、及び、車室内のフロントガラスの上部のうちの少なくとも一つの位置に、撮像システム１Ａを配置して用いることになる。本開示に係る技術（即ち、第１実施形態に係る撮像システム１Ａ）の適用例の詳細については後述する。
　イベント検出センサ１０としては、入射光を光電変換する画素の輝度変化が所定の検出閾値を超えたことをイベントとして検出するＤＶＳと呼ばれる非同期型の撮像装置を用いることができる。非同期型の撮像装置は、垂直同期信号に同期して撮像を行う同期型の撮像装置に対して、垂直同期信号に非同期でイベントを検出する撮像装置である。非同期型の撮像装置から成るイベント検出センサ１０の詳細については後述する。尚、ここでは、ＤＶＳについて、非同期型の撮像装置として説明したが、垂直同期信号に同期してイベントを検出するようにしてもよい。
　動き認識部３０は、イベント検出センサ１０から出力される、イベントの発生を表すイベント信号（イベントデータ）に基づいて、物体の動きを認識（検出）する。動き認識部３０の具体的な構成の一例を図２Ａに示す。動き認識部３０は、例えば、イベントフレーム生成部３１及び動き検出部３２から構成されている。
　イベントフレーム生成部３１は、イベント検出センサ１０から出力されるイベント信号に基づいて、一定の時間内にどれだけイベントが発生したかをフレーム化することによってイベントフレームを生成する。動き検出部３２は、イベントフレーム生成部３１でフレーム化されたイベントフレーム間で動き検出を行う。尚、イベントフレーム生成部３１によりフレーム化しなくても、つまり、非同期で出力されているイベント信号を動き認識部３０が直接受信して、動き検出を行うようにしてもよい。
　物体認識部４０は、動き認識部３０から与えられる動き検出の結果に基づいて、イベントとして検出された物体の認識処理を行う。物体認識部４０の具体的な構成の一例を図２Ｂに示す。物体認識部４０は、例えば、ＲＯＩ抽出部４１及び認識処理部４２から構成されている。
　ＲＯＩ抽出部４１は、物体認識を行うための特定の領域の抽出、即ち、ＲＯＩ（Region Of Interest：関心領域）の抽出を行う。認識処理部４２は、ＲＯＩ抽出部４１が抽出した領域のデータに基づいて物体の認識処理を行う。この認識処理部４２における物体認識には、ニューラルネットワーク等の機械学習によるパターン認識技術、例えば、教師データとして与えられる画像の特徴点と、撮影した被写体画像の特徴点とを比較することによって画像認識を行う技術を用いることができる。
　制御部５０は、例えばプロセッサ（ＣＰＵ）によって構成され、オペレーションパターン定義部６０から与えられる情報を基に、イベント検出センサ１０の制御、具体的には、イベント検出センサ１０の解像度の制御を行う。制御部５０には、後述する本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム１２０００（図２９参照）から、車速などの種々の情報が、インターフェース８０を介して与えられる。イベント検出センサ１０の解像度の制御の詳細については後述する。
　オペレーションパターン定義部６０は、制御部５０による制御の下に、動き認識部３０から与えられる動き認識結果、及び、物体認識部４０から与えられる物体認識結果を用いて、移動体の一例としての車両の走行状態、例えば、渋滞の状態や、高速道路の走行状態などを検知する。
　オペレーションパターン定義部６０から出力される情報は、イベント検出センサ１０の解像度の制御を行うための情報として制御部５０に与えられるとともに、必要に応じて、記憶部７０に記憶される。また、オペレーションパターン定義部６０から出力される情報は、インターフェース８０を介して、車両制御システム１２０００（図２９参照）に供給される。
　上記の構成の本開示の第１実施形態に係る撮像システム１Ａにおいて、少なくとも、イベント検出センサ１０及び制御部５０を備えることによって本開示の撮像装置が構成される。本開示の撮像装置において、制御部５０は、移動体の一例としての車両の走行状態に応じてイベント検出センサ１０の解像度を切り替える制御を行う。また、オペレーションパターン定義部６０や記録部７０の機能を車両制御システム１２０００に持たせた撮像システムの構成とすることもできる。
＜イベント検出センサの構成例＞
　以下に、イベント検出センサ１０の詳細について説明する。図３は、上記の構成の本開示の撮像システム１におけるイベント検出センサ１０の構成の一例を示すブロック図である。
　図３に示すように、イベント検出センサ１０は、複数の画素１１が行列状（アレイ状）に２次元配列されて成る画素アレイ部１２を有する。複数の画素１１のそれぞれは、光電変換によって生成される電気信号としての光電流に応じた電圧のアナログ信号を画素信号として生成する。また、複数の画素１１のそれぞれは、入射光の輝度に応じた光電流に、所定の閾値を超える変化が生じたか否かによって、イベントの有無を検出する。換言すれば、複数の画素１１のそれぞれは、輝度変化が所定の閾値を超えたことをイベントとして検出する。
　イベント検出センサ１０は、画素アレイ部１２の他に、画素アレイ部１２の周辺回路部として、駆動部１３、アービタ部（調停部）１４、カラム処理部１５、及び、信号処理部１６を備えている。
　複数の画素１１のそれぞれは、イベントを検出した際に、イベントの発生を表すイベントデータの出力を要求するリクエストをアービタ部１４に出力する。そして、複数の画素１１のそれぞれは、イベントデータの出力の許可を表す応答をアービタ部１４から受け取った場合、駆動部１３及び信号処理部１６に対してイベントデータを出力する。また、イベントを検出した画素１１は、光電変換によって生成されるアナログの画素信号をカラム処理部１５に対して出力する。
　駆動部１３は、画素アレイ部１２の各画素１１を駆動する。例えば、駆動部１３は、イベントを検出し、イベントデータを出力した画素１１を駆動し、当該画素１１のアナログの画素信号を、カラム処理部１５へ出力させる。
　アービタ部１４は、複数の画素１１のそれぞれから供給されるイベントデータの出力を要求するリクエストを調停し、その調停結果（イベントデータの出力の許可／不許可）に基づく応答、及び、イベント検出をリセットするリセット信号を画素１１に送信する。
　カラム処理部１５は、例えば、画素アレイ部１２の画素列毎に設けられたアナログ－デジタル変換器の集合から成るアナログ－デジタル変換部を有する。アナログ－デジタル変換器としては、例えば、シングルスロープ型のアナログ－デジタル変換器を例示することができる。
　カラム処理部１５では、画素アレイ部１２の画素列毎に、その列の画素１１から出力されるアナログの画素信号をデジタル信号に変換する処理が行われる。カラム処理部１５では、デジタル化した画素信号に対して、ＣＤＳ（Correlated Double Sampling）処理を行うこともできる。
　信号処理部１６は、カラム処理部１５から供給されるデジタル化された画素信号や、画素アレイ部１２から出力されるイベントデータに対して所定の信号処理を実行し、信号処理後のイベントデータ及び画素信号を出力する。
　上述したように、画素１１で生成される光電流の変化は、画素１１に入射する光の光量変化（輝度変化）とも捉えることができる。従って、イベントは、所定の閾値を超える画素１１の光量変化（輝度変化）であるとも言うことができる。イベントの発生を表すイベントデータには、少なくとも、イベントとしての光量変化が発生した画素１１の位置を表す座標等の位置情報が含まれる。イベントデータには、位置情報の他、光量変化の極性を含ませることができる。
　画素１１からイベントが発生したタイミングで出力されるイベントデータの系列については、イベントデータどうしの間隔がイベントの発生時のまま維持されている限り、イベントデータは、イベントが発生した相対的な時刻を表す時刻情報を暗示的に含んでいるということができる。但し、イベントデータがメモリに記憶されること等により、イベントデータどうしの間隔がイベントの発生時のまま維持されなくなると、イベントデータに暗示的に含まれる時刻情報が失われる。そのため、信号処理部１６は、イベントデータどうしの間隔がイベントの発生時のまま維持されなくなる前に、イベントデータに、タイムスタンプ等の、イベントが発生した相対的な時刻を表す時刻情報を含める。
［画素アレイ部の構成例］
　図４は、イベント検出センサ１０における画素アレイ部１２の構成の一例を示すブロック図である。
　複数の画素１１が行列状に２次元配列されて成る画素アレイ部１２において、複数の画素１１のそれぞれは、受光部６１、画素信号生成部６２、及び、イベント検出部６３を有する構成となっている。
　上記の構成の画素１１において、受光部６１は、入射光を光電変換して光電流を生成する。そして、受光部６１は、駆動部１３（図３参照）の制御に従って、画素信号生成部６２及びイベント検出部６３のいずれかに、入射光を光電変換して生成した光電流に応じた電圧の信号を供給する。
　画素信号生成部６２は、受光部６１から供給される光電流に応じた電圧の信号を、アナログの画素信号ＳＩＧとして生成する。そして、画素信号生成部６２は、生成したアナログの画素信号ＳＩＧを、画素アレイ部１２の画素列毎に配線された垂直信号線ＶＳＬを介してカラム処理部１５（図３参照）に供給する。
　イベント検出部６３は、受光部６１のそれぞれからの光電流の変化量が所定の閾値を超えたか否かにより、イベントの発生の有無を検出する。イベントは、例えば、光電流の変化量が上限の閾値を超えた旨を示すオンイベント、及び、その変化量が下限の閾値を下回った旨を示すオフイベントから成る。また、イベントの発生を表すイベントデータは、例えば、オンイベントの検出結果を示す１ビット、及び、オフイベントの検出結果を示す１ビットから成る。尚、イベント検出部６３については、オンイベントのみを検出する構成とすることもできる。
　イベント検出部６３は、イベントが発生した際に、イベントの発生を表すイベントデータの出力を要求するリクエストをアービタ部１４（図３参照）に出力する。そして、イベント検出部６３は、リクエストに対する応答をアービタ部１４から受け取った場合、駆動部１３及び信号処理部１６に対してイベントデータを出力する。
［画素の回路構成例］
　図５は、イベント検出センサ１０における画素アレイ部１２の画素１１の回路構成の一例を示す回路図である。
　上述したように、複数の画素１１のそれぞれは、受光部６１、画素信号生成部６２、及び、イベント検出部６３を有する構成となっている。
　上記の構成の画素１１において、受光部６１は、受光素子（光電変換素子）６１１、転送トランジスタ６１２、及び、転送トランジスタ６１３を有する構成となっている。転送トランジスタ６１２及び転送トランジスタ６１３としては、例えば、Ｎ型のＭＯＳ（Metal Oxide Semiconductor）トランジスタを用いることができる。転送トランジスタ６１２及び転送トランジスタ６１３は、互いに直列に接続されている。
　受光素子６１１は、転送トランジスタ６１２と転送トランジスタ６１３との共通接続ノードＮ1とグランドとの間に接続されており、入射光を光電変換して入射光の光量に応じた電荷量の電荷を生成する。
　転送トランジスタ６１２のゲート電極には、図３に示す駆動部１３から転送信号ＴＲＧが供給される。転送トランジスタ６１２は、転送信号ＴＲＧに応答してオン状態になることにより、受光素子６１１で光電変換されて生成された電気信号を画素信号生成部６２に供給する。
　転送トランジスタ６１３のゲート電極には、駆動部１３から制御信号ＯＦＧが供給される。転送トランジスタ６１３は、制御信号ＯＦＧに応答してオン状態になることにより、受光素子６１１で光電変換されて生成された電気信号をイベント検出部６３に供給する。イベント検出部６３に供給される電気信号は、電荷からなる光電流である。
　画素信号生成部６２は、リセットトランジスタ６２１、増幅トランジスタ６２２、選択トランジスタ６２３、及び、浮遊拡散層６２４を有する構成となっている。リセットトランジスタ６２１、増幅トランジスタ６２２、及び、選択トランジスタ６２３としては、例えば、Ｎ型のＭＯＳトランジスタを用いることができる。
　画素信号生成部６２には、受光部６１の受光素子６１１で光電変換された電荷が、転送トランジスタ６１２によって供給される。受光部６１から供給される電荷は、浮遊拡散層６２４に蓄積される。浮遊拡散層６２４は、蓄積した電荷を、その電荷量に応じた電圧値の電圧信号を生成する。すなわち、浮遊拡散層６２４は、電荷を電圧に変換する電荷電圧変換部である。
　リセットトランジスタ６２１は、電源電圧ＶDDの電源ラインと浮遊拡散層６２４との間に接続されている。リセットトランジスタ６２１のゲート電極には、駆動部１３からリセット信号ＲＳＴが供給される。リセットトランジスタ６２１は、リセット信号ＲＳＴに応答してオン状態になることにより、浮遊拡散層６２４の初期化（リセット）を行う。
　増幅トランジスタ６２２は、電源電圧ＶDDの電源ラインと垂直信号線ＶＳＬとの間に、選択トランジスタ６２３と直列に接続されている。増幅トランジスタ６２２は、浮遊拡散層６２４で電荷電圧変換された電圧信号を増幅する。
　選択トランジスタ６２３のゲート電極には、駆動部１３から選択信号ＳＥＬが供給される。選択トランジスタ６２３は、選択信号ＳＥＬに応答してオン状態になることにより、増幅トランジスタ６２２によって増幅された電圧信号を、アナログの画素信号ＳＩＧとして垂直信号線ＶＳＬを介してカラム処理部１５（図３参照）へ出力する。
　上記の構成の画素１１が２次元配置されて成る画素アレイ部１２を有するイベント検出センサ１０において、駆動部１３は、図１に示す制御部５０によって、イベント検出の開始が指示される。そして、イベント検出の開始が指示されると、駆動部１３は、受光部６１の転送トランジスタ６１３に制御信号ＯＦＧを供給することによって当該転送トランジスタ６１３を駆動し、受光素子６１１で生成された電荷に応じた光電流をイベント検出部６３に供給させる。
　そして、ある画素１１においてイベントが検出されると、駆動部１３は、その画素１１の転送トランジスタ６１３をオフ状態にしてイベント検出部６３への光電流の供給を停止させる。次いで、駆動部１３は、転送トランジスタ６１２に転送信号ＴＲＧを供給することによって当該転送トランジスタ６１２を駆動して、受光素子６１１で光電変換された電荷を浮遊拡散層６２４に転送させる。
　このようにして、上記の構成の画素１１が２次元配置されて成る画素アレイ部１２を有するイベント検出センサ１０は、イベントが検出された画素１１の画素信号のみをカラム処理部１５に出力する。これにより、イベントの有無に関わらず、全画素の画素信号を出力する場合と比較して、イベント検出センサ１０の消費電力や、画像処理の処理量を低減することができる。
　尚、ここで例示した画素１１の構成は一例であって、この構成例に限定されるものではない。例えば、画素信号を出力する必要がない場合には、画素信号生成部６２を備えない画素構成とすることもできる。この画素構成の場合は、受光部６１において、転送トランジスタ６１２を省略すればよい。また、図３のカラム処理部１５がアナログ－デジタル変換機能の持たない構成とすることができる。画素信号を出力しない画素構成とすることにより、イベント検出センサ１０の規模の抑制を図ることができる。
［イベント検出部の構成例］
　図６は、イベント検出センサ１０の画素１１におけるイベント検出部６３の回路構成の一例を示すブロック図である。
　図６に示すように、本例に係るイベント検出部６３は、電流電圧変換部６３１、バッファ６３２、減算部６３３、量子化部６３４、及び、転送部６３５を有する構成となっている。
　電流電圧変換部６３１は、画素１１の受光部６３から供給される光電流を、当該光電流の対数の電圧信号（以下、「光電圧」と記述する場合がある）に変換し、バッファ６３２に供給する。バッファ６３２は、電流電圧変換部６３１から供給される光電圧をバッファリングして減算部６３３に供給する。
　減算部６３３は、現在の光電圧と、現在と微小時間だけ異なる光電圧との差を演算し、その差に対応する差信号を量子化部６３４に供給する。量子化部６３４は、減算部６３３から供給される差信号をデジタル信号に量子化し、差信号のデジタル値を転送部６３５に供給する。
　転送部６３５は、量子化部６３４から差信号のデジタル値が供給されると、イベントデータの送信を要求するリクエストをアービタ部１４に供給する。そして、転送部６３５は、リクエストに対する応答、即ち、イベントデータの出力を許可する旨の応答をアービタ部１４から受け取ると、量子化部６３４から供給される差信号のデジタル値に応じて、イベントデータを、駆動部１３及び信号処理部１６に供給する。
　続いて、イベント検出部６３における電流電圧変換部６３１、減算部６３３、及び、量子化部６３４の構成例について説明する。
（電流電圧変換部の構成例）
　図７は、イベント検出部６３における電流電圧変換部６３１の構成の一例を示す回路図である。
　図７に示すように、本例に係る電流電圧変換部６３１は、トランジスタ６３１１、トランジスタ６３１２、及び、トランジスタ６３１３を有する回路構成となっている。トランジスタ６３１１及びトランジスタ６３１３としては、Ｎ型のＭＯＳトランジスタを用いることができ、トランジスタ６３１２としては、Ｐ型のＭＯＳトランジスタを用いることができる。
　トランジスタ６３１１は、電源電圧ＶDDの電源ラインと信号入力線６３１４との間に接続されている。トランジスタ６３１２及びトランジスタ６３１３は、電源電圧ＶDDの電源ラインとグランドとの間に直列に接続されている。そして、トランジスタ６３１２及びトランジスタ６３１３の共通接続ノードＮ2には、トランジスタ６３１１のゲート電極と、図６に示すバッファ６３２の入力端子とが接続されている。
　トランジスタ６３１２のゲート電極には、所定のバイアス電圧Ｖbiasが印加される。これにより、トランジスタ６３１２は、一定の電流をトランジスタ６３１３に供給する。トランジスタ６３１３のゲート電極には、信号入力線６３１４を通して、受光部６１から光電流が入力される。
　トランジスタ６３１１のドレイン電極は、電源電圧ＶDDの電源ラインに接続されており、ソースフォロワ構成となっている。トランジスタ６３１３のゲート電極は、トランジスタ６３１１のソース電極に接続されている。そして、ソースフォロワ構成のトランジスタ６３１１及びトランジスタ６３１３により、受光部６１からの光電流は、当該光電流の対数に対応する光電圧に変換される。
（減算部及び量子化部の構成例）
　図８は、イベント検出部６３における減算部６３３及び量子化部６３４の構成の一例を示す回路図である。
　本例に係る減算部６３３は、容量素子６３３１、オペアンプ６３３２、容量素子６３３３、及び、スイッチ素子６３３４を有する構成となっている。
　容量素子６３３１の一端は、図６に示すバッファ６３２の出力端子に接続され、容量素子６３３１の他端は、オペアンプ６３３２の入力端子に接続されている。これにより、オペアンプ６３３２の入力端子に、バッファ６３２から供給される光電圧が、容量素子６３３１を介して入力される。
　容量素子６３３３は、オペアンプ６３３２に対して並列に接続されている。スイッチ素子６３３４は、容量素子６３３３の両端間に接続されている。スイッチ素子６３３４には当該スイッチ素子６３３４を開閉する制御信号として、図３に示すアービタ部１４からリセット信号が供給される。スイッチ素子６３３４は、リセット信号に応じて、容量素子６３３３の両端を接続する経路を開閉する。
　上記の構成の減算部６３３において、スイッチ素子６３３４をオン（閉）状態とした際に、容量素子６３３１のバッファ６３２側の端子に入力される光電圧をＶinitとする。容量素子６３３１のバッファ６３２側の端子に光電圧Ｖinitが入力されたとき、その逆側の端子は仮想接地端子となる。この仮想接地端子の電位を、便宜上、ゼロとする。このとき、容量素子６３３１の容量値をＣ1とすると、容量素子６３３１に蓄積されている電荷Ｑinitは、次式（１）により表される。
　　Ｑinit＝Ｃ1×Ｖinit　　　　　　　　　　　　　・・・（１）
　また、スイッチ素子６３３４をオン状態である場合には、容量素子６３３３の両端は短絡されているため、容量素子６３３３に蓄積される電荷はゼロとなる。その後、スイッチ素子６３３４がオフ（開）状態となる。スイッチ素子６３３４がオフ状態の場合の、容量素子６３３１のバッファ６３２側の端子の光電圧をＶafterと表すこととする。スイッチ素子６３３４がオフ状態になった場合に容量素子６３３１に蓄積される電荷Ｑafterは、次式（２）により表される。
　　Ｑafter＝Ｃ1×Ｖafter  　　　　　　　　　　　・・・（２）
　容量素子６３３３の容量値をＣ2と表すとともに、オペアンプ６３３２の出力電圧をＶoutと表すこととすると、容量素子６３３３に蓄積される電荷Ｑ2は、次式（３）により表される。
　　Ｑ2＝－Ｃ2×Ｖout　　　　　　　　　　　　　　・・・（３）
　スイッチ素子６３３４がオフする前後で、容量素子６３３１の電荷量と容量素子６３３３の電荷量とを合わせた総電荷量は変化しないため、次の式（４）が成立する。
　　Ｑinit＝Ｑafter＋Ｑ2  　　　　　　　　　　 　・・・（４）
　式（４）に式（１）乃至式（３）を代入すると、次式（５）が得られる。
　　Ｖout＝－（Ｃ1／Ｃ2）×（Ｖafter－Ｖinit） 　・・・（５）
　式（５）によれば、減算部６３３では、光電圧Ｖinitと光電圧Ｖafterとの減算、即ち、光電圧Ｖinitと光電圧Ｖafterとの差（Ｖinit－Ｖafter）に対応する差信号Ｖoutの算出が行われる。また、式（５）によれば、減算部６３３の減算の利得はＣ1／Ｃ2となる。通常、減算部６３３の減算の利得を最大化することが望まれるため、容量素子６３３１の容量値Ｃ1を大きく、容量素子６３３３の容量値Ｃ2を小さく設計することが好ましい。
　一方、容量素子６３３３の容量値Ｃ2が小さすぎると、ｋＴＣノイズが増大し、ノイズ特性が悪化するおそれがあるため、容量素子６３３３の容量値Ｃ2の容量削減は、ノイズを許容することができる範囲に制限される。また、画素１１毎に減算部６３３を含むイベント検出部６３が搭載されるため、容量素子６３３１や容量素子６３３３には、面積上の制約がある。これらを考慮して、容量素子６３３１の容量値Ｃ1及び容量素子６３３３の容量値Ｃ2が決定される。
　図８において、量子化部６３４は、コンパレータ６３４１を有する構成となっている。コンパレータ６３４１は、減算部６３３からの差信号（即ち、オペアンプ６３３２の出力信号）を非反転（＋）入力とし、所定の閾値電圧Ｖthを反転（－）入力としている。そして、コンパレータ６３４１は、減算部６３３からの差信号Ｖoutと所定の閾値電圧Ｖthとを比較し、比較結果を表す、高レベル又は低レベルを、差信号Ｖoutの量子化値として、図６に示す転送部６３５に出力する。
　転送部６３５は、量子化部６３４からの差信号Ｖoutの量子化値から、イベントとしての光量変化（輝度変化）が発生したと認められる場合、即ち、差信号Ｖoutが所定の閾値電圧Ｖthよりも大きい（又は、小さい）場合に、イベントの発生を表す、例えば高レベルのイベントデータを、図３の信号処理部１６に出力する。すなわち、閾値電圧Ｖthは、画素１１の光量変化（輝度変化）に基づいてイベントを検出する閾値である。
　信号処理部１６は、転送部６３５から供給されるイベントデータに、そのイベントデータが表すイベントを検出した画素１１の位置情報、及び、イベントが発生した時刻を表す時刻情報、更には、必要に応じて、イベントとしての光量変化の極性情報を含めて出力する。
　イベントを検出した画素１１の位置情報、イベントが発生した時刻を表す時刻情報、及び、イベントとしての光量変化の極性情報を含むイベントデータのデータ形式としては、例えば、ＡＥＲ（Address Event Representation）と呼ばれるデータ形式を採用することができる。
　尚、画素１１では、カラーフィルタ等の所定の光を透過する光学フィルタを設けること等によって、入射光として、任意の光を受光することができる。例えば、画素１１において、入射光として、可視光を受光する場合、イベントデータは、視認することができる被写体が映る画像における画素値の変化の発生を表す。また、例えば、画素１１において、入射光として、測距のための赤外線やミリ波等を受光する場合、イベントデータは、被写体までの距離の変化の発生を表す。更に、例えば、画素１１において、入射光として、温度の測定のための赤外線を受光する場合、イベントデータは、被写体の温度の変化の発生を表す。本実施形態では、画素１１において、入射光として、可視光を受光することとする。
［チップ構造の構成例］
　以上説明したイベント検出センサ１０のチップ（半導体集積回路）構造としては、例えば、積層型のチップ構造を採ることができる。図９は、イベント検出センサ１０の積層型のチップ構造の概略を示す分解斜視図である。
　図９に示すように、積層型のチップ構造、所謂、積層構造は、第１のチップである受光チップ１０１、及び、第２のチップである検出チップ１０２の少なくとも２つのチップが積層された構造となっている。そして、図５に示す画素１１の回路構成において、受光素子６１１のそれぞれが受光チップ１０１上に配置され、受光素子６１１以外の素子の全てや、画素１１の他の回路部分の素子などが検出チップ１０２上に配置される。受光チップ１０１と検出チップ１０２とは、ビア（ＶＩＡ）、Ｃｕ－Ｃｕ接合、バンプなどの接続部を介して電気的に接続される。
　尚、ここでは、受光素子６１１を受光チップ１０１に配置し、受光素子６１１以外の素子や画素１１の他の回路部分の素子などを検出チップ１０２に配置する構成例を例示したが、この構成例に限られるものではない。
　例えば、図５に示す画素１１の回路構成において、受光部６１の各素子を受光チップ１０１に配置し、受光部６１以外の素子や画素１１の他の回路部分の素子などを検出チップ１０２に配置する構成とすることができる。また、受光部６１の各素子、及び、画素信号生成部６２のリセットトランジスタ６２１、浮遊拡散層６２４を受光チップ１０１に配置し、それ以外の素子を検出チップ１０２に配置する構成とすることができる。更には、イベント検出部６３を構成する素子の一部を、受光部６１の各素子などと共に受光チップ１０１に配置する構成とすることができる。
［カラーフィルタの必要性について］
　ところで、車両の走行中に、運転者の目には、自車の前を走行中の車のブレーキランプやテールランプの点灯（点滅）、方向指示器の点滅、信号機の色の変化、電光標識等、種々の波長帯の情報、特に、Ｒ（赤色）の波長帯の情報（ブレーキランプ、テールランプ、信号機の赤信号等）が飛び込んでくる。これら各種の情報については、基本的に、運転者が目視で検出し、その内容を判断することになるが、イベント検出センサ１０が運転者と同様にその検出、判断を行うことができれば非常に便利である。
　そこで、本実施形態に係る撮像システム１Ａでは、イベント検出センサ１０に画素１１毎に、波長選択素子の一例であるカラーフィルタを設け、それぞれの画素１１における閾値検出を行うことにより、色毎のイベント検出を可能にする。そして、図１に示す動き認識部３０においては、色毎にイベント検出した物体の動き検出を行う。これにより、各波長帯における色毎のイベント信号を、車のブレーキランプやテールランプの点灯（点滅）、方向指示器の点滅、信号機の色の変化、電光標識等の検出（検知）に活用することができる。
　ここでは、カラーフィルタの配列について、水平方向（行方向）２画素×垂直方向（列方向）２画素の、所謂、２×２画素の画素群を単位とする場合を例示する。但し、カラーフィルタの配列の単位となる画素群として、２×２画素は、一例であって、２×２画素に限られるものではない。
　２×２画素を単位とするとき、カラーフィルタの配列として、図１０Ａに示す、Ｒ（赤色）の画素とＣ（クリア）の画素とを組み合わせたＲＣＣＣフィルタや、Ｒの画素及びＣの画素にＢ（青色）の画素を組み合わせたＲＣＣＢフィルタや、Ｒの画素、Ｇ（緑色）、及び、Ｂの画素を組み合わせたＲＧＢベイヤー配列のフィルタを例示することができる。尚、Ｃ（クリア）の画素は、色フィルタが設けられていないか、透明のフィルタが設けられている画素であり、Ｗ（白色）の画素と同様の画素である。
　上記の３種類のカラーフィルタの配列のうち、特に、Ｒ（赤色）の画素とＣ（クリア）の画素とを組み合わせたＲＣＣＣフィルタは、月明かりの夜間に相当する低照度でも、遠方の障害物や人物などを撮像できる高感度を実現できる。また、ＲＣＣＣフィルタは、例えば、車載センシング等で重要となる赤色の波長帯の光（例えば、テールランプや信号機の赤信号等）の検出精度を向上させることができる。
　カラーフィルタの配列として、図１０Ａに示す３例の他に、図１０Ｂに示す、Ｒの画素、Ｃ（クリア）の画素、Ｇの画素、及び、Ｂの画素を組み合わせたＲＣＧＢフィルタや、Ｒの画素、ＩＲ（赤外光）の画素、Ｇの画素、及び、Ｂの画素を組み合わせたＲＩＲ（赤外光）ＧＢフィルタや、Ｇの画素、Ｍｇ（マゼンタ）の画素、Ｃｙ（シアン）の画素、及び、Ｙｅ（イエロー）の画素を組み合わせたＧＭｇＣｙＹｅフィルタを例示することができる。但し、カラーフィルタの配列としては、図１０Ａや図１０Ｂに例示する配列に限られるものではない。
［４画素共有の画素の回路構成例］
　ここで、カラーフィルタの配列がＲＧＢベイヤー配列の場合を例に挙げて、画素１１の回路構成について説明する。基本的には、図５に示すように、１つの画素１１毎に、受光部６１に対して、画素信号生成部６２及びイベント検出部６３が設けられる訳であるが、以下に示す回路構成例のように、例えば、２×２画素の４画素を単位として、４つの受光部６１間で、画素信号生成部６２及びイベント検出部６３を共有する回路構成とすることもできる。
　図１１は、４画素共有の画素の回路構成例を示す回路図である。図１１には、２×２画素の４画素を単位とする画素ブロックＰＢの回路構成例を図示している。図１１に示すように、画素ブロックＰＢは、例えば、受光部６１、画素信号生成部６２、イベント検出部６３、及び、ロジック回路６４を備える構成となっている。
　尚、図１１において、画素信号生成部６２及びイベント検出部６３は、図５における画素信号生成部６２及びイベント検出部６３に相当しており、基本的な回路構成については同様であるため、ここでは、その詳細な説明については省略する。ロジック回路６４は、図３における駆動部１３、信号処理部１６、及び、アービタ部１４から成る。
　カラーフィルタの配列がＲＧＢベイヤー配列の場合、４画素共有の受光部６１は、赤色（Ｒ）のカラーフィルタを備える受光素子６１１Ｒ、緑色（Ｇｒ）のカラーフィルタを備える受光素子６１１Ｇｒ、緑色（Ｇｂ）のカラーフィルタを備える受光素子６１１Ｇｂ、及び、青色（Ｂ）のカラーフィルタを備える受光素子６１１Ｂを有する。受光部６１は更に、４つの受光素子６１１Ｒ，６１１Ｇｒ，６１１Ｇｂ，６１１Ｂ毎に設けられた４つの転送トランジスタ６１２Ｒ，６１２Ｇｒ，６１２Ｇｂ，６１２Ｂ、及び、４つの受光素子６１１Ｒ，６１１Ｇｒ，６１１Ｇｂ，６１１Ｂに対して共通に設けられた転送トランジスタ６１３を有する。
　４つの転送トランジスタ６１２Ｒ，６１２Ｇｒ，６１２Ｇｂ，６１２Ｂの各ゲート電極には、ロジック回路６４の駆動部１３から転送信号ＴＲＧR，ＴＲＧGr，ＴＲＧGb，ＴＲＧBが供給される。転送トランジスタ６１３のゲート電極には、駆動部１３から制御信号ＯＦＧが供給される。転送トランジスタ６１２Ｒ，６１２Ｇｒ，６１２Ｇｂ，６１２Ｂを介して受光素子６１１Ｒ，６１１Ｇｒ，６１１Ｇｂ，６１１Ｂから出力される信号は、ノードＮ61で統合される。ノードＮ61は、画素信号生成部６２の出力端に接続されているとともに、転送トランジスタ６１３を介してイベント検出部６３の入力端に接続されている。
　上記の構成の４画素共有の画素の回路構成例において、例えば、赤色（Ｒ）のカラーフィルタを備える受光素子６１１Ｒの輝度変化を検出（イベント検出）する場合には、転送トランジスタ６１２Ｒのみを導通状態にするようにすればよい。また、赤色（Ｒ）のイベント検出を行った後、全ての転送トランジスタ６１２Ｒ，６１２Ｇｒ，６１２Ｇｂ，６１２Ｂを順次導通状態にすることで、例えば、検出したイベントの輝度値を、より高い精度で検出することができるため、イベント検出センサ１０では、イベント検出のみならず、画像の取得も可能となる。
　上記の回路構成例によれば、例えば、２×２画素の４画素を単位として、４つの受光部６１間で、画素信号生成部６２及びイベント検出部６３を共有しているため、画素共有をとらない場合に比べて、画素１１の回路規模の縮小化を図ることができる。
　以下に、第１実施形態に係る撮像システム１Ａにおいて、カラーフィルタを備える画素１１の情報から特定の波長帯でイベントを検出し、その検出結果に基づいて所定の信号処理を行う具体的な実施例について説明する。尚、以下に説明する各実施例の処理は、基本的に、図１に示す撮像システム１Ａにおける制御部５０による制御の下に実行される。
＜実施例１＞
　実施例１は、第１実施形態の最上位概念の処理の例である。実施例１に係る最上位概念の処理の流れを図１２のフローチャートに示す。
　第１実施形態に係る撮像システム１Ａを搭載した車の走行中において、制御部５０は、特定の波長帯のフィルタを備える画素１１の信号を基に、特定の波長帯でイベント検出を行い（ステップＳ１１）、次いで、図１に示す動き認識部３０において、イベントとして検出した物体の動き検出を行う（ステップＳ１２）。
　次に、制御部５０は、図２に示すＲＯＩ抽出部４１において、動き検出した場所で、物体認識を行うための特定の領域ＲＯＩの抽出を行い（ステップＳ１３）、次いで、図２に示す認識処理部４２において、抽出したＲＯＩの部分で物体認識を行う（ステップＳ１４）。
　次に、制御部５０は、物体認識により、注目すべき物体として認識したか否かを判断し（ステップＳ１５）、注目すべき物体として認識していない場合は（Ｓ１５のＮｏ）、ステップＳ１１に戻る。制御部５０は、注目すべき物体として認識した場合は（Ｓ１５のＹｅｓ）、注目すべき物体に基づく所定の信号処理を実行し（ステップＳ１６）、実施例１に係る最上位概念の一連の処理を終了する。
　上述したように、実施例１では、特定の波長帯でイベント検出、及び、イベント検出した物体の動き検出を行い、注目すべき物体として認識した場合に、その物体に基づく所定の信号処理を行う。これにより、種々の波長帯の情報をイベントとして検出することができる。具体的には、車の走行中に、運転者の目に、自車の前を走行中の車のブレーキランプやテールランプの点灯（点滅）、方向指示器の点滅、信号機の色の変化、電光標識等、種々の波長帯の情報が飛び込んでくる訳であるが、運転者と同様に、撮像システム１Ａがその検出、判断を行うことができる。
　ここで、「所定の信号処理」とは、例えば、図２９に示す車両制御システム１２０００の例えば駆動系制御ユニット１２０１０に対して、各種の自動制御等のための指令信号を送信する処理である。車両制御システム１２０００では、イベント検出センサ１０からの指令信号を受信すると、自動制御によってブレーキをかけたり、アラート表示を行って運転者に注意を喚起したりするなどの各種の制御を自動的に行うことになる。
＜実施例２＞
　実施例２は、自車の前を走行する車のテールランプを検知する例である。実施例２に係るテールランプ検知のための処理の流れを図１３のフローチャートに示す。実施例２では、イベント検出センサ１０に画素１１毎に設けられるカラーフィルタとして、例えば図１０Ａに示すＲＣＣＣフィルタを用いるものとする。ＲＣＣＣフィルタの場合、赤色（Ｒ）が特定の波長帯となる。後述する実施例においても同様である。
　第１実施形態に係る撮像システム１Ａを搭載した車の走行中において、制御部５０は、赤色の波長帯でイベント検出を行い（ステップＳ２１）、次いで、動き認識部３０において、イベントとして検出した物体の動き検出を行う（ステップＳ２２）。次に、制御部５０は、ＲＯＩ抽出部４１において、動き検出した場所で、ＲＯＩの抽出を行い（ステップＳ２３）、次いで、認識処理部４２において、抽出したＲＯＩの部分で物体認識を行う（ステップＳ２４）。
　次に、制御部５０は、物体認識により、自車の前を走行する車のテールランプとして認識したか否かを判断し（ステップＳ２５）、テールランプとして認識していない場合は（Ｓ２５のＮｏ）、ステップＳ２１に戻る。制御部５０は、テールランプとして認識した場合は（Ｓ２５のＹｅｓ）、ブレーキ制御やアラート表示等の指示信号を、図１に示すインターフェース８０を介して、図２９に示す車両制御システム１２０００の駆動系制御ユニット１２０１０に対して送信する（ステップＳ２６）。そして、実施例２に係るテールランプ検知のための一連の処理を終了する。
　車両制御システム１２０００の駆動系制御ユニット１２０１０は、ブレーキ制御やアラート表示等の指示信号を、第１実施形態に係る撮像システム１Ａから受信すると、自動制御によってブレーキをかけたり、アラート表示を行って運転者に注意を喚起したりするなどの制御を行うことになる。
　上述したように、実施例２では、赤色の波長帯でイベント検出、及び、イベント検出した物体の動き検出を行い、自車の前を走行する車のテールランプとして認識した場合に、自車の前を走行する他車との車間距離が、他車のテールランプを認識できる程度に近いと判断する。そして、車両制御システム１２０００の駆動系制御ユニット１２０１０に対して、ブレーキ制御やアラート表示等の指示信号を送信する。これにより、車両制御システム１２０００では、自動制御によってブレーキをかけたり、アラート表示を行って運転者に注意を喚起したりするなどの制御を行うことができるため、安全走行に寄与するできることがことになる。
　尚、実施例２では、テールランプの認識処理の際に、物体認識によってテールランプとして認識するとしたが、テールランプのフリッカを検出して物体認識（物体検知）の情報として用いるようにしてもよい。
＜実施例３＞
　実施例３は、自車の前を走行する車を認識した上でテールランプを検知する例である。実施例３に係る車認識及びテールランプ検知のための処理の流れを図１４のフローチャートに示す。
　第１実施形態に係る撮像システム１Ａを搭載した車の走行中において、制御部５０は、全波長帯でイベント検出を行い（ステップＳ３１）、次いで、動き認識部３０において、イベントとして検出した物体の動き検出を行う（ステップＳ３２）。次に、制御部５０は、ＲＯＩ抽出部４１において、動き検出した場所で、ＲＯＩの抽出を行い（ステップＳ３３）、次いで、認識処理部４２において、抽出したＲＯＩの部分で物体認識を行う（ステップＳ３４）。
　次に、制御部５０は、物体認識により、前を走行する車として認識したか否かを判断し（ステップＳ３５）、車として認識していない場合は（Ｓ３５のＮｏ）、ステップＳ３１に戻る。制御部５０は、車として認識している場合は（Ｓ３５のＹｅｓ）、車と認識したエリア内にて、赤色のイベント信号エリアを抽出する（ステップＳ３６）。
　次に、制御部５０は、認識処理部４２における物体認識により、テールランプとして認識したか否かを判断し（ステップＳ３７）、テールランプとして認識していない場合は（Ｓ３７のＮｏ）、ステップＳ３６に戻る。制御部５０は、テールランプとして認識した場合は（Ｓ３７のＹｅｓ）、ブレーキ制御やアラート表示等の指示信号を、インターフェース８０を介して、図２９に示す車両制御システム１２０００の駆動系制御ユニット１２０１０に対して送信する（ステップＳ３８）。そして、実施例３に係る車認識及びテールランプ検知のための一連の処理を終了する。
　車両制御システム１２０００の駆動系制御ユニット１２０１０は、ブレーキ制御やアラート表示等の指示信号を、第１実施形態に係る撮像システム１Ａから受信すると、自動制御によってブレーキをかけたり、アラート表示を行って運転者に注意を喚起したりするなどの制御を行うことになる。
　上述したように、実施例３では、全波長帯でイベント検出、及び、イベント検出した物体の動き検出を行い、自車の前を走行する車を認識した上で、テールランプの認識処理が行われる。これにより、自車の前を走行する車のテールランプを直接認識する実施例２の場合よりも、テールランプの認識精度を上げることができる。
　尚、実施例３では、テールランプの認識処理の際に、物体認識によってテールランプとして認識するとしたが、テールランプのフリッカを検出して物体認識（物体検知）の情報として用いるようにしてもよい。
＜実施例４＞
　実施例４は、実施例３の変形例であり、テールランプを認識したとき、自車と他車（自車の前を走行する車）との相対速度を検出する例である。実施例４に係る車認識及びテールランプ検知のための処理の流れを図１５のフローチャートに示す。
　実施例４では、図１４に示す実施例３のフローチャートにおけるステップＳ３７とステップＳ３８との間に、ステップＳ４１及びステップＳ４２を挿入した処理となる。制御部５０は、ステップＳ３７でテールランプとして認識したら（Ｓ３７のＹｅｓ）、自車と他車（自車の前を走行する車）との相対速度を検出／算出し（ステップＳ４１）、次いで、相対速度が所定の閾値（相対速度）以上であるか否かを判断する（ステップＳ４２）。
　制御部５０は、相対速度が所定の閾値未満である場合は（Ｓ４２のＮｏ）、ステップＳ４１に戻り、相対速度が所定の閾値以上である場合は（Ｓ４２のＹｅｓ）は、ブレーキ制御やアラート表示等の指示信号を、インターフェース８０を介して、図２９に示す車両制御システム１２０００の駆動系制御ユニット１２０１０に対して送信する（ステップＳ３８）。そして、実施例４に係る車認識及びテールランプ検知のための一連の処理を終了する。
　上述したように、実施例４では、自車の前を走行する車（他車）のテールランプを認識したとき、自車と他車との相対速度を検出／算出し、当該相対速度が所定の閾値（相対速度）以上である場合は、自車が前を走行する車に急接近する可能性があると判断する。これにより、相対速度を検出しない実施例３の場合よりも、より安全走行に寄与することができることになる。
＜実施例５＞
　実施例５は、自車の前を走行する車を認識した上で、方向指示器（ウインカー）を検知する例である。実施例５に係る車認識及び方向指示器検知のための処理の流れを図１６のフローチャートに示す。
　第１実施形態に係る撮像システム１Ａを搭載した車の走行中において、制御部５０は、全波長帯でイベント検出を行い（ステップＳ５１）、次いで、動き認識部３０において、イベントとして検出した物体の動き検出を行う（ステップＳ５２）。次に、制御部５０は、ＲＯＩ抽出部４１において、動き検出した場所で、ＲＯＩの抽出を行い（ステップＳ５３）、次いで、認識処理部４２において、抽出したＲＯＩの部分で物体認識を行う（ステップＳ５４）。
　次に、制御部５０は、物体認識により、前を走行する車として認識したか否かを判断し（ステップＳ５５）、車として認識していない場合は（Ｓ５５のＮｏ）、ステップＳ５１に戻る。制御部５０は、車として認識した場合は（Ｓ５５のＹｅｓ）、車と認識したエリア内にて、黄色又は赤色のイベント信号エリアを抽出する（ステップＳ５６）。
　次に、制御部５０は、認識処理部４２における物体認識により、方向指示器として認識したか否かを判断し（ステップＳ５７）、方向指示器として認識していない場合は（Ｓ５７のＮｏ）、ステップＳ５６に戻る。制御部５０は、方向指示器として認識した場合は（Ｓ５７のＹｅｓ）、方向指示器の指示内容に伴う自車の制御のための指示信号を、インターフェース８０を介して、図２９に示す車両制御システム１２０００の駆動系制御ユニット１２０１０に対して送信する（ステップＳ５８）。そして、実施例５に係る車認識及び方向指示器検知のための一連の処理を終了する。
　上述したように、実施例５では、全波長帯でイベント検出、及び、イベント検出した物体の動き検出を行い、自車の前を走行する車を認識した上で、認識した車のエリア内の方向指示器の認識処理が行われる。そして、方向指示器の指示内容（右折、左折、ハザード）に応じて自車を制御するための指示信号を、車両制御システム１２０００の駆動系制御ユニット１２０１０に対して送信する。
　ここで、「方向指示器の指示内容に伴う自車の制御」としては、例えば、前の車が右折の方向指示を出したときは、自車の前方を走行する車が、右折によって前方に存在しなくなる訳であるから、車両制御システム１２０００の駆動系制御ユニット１２０１０に対して車速を上げる制御が考えられる。あるいは、前の車の方向指示器がハザード（点滅表示）のときは、前方を走行する車が停止する可能性が高いことから、車両制御システム１２０００の駆動系制御ユニット１２０１０に対して、例えば自動でブレーキをかける制御が考えられる。
　尚、実施例５では、方向指示器の認識処理の際に、物体認識によって方向指示器として認識するとしたが、方向指示器のフリッカを検出して物体認識（物体検知）の情報として用いるようにしてもよい。
＜実施例６＞
　実施例６は、信号機を認識し、赤信号を検知する例である。実施例６に係る信号機認識及び赤信号検知のための処理の流れを図１７のフローチャートに示す。
　第１実施形態に係る撮像システム１Ａを搭載した車の走行中において、制御部５０は、全波長帯でイベント検出を行い（ステップＳ６１）、次いで、動き認識部３０において、イベントとして検出した物体の動き検出を行う（ステップＳ６２）。次に、制御部５０は、ＲＯＩ抽出部４１において、動き検出した場所で、ＲＯＩの抽出を行い（ステップＳ６３）、次いで、認識処理部４２において、抽出したＲＯＩの部分で物体認識を行う（ステップＳ６４）。
　次に、制御部５０は、物体認識により、信号機として認識したか否かを判断し（ステップＳ６５）、信号機として認識していない場合は（Ｓ６５のＮｏ）、ステップＳ６１に戻る。制御部５０は、信号機として認識した場合は（Ｓ６５のＹｅｓ）、信号機と認識したエリア内にて、赤色のイベント信号エリアを抽出する（ステップＳ６６）。
　次に、制御部５０は、認識処理部４２における物体認識により、信号機の表示内容を赤信号として認識したか否かを判断し（ステップＳ６７）、赤信号として認識していない場合は（Ｓ６７のＮｏ）、ステップＳ６６に戻る。制御部５０は、赤信号として認識した場合は（Ｓ６７のＹｅｓ）、ブレーキ制御やアラート表示等の指示信号を、インターフェース８０を介して、図２９に示す車両制御システム１２０００の駆動系制御ユニット１２０１０に対して送信する（ステップＳ６８）。そして、実施例６に係る信号機認識及び赤信号検知のための一連の処理を終了する。
　上述したように、実施例６では、全波長帯でイベント検出、及び、イベント検出した物体の動き検出を行い、その物体が信号機で、その表示内容が赤信号の場合に、車両制御システム１２０００の駆動系制御ユニット１２０１０に対して、ブレーキ制御やアラート表示等の指示信号を送信する。これにより、車両制御システム１２０００では、自動制御によってブレーキをかけたり、アラート表示を行って運転者に注意を喚起したりするなどの制御を行うことができるため、安全走行に寄与することができることになる。
　尚、実施例６では、信号機の認識処理の際に、物体認識によって信号機として認識するとしたが、信号機のフリッカ情報（例えば、周波数やデューティ比等）を検出して物体認識（物体検知）の情報として用いるようにしてもよい。
＜実施例７＞
　実施例７は、実施例６の変形例であり、信号機の赤信号→青信号の変化を検知する例である。実施例７に係る信号機認識及び赤信号→青信号の変化検知のための処理の流れを図１８のフローチャートに示す。
　実施例７では、図１７に示す実施例６のフローチャートにおけるステップＳ７８以降の処理として、ステップＳ７１乃至ステップＳ７３を挿入した処理となる。制御部５０は、赤信号として認識し、ブレーキ制御やアラート表示等の指示信号を送信したら（ステップＳ６８）、信号機と認識したエリア内の青信号の波長帯でイベント検出を行い（ステップＳ７１）、次いで、青信号として認識したか否かを判断する（ステップＳ７２）。
　制御部５０は、青信号として認識していない場合は（Ｓ７２のＮｏ）、ステップＳ６１に戻り、青信号として認識した場合は（Ｓ７２のＹｅｓ）、エンジン作動、発進指示等の指示信号を、インターフェース８０を介して、図２９に示す車両制御システム１２０００の駆動系制御ユニット１２０１０に対して送信する（ステップＳ７３）。そして、実施例７に係る信号機認識及び赤信号→青信号の変化検知のための一連の処理を終了する。
　上述したように、実施例７では、信号機が赤信号の状態において、信号機が赤信号から青信号に変わったとき、車両制御システム１２０００の駆動系制御ユニット１２０１０に対して、エンジン作動、発進指示等の指示信号を送信する。これにより、車両制御システム１２０００では、例えば、自動的にエンジンを作動させ、車を発進させる制御を行うことができるため、信号機の見落としで発進が遅れるなどの問題の発生を未然に防止することができる。
　尚、信号機の赤信号→青信号の変化として認識する際に、信号機と認識したエリアで青色又は緑色の閾値を低く設定、又は、他のエリアで当該閾値を高く設定し、青信号のみを検出できるようにしてもよい。
≪本開示の第２実施形態≫
＜第２実施形態に係る撮像システムの構成例＞
　図１９は、本開示の第２実施形態に係る撮像システムのシステム構成の一例を示すブロック図である。
　図１９に示すように、本開示の第２実施形態に係る撮像システム１Ｂは、イベント検出センサ１０、画像センサ２０、動き認識部３０、物体認識部４０、制御部５０、オペレーションパターン定義部６０、及び、記録部７０を有する構成となっている。
　イベント検出センサ１０、動き認識部３０、物体認識部４０、制御部５０、オペレーションパターン定義部６０、及び、記録部７０の機能等については、第１実施形態に係る撮像システム１Ａにおいて説明した通りである。尚、イベント検出センサ１０は、第１実施形態に係る撮像システム１Ａと同様に、例えば、図１０Ａや図１０Ｂに示すカラーフィルタを備えている。また、第２実施形態に係る撮像システム１Ｂも、第１実施形態に係る撮像システム１Ａと同様に、車両等の移動体に搭載して用いることができる。
＜画像センサの構成例＞
　第２実施形態に係る撮像システム１Ｂにおける画像センサ２０の基本的な構成について説明する。ここでは、画像センサ２０として、Ｘ－Ｙアドレス方式の画像センサの一種であるＣＭＯＳ型イメージセンサを例に挙げて説明する。ＣＭＯＳ型イメージセンサは、ＣＭＯＳプロセスを応用して、又は、部分的に使用して作製されたイメージセンサである。但し、画像センサ２０としては、ＣＭＯＳ型イメージセンサに限られるものではない。
［ＣＭＯＳ型イメージセンサの構成例］
　図２０は、第２実施形態に係る撮像システム１Ｂにおける画像センサ２０の一例であるＣＭＯＳ型イメージセンサの構成の概略を示すブロック図である。
　本例に係る画像センサ２０は、受光部（光電変換部）を含む画素２１が行方向及び列方向に、即ち、行列状に２次元配置されて成る画素アレイ部２２、及び、当該画素アレイ部２２の周辺回路部を有する構成となっている。ここで、行方向とは、画素行の画素２１の配列方向を言い、列方向とは、画素列の画素２１の配列方向を言う。画素２１は、光電変換を行うことにより、受光した光量に応じた光電荷を生成し、蓄積する。
　本例に係る画像センサ２０は、画素アレイ部２２の各画素２１に、例えば、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）の各色フィルタが組み込まれたＲＧＢセンサである。但し、画像センサ２０は、ＲＧＢセンサに限られるものではない。
　画素アレイ部２２の周辺回路部は、例えば、行選択部２３、定電流源部２４、アナログ－デジタル変換部２５、水平転送走査部２６、信号処理部２７、及び、タイミング制御部２８等によって構成されている。
　画素アレイ部２２において、行列状の画素配列に対し、画素行毎に画素駆動線３１1～３１m（以下、総称して「画素駆動線３１」と記述する場合がある）が行方向に沿って配線されている。また、画素列毎に垂直信号線３２1～３２n（以下、総称して「垂直信号線３２」と記述する場合がある）が列方向に沿って配線されている。画素駆動線３１は、画素２１から信号を読み出す際の駆動を行うための駆動信号を伝送する。図１では、画素駆動線３１について１本の配線として図示しているが、１本に限られるものではない。画素駆動線３１の一端は、行選択部２３の各行に対応した出力端に接続されている。
　以下に、画素アレイ部２２の周辺回路部の各回路部、即ち、行選択部２３、定電流源部２４、アナログ－デジタル変換部２５、水平転送走査部２６、信号処理部２７、及び、タイミング制御部２８について説明する。
　行選択部２３は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部２２の各画素２１の選択に際して、画素行の走査や画素行のアドレスを制御する。この行選択部２３は、その具体的な構成については図示を省略するが、一般的に、読出し走査系と掃出し走査系の２つの走査系を有する構成となっている。
　読出し走査系は、画素２１から画素信号を読み出すために、画素アレイ部２２の各画素２１を行単位で順に選択走査する。画素２１から読み出される画素信号はアナログ信号である。掃出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対して、その読出し走査よりもシャッタスピードの時間分だけ先行して掃出し走査を行う。
　この掃出し走査系による掃出し走査により、読出し行の画素２１の受光部（光電変換部）から不要な電荷が掃き出されることによって当該受光部がリセットされる。そして、この掃出し走査系による不要電荷の掃き出す（リセットする）ことにより、所謂、電子シャッタ動作が行われる。ここで、電子シャッタ動作とは、受光部の光電荷を捨てて、新たに露光を開始する（光電荷の蓄積を開始する）動作のことを言う。
　定電流源部２４は、画素列毎に垂直信号線３２1～３２nの各々に接続された、例えばＭＯＳトランジスタから成る複数の電流源Ｉ（図１８参照）を備えており、行選択部２３によって選択走査された画素行の各画素２１に対し、垂直信号線３２1～３２nの各々を通してバイアス電流を供給する。
　アナログ－デジタル変換部２５は、画素アレイ部２２の画素列に対応して設けられた（例えば、画素列毎に設けられた）複数のアナログ－デジタル変換器の集合から成る。アナログ－デジタル変換部２５は、画素列毎に垂直信号線３２1～３２nの各々を通して出力されるアナログの画素信号を、デジタル信号に変換する列並列型のアナログ－デジタル変換部である。
　列並列アナログ－デジタル変換部２５におけるアナログ－デジタル変換器としては、例えば、参照信号比較型のアナログ－デジタル変換器の一例であるシングルスロープ型のアナログ－デジタル変換器を用いることができる。但し、アナログ－デジタル変換器としては、シングルスロープ型のアナログ－デジタル変換器に限られるものではなく、逐次比較型のアナログ－デジタル変換器やデルタ－シグマ変調型（ΔΣ変調型）のアナログ－デジタル変換器などを用いることができる。
　この列並列アナログ－デジタル変換部２５におけるアナログ－デジタル変換器の例については、先述したイベント検出センサ１０のカラム処理部１５（図３参照）を構成するアナログ－デジタル変換部におけるアナログ－デジタル変換器においても同様である。
　水平転送走査部２６は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部２２の各画素２１の信号の読出しに際して、画素列の走査や画素列のアドレスを制御する。この水平転送走査部２６による制御の下に、アナログ－デジタル変換部２５でデジタル信号に変換された画素信号が画素列単位で水平転送線（水平出力線）２９に読み出される。
　信号処理部２７は、水平転送線２９を通して供給されるデジタルの画素信号に対して、所定の信号処理を行い、２次元の画像データを生成する。例えば、信号処理部２７は、縦線欠陥、点欠陥の補正、又は、信号のクランプを行ったり、パラレル－シリアル変換、圧縮、符号化、加算、平均、及び、間欠動作などデジタル信号処理を行ったりする。信号処理部２７は、生成した画像データを、本画像センサ２０の出力信号として後段の装置に出力する。
　タイミング制御部２８は、外部から供給される垂直同期信号ＶＤや水平同期信号ＨＤ、更には、マスタークロックＭＣＫ（図示せず）等に基づいて、各種のタイミング信号、クロック信号、及び、制御信号等を生成する。そして、タイミング制御部２８は、これら生成した信号を基に、行選択部２３、定電流源部２４、アナログ－デジタル変換部２５、水平転送走査部２６、及び、信号処理部２７等の駆動制御を行う。
　このタイミング制御部２８による制御の下に、本画像センサ２０では、垂直同期信号ＶＤ等の同期信号に同期して撮像が行われる。すなわち、本画像センサ２０は、所定のフレームレートで撮像を行う同期型の撮像装置である。
［画素の回路構成例］
　図２１は、画像センサ２０における画素アレイ部２２の画素２１の回路構成の一例を示す回路図である。
　画素２１は、受光部（光電変換部）として、例えば、フォトダイオード２１１を有している。画素２１は、フォトダイオード２１１の他に、転送トランジスタ２１２、リセットトランジスタ２１３、増幅トランジスタ２１４、及び、選択トランジスタ２１５を有する画素構成となっている。
　尚、ここでは、転送トランジスタ２１２、リセットトランジスタ２１３、増幅トランジスタ２１４、及び、選択トランジスタ２１５の４つのトランジスタとして、例えばＮ型のＭＯＳトランジスタを用いているが、ここで例示した４つのトランジスタ２１２～２１５の導電型の組み合わせは一例に過ぎず、これらの組み合わせに限られるものではない。
　この画素２１に対して、先述した画素駆動線３１として、複数の画素駆動線が同一画素行の各画素２１に対して共通に配線されている。これら複数の画素駆動線は、行選択部２３の各画素行に対応した出力端に画素行単位で接続されている。行選択部２３は、複数の画素駆動線に対して転送信号ＴＲＧ、リセット信号ＲＳＴ、及び、選択信号ＳＥＬを適宜出力する。
　フォトダイオード２１１は、アノード電極が低電位側電源(例えば、グランド)に接続されており、受光した光をその光量に応じた電荷量の光電荷（ここでは、光電子）に光電変換してその光電荷を蓄積する。フォトダイオード２１１のカソード電極は、転送トランジスタ２１２を介して増幅トランジスタ２１４のゲート電極と電気的に接続されている。ここで、増幅トランジスタ２１４のゲート電極が電気的に繋がった領域は、フローティングディフュージョン（浮遊拡散領域／不純物拡散領域）ＦＤである。フローティングディフュージョンＦＤは、電荷を電圧に変換する電荷電圧変換部である。
　転送トランジスタ２１２のゲート電極には、高レベル（例えば、ＶDDレベル）がアクティブとなる転送信号ＴＲＧが行選択部２３から与えられる。転送トランジスタ２１２は、転送信号ＴＲＧに応答してオン状態となることにより、フォトダイオード２１１で光電変換され、当該フォトダイオード２１１に蓄積された光電荷をフローティングディフュージョンＦＤに転送する。
　リセットトランジスタ２１３は、電源電圧ＶDDの電源ラインとフローティングディフュージョンＦＤとの間に接続されている。リセットトランジスタ２１３のゲート電極には、高レベルがアクティブとなるリセット信号ＲＳＴが行選択部２３から与えられる。リセットトランジスタ２１３は、リセット信号ＲＳＴに応答してオン状態となり、フローティングディフュージョンＦＤの電荷を電源電圧ＶDDのノードに捨てることによってフローティングディフュージョンＦＤをリセットする。
　増幅トランジスタ２１４は、ゲート電極がフローティングディフュージョンＦＤに接続され、ドレイン電極が電源電圧ＶDDの電源ラインに接続されている。増幅トランジスタ２１４は、フォトダイオード２１１での光電変換によって得られる信号を読み出すソースフォロワの入力部となる。増幅トランジスタ２１４は、ソース電極が選択トランジスタ２１５を介して垂直信号線３２に接続される。そして、増幅トランジスタ２１４と、垂直信号線３２の一端に接続される電流源Ｉとは、フローティングディフュージョンＦＤの電圧を垂直信号線３２の電位に変換するソースフォロワを構成している。
　選択トランジスタ２１５は、ドレイン電極が増幅トランジスタ２１４のソース電極に接続され、ソース電極が垂直信号線３２に接続されている。選択トランジスタ２１５のゲート電極には、高レベルがアクティブとなる選択信号ＳＥＬが行選択部２３から与えられる。選択トランジスタ２１５は、選択信号ＳＥＬに応答してオン状態となることにより、画素２１を選択状態として増幅トランジスタ２１４から出力される信号を垂直信号線３２に伝達する。
　尚、ここでは、画素２１の画素回路として、転送トランジスタ２１２、リセットトランジスタ２１３、増幅トランジスタ２１４、及び、選択トランジスタ２１５から成る、即ち４つのトランジスタ（Ｔｒ）から成る４Ｔｒ構成を例に挙げたが、これに限られるものではない。例えば、選択トランジスタ２１５を省略し、増幅トランジスタ２１４に選択トランジスタ２５の機能を持たせる３Ｔｒ構成とすることもできるし、必要に応じて、トランジスタの数を増やした５Ｔｒ以上の構成とすることもできる。
［チップ構造の構成例］
　上記の構成の画像センサ２０のチップ（半導体集積回路）構造としては、平置型のチップ構造及び積層型のチップ構造を例示することができる。平置型のチップ構造及び積層型のチップ構造のいずれの画像センサ２０においても、画素２１について、配線層が配される側の基板面を表面（正面）とするとき、表面側から照射される光を取り込む表面照射型の画素構造とすることもできるし、その反対側の裏面側から照射される光を取り込む裏面照射型の画素構造とすることができる。以下に、平置型のチップ構造及び積層型のチップ構造について説明する。
（平置型のチップ構造）
　図２２は、画像センサ２０の平置型のチップ構造の概略を示す平面図である。
　図２２に示すように、平置型のチップ構造（所謂、平置構造）は、画素２１が行列状に配置されて成る画素アレイ部２２と同じ半導体基板２０１上に、画素アレイ部２２の周辺の回路部分を形成した構造となっている。具体的には、画素アレイ部２２と同じ半導体基板２０１上に、行選択部２３、定電流源部２４、アナログ－デジタル変換部２５、水平転送走査部２６、信号処理部２７、及び、タイミング制御部２８等が形成されている。
（積層型のチップ構造）
　図２３は、画像センサ２０の積層型のチップ構造の概略を示す分解斜視図である。
　図２３に示すように、積層型のチップ構造（所謂、積層構造）は、第１半導体基板２０２及び第２半導体基板２０３の少なくとも２つの半導体基板が積層された構造となっている。この積層構造において、画素アレイ部２２は、１層目の第１半導体基板２０２に形成される。また、行選択部２３、定電流源部２４、アナログ－デジタル変換部２５、水平転送走査部２６、信号処理部２７、及び、タイミング制御部２８等の回路部分は、２層目の第２半導体基板２０３に形成される。そして、１層目の第１半導体基板２０２と２層目の第２半導体基板２０３とは、ビア（ＶＩＡ）やＣｕ－Ｃｕ接合などの接続部３３Ａ，３３Ｂを通して電気的に接続される。
　この積層構造の画像センサ２０によれば、１層目の第１半導体基板２０２には画素２１の作製に適したプロセスを適用でき、２層目の第２半導体基板２０３には回路部分の作製に適したプロセスを適用できるため、画像センサ２０の製造に当たって、プロセスの最適化を図ることができる。特に、回路部分の作製に当たっては、先端プロセスの適用が可能になる。
　尚、ここでは、第１半導体基板２０２及び第２半導体基板２０３が積層されて成る２層構造の積層構造を例示したが、積層構造としては、２層構造に限られるものではなく、３層以上の構造とすることもできる。そして、３層以上の積層構造の場合、行選択部２３、定電流源部２４、アナログ－デジタル変換部２５、水平転送走査部２６、及び、信号処理部２７等の回路部分については、２層目以降の半導体基板に分散して形成することができる。
　上記の構成の第２実施形態に係る撮像システム１Ｂにおいて、イベント検出センサ１０及び画像センサ２０は、制御部５０による制御の下に、それぞれ、イベント検出動作、及び、撮像動作を行う。イベント検出センサ１０から出力されるイベント信号（イベントデータ）、及び、画像センサ２０から出力される画像データは、動き認識部３０に供給される。
　動き認識部３０は、イベント検出センサ１０から出力されるイベント信号に基づいて、物体の動きを認識（検出）する。より具体的には、動き認識部３０は、イベント検出センサ１０から出力されるイベント信号をフレーム化することによってイベントフレームを生成し、イベントフレーム間で動き検出を行う。イベント検出センサ１０から出力されるイベント信号を用いてイベントの物体認識を行う場合、物体認識部４０は、動き認識部３０から与えられる動き検出の結果を基に物体認識を行うことになる。
　画像センサ２０は、同期型の撮像装置から成り、所定のフレームレート、例えば、固定のフレームレートで撮像を行うために、イベント検出センサ１０の場合のように、イベントフレームを生成する必要がない。従って、画像センサ２０からフレーム単位で出力される画像データは直接物体認識部４０に供給される。そして、物体認識部４０は、フレーム単位の画像データを基に物体認識を行うことになる。
　因みに、非同期型の撮像装置から成るイベント検出センサ１０は、イベント検出部６３を有する画素構成がとられるため、同期型の撮像装置か成る画像センサ２０に比べて画素サイズが大きくならざるを得ない。従って、イベント検出センサ１０は、固定のフレームレートで撮像を行う画像センサ２０に比べて解像度が低い。一方、同期型の撮像装置から成る画像センサ２０は、非同期型の撮像装置に比べて解像度に優れている。
　以下に、第２実施形態に係る撮像システム１Ｂにおいて、カラーフィルタを備えるイベント検出センサ１０及び画像センサ２０を併用して特定の波長帯でイベントを検出し、その検出結果に基づいて所定の信号処理を行う具体的な実施例について説明する。尚、以下に説明する各実施例の処理は、基本的に、図１に示す撮像システム１Ａにおける制御部５０による制御の下に実行される。
＜実施例８＞
　実施例８は、第２実施形態の最上位概念の処理の例である。実施例８に係る最上位概念の処理の流れを図２４のフローチャートに示す。
　第２実施形態に係る撮像システム１Ｂを搭載した車の走行中において、制御部５０は、先ず、画像センサ２０の画像データを用いて、図１９に示す物体認識部４０において、前方の注目領域として物体認識を行う（ステップＳ１０１）。先述したように、画像センサ２０は、イベント検出センサ１０よりも解像度に優れている。従って、画像センサ２０の出力を基に物体認識を行うことで、イベント検出センサ１０の出力を基に物体認識を行う場合よりも、認識精度を上げることができる。
　但し、画像センサ２０は、所定のフレームレートで撮像を行うことから、消費電力の観点では、イベント検出センサ１０の方が画像センサ２０よりも優れている。従って、ステップＳ１０２以降の処理は、イベント検出センサ１０を用いて行われることになる。後述する実施例においても同様である。
　次に、制御部５０は、注目領域として物体認識したエリアで、イベント検出センサ１０の出力を基にＲＯＩの抽出を行い（ステップＳ１０２）、次いで、抽出したＲＯＩのエリア内でイベントを検出し（ステップＳ１０３）、次いで、イベントとして検出した物体の動き検出を行う（ステップＳ１０４）。
　次に、制御部５０は、特定の波長帯のイベント検出エリアで物体認識を行い（ステップＳ１０５）、次いで、注目すべき物体として認識したか否かの判断を行う（ステップＳ１０６）。そして、制御部５０は、注目すべき物体として認識していない場合は（Ｓ１０６のＮｏ）、ステップＳ１０１に戻り、注目すべき物体として認識した場合は（Ｓ１０６のＹｅｓ）、注目すべき物体に基づく所定の信号処理を実行し（ステップＳ１０７）、実施例８に係る最上位概念の一連の処理を終了する。
　上述したように、実施例８によれば、イベント検出センサ１０よりも解像度に優れた画像センサ２０の画像データを用いて、注目領域として物体認識を行うことができる。そして、特定の波長帯でイベント検出、及び、イベント検出した物体の動き検出を行い、注目すべき物体として認識した場合に、その物体に基づく所定の信号処理を行うことで、運転者と同様に、撮像システム１Ｂが自車の前を走行中の車のブレーキランプやテールランプの点灯（点滅）、方向指示器の点滅、信号機の色の変化、電光標識等、種々の波長帯の情報の検出、判断を行うことができる。
　ここで、「所定の信号処理」とは、例えば、図２９に示す車両制御システム１２０００の例えば駆動系制御ユニット１２０１０に対して、各種の自動制御等のための指令信号を送信する処理である。車両制御システム１２０００では、イベント検出センサ１０からの指令信号を受信すると、自動制御によってブレーキをかけたり、アラート表示を行って運転者に注意を喚起したりするなどの各種の制御を自動的に行うことになる。
＜実施例９＞
　実施例９は、自車の前を走行する車を認識した上で、自車の前を走行する車のテールランプを検知する例である。実施例９に係る車認識及びテールランプ検知のための処理の流れを図２５のフローチャートに示す。実施例９では、イベント検出センサ１０に画素１１毎に設けられるカラーフィルタとして、例えば図１０Ａに示すＲＣＣＣフィルタを用いるものとする。ＲＣＣＣフィルタの場合、赤色（Ｒ）が特定の波長帯となる。後述する実施例においても同様である。
　第２実施形態に係る撮像システム１Ｂを搭載した車の走行中において、制御部５０は、先ず、画像センサ２０の画像データを用いて、図１９に示す物体認識部４０において、前方の車として物体認識を行う（ステップＳ１１１）。次いで、制御部５０は、車として物体認識したエリアでＲＯＩの抽出を行い（ステップＳ１１２）、次いで、抽出したＲＯＩのエリア内で、赤色の波長帯のイベント検出を行う（ステップＳ１１３）。
　次に、制御部５０は、イベントとして検出した物体の動き検出を行い（ステップＳ１１４）、次いで、動き検出したエリアで物体認識を行い（ステップＳ１１５）、次いで、注目すべき物体、即ち、テールランプとして認識したか否かの判断を行う（ステップＳ１１６）。
　そして、制御部５０は、テールランプとして認識していない場合は（Ｓ１１６のＮｏ）、ステップＳ１１１に戻り、テールランプとして認識した場合は（Ｓ１１６のＹｅｓ）、ブレーキ制御やアラート表示等の指示信号を、インターフェース８０を介して、図２９に示す車両制御システム１２０００の駆動系制御ユニット１２０１０に対して送信する（ステップＳ１１７）。そして、実施例９に係る車認識及びテールランプ検知のための一連の処理を終了する。
　車両制御システム１２０００の駆動系制御ユニット１２０１０は、ブレーキ制御やアラート表示等の指示信号を、第２実施形態に係る撮像システム１Ｂから受信すると、自動制御によってブレーキをかけたり、アラート表示を行って運転者に注意を喚起したりするなどの制御を行うことになる。
　上述したように、実施例９では、イベント検出センサ１０よりも解像度に優れた画像センサ２０の画像データを用いて物体認識を行った上で、赤色の波長帯でイベント検出、及び、イベント検出した物体の動き検出を行う。そして、自車の前を走行する車のテールランプとして認識した場合に、自車の前を走行する他車との車間距離が、他車のテールランプを認識できる程度に近いと判断し、車両制御システム１２０００の駆動系制御ユニット１２０１０に対して、ブレーキ制御やアラート表示等の指示信号を送信する。これにより、車両制御システム１２０００では、自動制御によってブレーキをかけたり、アラート表示を行って運転者に注意を喚起したりするなどの制御を行うことができるため、安全走行に寄与することができる。
　尚、実施例９では、テールランプの認識処理の際に、物体認識によってテールランプとして認識するとしたが、テールランプのフリッカを検出して物体認識（物体検知）の情報として用いるようにしてもよい。
＜実施例１０＞
　実施例１０は、自車の前を走行する車を認識した上で、方向指示器（ウインカー）を検知する例である。実施例１０に係る車認識及び方向指示器検知のための処理の流れを図２６のフローチャートに示す。
　第２実施形態に係る撮像システム１Ｂを搭載した車の走行中において、制御部５０は、先ず、画像センサ２０の画像データを用いて、前方の車として物体認識を行う（ステップＳ１２１）。次いで、制御部５０は、車として物体認識したエリアでＲＯＩの抽出を行い（ステップＳ１２２）、次いで、抽出したＲＯＩのエリア内で、赤色の波長帯のイベント検出を行う（ステップＳ１２３）。
　次に、制御部５０は、イベントとして検出した物体の動き検出を行い（ステップＳ１２４）、次いで、動き検出したエリアで物体認識を行い（ステップＳ１２５）、次いで、注目すべき物体、即ち、方向指示器（ウインカー）として認識したか否かの判断を行う（ステップＳ１２６）。そして、制御部５０は、方向指示器として認識していない場合は（Ｓ１２６のＮｏ）、ステップＳ１２１に戻る。
　また、制御部５０は、方向指示器として認識した場合は（Ｓ１２６のＹｅｓ）、方向指示器の指示内容に伴う自車の制御のための指示信号を、インターフェース８０を介して、図２９に示す車両制御システム１２０００の駆動系制御ユニット１２０１０に対して送信する（ステップＳ１２７）。そして、実施例１０に係る車認識及び方向指示器検知のための一連の処理を終了する。
　上述したように、実施例１０では、イベント検出センサ１０よりも解像度に優れた画像センサ２０の画像データを用いて物体認識を行った上で、赤色の波長帯でイベント検出、及び、イベント検出した物体の動き検出を行う。そして、自車の前を走行する車を認識した上で、認識した車のエリア内の方向指示器の認識処理を行い、方向指示器の指示内容（右折、左折、ハザード等）に応じて自車を制御するための指示信号を、車両制御システム１２０００の駆動系制御ユニット１２０１０に対して送信する。
　ここで、「方向指示器の指示内容に伴う自車の制御」としては、例えば、前の車が右折の方向指示を出したときは、自車の前方を走行する車が、右折によって前方に存在しなくるなる訳であるから、車両制御システム１２０００の駆動系制御ユニット１２０１０に対して車速を上げる制御が考えられる。あるいは、前の車の方向指示器がハザード（点滅表示）のときは、前方を走行する車が停止する可能性が高いことから、車両制御システム１２０００の駆動系制御ユニット１２０１０に対して、例えば自動でブレーキをかける制御が考えられる。
　尚、実施例１０では、方向指示器の認識処理の際に、物体認識によって方向指示器として認識するとしたが、方向指示器のフリッカを検出して物体認識（物体検知）の情報として用いるようにしてもよい。
＜実施例１１＞
　実施例１１は、信号機を認識し、赤信号を検知する例である。実施例１１に係る信号機認識及び赤信号検知のための処理の流れを図２７のフローチャートに示す。
　第２実施形態に係る撮像システム１Ｂを搭載した車の走行中において、制御部５０は、先ず、画像センサ２０の画像データを用いて物体認識を行い（ステップＳ１３１）、次いで、認識すべき物体として信号機を検出する（ステップＳ１３２）。
　次に、制御部５０は、信号機を検出したエリアでＲＯＩの抽出を行い（ステップＳ１３３）、次いで、抽出したＲＯＩのエリア内で、赤色の波長帯のイベント検出を行う（ステップＳ１３４）、次いで、イベントとして検出した物体の動き検出を行い（ステップＳ１３５）。
　次に、制御部５０は、動き検出したエリアで物体認識を行い（ステップＳ１３６）、次いで、注目すべき物体、即ち、信号機の赤信号として認識したか否かの判断を行う（ステップＳ１３７）。そして、制御部５０は、赤信号として認識していない場合は（Ｓ１３７のＮｏ）、ステップＳ１３１に戻る。
　また、制御部５０は、赤信号として認識した場合は（Ｓ１３７のＹｅｓ）、ブレーキ制御やアラート表示等の指示信号を、インターフェース８０を介して、図２９に示す車両制御システム１２０００の駆動系制御ユニット１２０１０に対して送信する（ステップＳ１３８）。そして、実施例１１に係る信号機認識及び赤信号検知のための一連の処理を終了する。
　上述したように、実施例１１では、イベント検出センサ１０よりも解像度に優れた画像センサ２０の画像データを用いて物体認識を行った上で、その物体が信号機で、その表示内容が赤信号の場合に、車両制御システム１２０００の駆動系制御ユニット１２０１０に対して、ブレーキ制御やアラート表示等の指示信号を送信する。これにより、車両制御システム１２０００では、自動制御によってブレーキをかけたり、アラート表示を行って運転者に注意を喚起したりするなどの制御を行うことができるため、安全走行に寄与することができることになる。
　尚、実施例１１では、信号機の認識処理の際に、物体認識によって信号機として認識するとしたが、信号機のフリッカ情報（例えば、周波数やデューティ比等）を検出して物体認識（物体検知）の情報として用いるようにしてもよい。
＜実施例１２＞
　実施例１２は、実施例１１の変形例であり、信号機の赤信号→青信号の変化を検知する例である。実施例１２に係る信号機認識及び赤信号→青信号の変化検知のための処理の流れを図２８のフローチャートに示す。
　実施例１２では、図２７に示す実施例１１のフローチャートにおけるステップＳ１３８以降の処理として、ステップＳ１４１乃至ステップＳ１４３を挿入した処理となる。制御部５０は、赤信号として認識し、ブレーキ制御やアラート表示等の指示信号を送信したら（ステップＳ１３８）、信号機と認識したエリア内の青信号の波長帯でイベント検出を行い（ステップＳ１４１）、次いで、青信号として認識したか否かを判断する（ステップＳ１４２）。
　制御部５０は、青信号として認識していない場合は（Ｓ１４２のＮｏ）、ステップＳ１３１に戻り、青信号として認識した場合は（Ｓ１４２のＹｅｓ）、エンジン作動、発進指示等の指示信号を、インターフェース８０を介して、図２９に示す車両制御システム１２０００の駆動系制御ユニット１２０１０に対して送信する（ステップＳ７３）。そして、実施例１２に係る信号機認識及び赤信号→青信号の変化検知のための一連の処理を終了する。
　上述したように、実施例１２では、信号機の赤信号で停止している状態において、信号機が赤信号から青信号に変わったとき、車両制御システム１２０００の駆動系制御ユニット１２０１０に対して、エンジン作動、発進指示等の指示信号を送信する。これにより、車両制御システム１２０００では、例えば、自動的にエンジンを作動させ、車を発進させる制御を行うことができるため、信号機の見落としで発進が遅れるなどの問題の発生を未然に防止することができる。
　尚、信号機の赤信号→青信号の変化として認識する際に、信号機と認識したエリアで青色又は緑色の閾値を低く設定、又は、他のエリアで当該閾値を高く設定し、青信号のみを検出できるようにしてもよい。
≪変形例≫
　以上、本開示に係る技術について、好ましい実施形態に基づき説明したが、本開示に係る技術は当該実施形態に限定されるものではない。上記の実施形態において説明した撮像システムの構成、構造は例示であって、変更することができる。
≪本開示に係る技術の適用例≫
　本開示に係る技術は、様々な製品に適用することができる。以下に、より具体的な適用例について説明する。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される撮像装置や撮像システムとして実現されてもよい。
＜移動体＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される撮像装置として実現されてもよい。
　図２９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１０２１に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２９の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図３０は、撮像部１２０３１の設置位置の例を示す図である。
　図３０では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図３０には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システム１２０００の一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１等に適用され得る。すなわち、本開示の第１実施形態撮像システム１Ａ又は第２実施形態に係る撮像システム１Ｂは、上記の構成の車両制御システム１２０００において、撮像部１２０３１等として用いることができる。そして、撮像部１２０３１等に本開示に係る技術を適用することにより、各波長帯における色毎のイベント検出を行うことができ、それに伴って、車のブレーキランプやテールランプの点灯（点滅）、方向指示器の点滅、信号機の色の変化、電光標識等の検出（検知）することができるため、その検出結果を自動運転等に反映し、安全な車両走行の実現に寄与することができる。
＜本開示がとることができる構成＞
　尚、本開示は、以下のような構成をとることもできる。
≪Ａ．撮像システム≫
［Ａ－１］イベントを検出するイベント検出センサ、及び、
　イベント検出センサにおけるイベント検出の制御を行う制御部を備え、
　イベント検出センサには画素毎にカラーフィルタが設けられており、
　制御部は、カラーフィルタに基づく特定の波長帯でイベント検出の制御を行う、
　撮像システム。
［Ａ－２］イベント検出センサは、入射光を光電変換する画素の輝度変化が所定の閾値を超えたことをイベントとして検出する非同期型の撮像装置から成る、
　上記［Ａ－１］に記載の撮像システム。
［Ａ－３］移動体に搭載されて用いられる、
　上記［Ａ－２］に記載の撮像システム。
［Ａ－４］制御部は、イベント検出センサによるイベント検出を基に注目物体を認識したとき、注目物体に基づく信号処理を行う、
　上記［Ａ－３］に記載の撮像システム。
［Ａ－５］制御部は、自車の前を走行する車のテールランプを注目物体として認識したとき、移動体の制御システムに対して所定の指示信号を送信する、
　上記［Ａ－４］に記載の撮像システム。
［Ａ－６］制御部は、自車の前を走行する車を認識した上で、自車の前を走行する車のテールランプを注目物体として認識する、
　上記［Ａ－５］に記載の撮像システム。
［Ａ－７］制御部は、テールランプを注目物体として認識したとき、自車と前を走行する車との相対速度が所定の閾値以上である場合に、移動体の制御システムに対して所定の指示信号を送信する、
　上記［Ａ－６］に記載の撮像システム。
［Ａ－８］制御部は、自車の前を走行する車を認識した上で、自車の前を走行する車の方向指示器を注目物体として認識したとき、移動体の制御システムに対して所定の指示信号を送信する、
　上記［Ａ－４］に記載の撮像システム。
［Ａ－９］制御部は、信号機を注目物体として認識し、赤信号を検知したとき、移動体の制御システムに対して所定の指示信号を送信する、
　上記［Ａ－４］に記載の撮像システム。
［Ａ－１０］制御部は、信号機が赤信号の状態において、信号機が赤信号から青信号に変わったことを検知したとき、移動体の制御システムに対して所定の指示信号を送信する、
　上記［Ａ－９］に記載の撮像システム。
［Ａ－１１］所定のフレームレートで撮像を行う画像センサを備える、
　上記［Ａ－１］乃至上記［Ａ－３］のいずれかに記載の撮像システム。
［Ａ－１２］制御部は、画像センサの画像データに基づいて物体認識を行った上で、イベント検出センサによるイベント検出を基に注目物体を認識したとき、注目物体に基づく信号処理を行う、
　上記［Ａ－１１］に記載の撮像システム。
［Ａ－１３］制御部は、自車の前を走行する車を認識した上で、自車の前を走行する車のテールランプを注目物体として認識したとき、移動体の制御システムに対して所定の指示信号を送信する、
　請求項１２に記載の撮像システム。
［Ａ－１４］制御部は、自車の前を走行する車を認識した上で、自車の前を走行する車の方向指示器を注目物体として認識したとき、移動体の制御システムに対して所定の指示信号を送信する、
　上記［Ａ－１２］に記載の撮像システム。
［Ａ－１５］制御部は、信号機を注目物体として認識し、赤信号を検知したとき、移動体の制御システムに対して所定の指示信号を送信する、
　上記［Ａ－１２］に記載の撮像システム。
［Ａ－１６］制御部は、信号機が赤信号の状態において、信号機が赤信号から青信号に変わったことを検知したとき、移動体の制御システムに対して所定の指示信号を送信する、
　上記［Ａ－１５］に記載の撮像システム。
　１Ａ・・・第１実施形態に係る撮像システム、１Ｂ・・・第２実施形態に係る撮像システム、１０・・・イベント検出センサ、１１・・・画素、１２・・・画素アレイ部、１３・・・駆動部、１４・・・アービタ部（調停部）、１５・・・カラム処理部、１６・・・信号処理部、２０・・・画像センサ、２１・・・画素、２２・・・画素アレイ部、２３・・・行選択部、２４・・・定電流源部、２５・・・アナログ－デジタル変換部、２６・・・水平転送走査部、２７・・・信号処理部、２８・・・タイミング制御部、３０・・・動き認識部、４０・・・物体認識部、５０・・・制御部、６０・・・オペレーションパターン定義部、７０・・・画像記録部、８０・・・インターフェース

Claims (16)

  1. 　イベントを検出するイベント検出センサ、及び、
    　イベント検出センサにおけるイベント検出の制御を行う制御部を備え、
    　イベント検出センサには画素毎にカラーフィルタが設けられており、
    　制御部は、カラーフィルタに基づく特定の波長帯でイベント検出の制御を行う、
    　撮像システム。
  2. 　イベント検出センサは、入射光を光電変換する画素の輝度変化が所定の閾値を超えたことをイベントとして検出する非同期型の撮像装置から成る、
    　請求項１に記載の撮像システム。
  3. 　移動体に搭載されて用いられる、
    　請求項２に記載の撮像システム。
  4. 　制御部は、イベント検出センサによるイベント検出を基に注目物体を認識したとき、注目物体に基づく信号処理を行う、
    　請求項３に記載の撮像システム。
  5. 　制御部は、自車の前を走行する車のテールランプを注目物体として認識したとき、移動体の制御システムに対して所定の指示信号を送信する、
    　請求項４に記載の撮像システム。
  6. 　制御部は、自車の前を走行する車を認識した上で、自車の前を走行する車のテールランプを注目物体として認識する、
    　請求項５に記載の撮像システム。
  7. 　制御部は、テールランプを注目物体として認識したとき、自車と前を走行する車との相対速度が所定の閾値以上である場合に、移動体の制御システムに対して所定の指示信号を送信する、
    　請求項６に記載の撮像システム。
  8. 　制御部は、自車の前を走行する車を認識した上で、自車の前を走行する車の方向指示器を注目物体として認識したとき、移動体の制御システムに対して所定の指示信号を送信する、
    　請求項４に記載の撮像システム。
  9. 　制御部は、信号機を注目物体として認識し、赤信号を検知したとき、移動体の制御システムに対して所定の指示信号を送信する、
    　請求項４に記載の撮像システム。
  10. 　制御部は、信号機が赤信号の状態において、信号機が赤信号から青信号に変わったことを検知したとき、移動体の制御システムに対して所定の指示信号を送信する、
    　請求項９に記載の撮像システム。
  11. 　所定のフレームレートで撮像を行う画像センサを備える、
    　請求項１に記載の撮像システム。
  12. 　制御部は、画像センサの画像データに基づいて物体認識を行った上で、イベント検出センサによるイベント検出を基に注目物体を認識したとき、注目物体に基づく信号処理を行う、
    　請求項１１に記載の撮像システム。
  13. 　制御部は、自車の前を走行する車を認識した上で、自車の前を走行する車のテールランプを注目物体として認識したとき、移動体の制御システムに対して所定の指示信号を送信する、
    　請求項１２に記載の撮像システム。
  14. 　制御部は、自車の前を走行する車を認識した上で、自車の前を走行する車の方向指示器を注目物体として認識したとき、移動体の制御システムに対して所定の指示信号を送信する、
    　請求項１２に記載の撮像システム。
  15. 　制御部は、信号機を注目物体として認識し、赤信号を検知したとき、移動体の制御システムに対して所定の指示信号を送信する、
    　請求項１２に記載の撮像システム。
  16. 　制御部は、信号機が赤信号の状態において、信号機が赤信号から青信号に変わったことを検知したとき、移動体の制御システムに対して所定の指示信号を送信する、
    　請求項１５に記載の撮像システム。
PCT/JP2020/018338 2019-06-04 2020-04-30 撮像システム WO2020246186A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112020002709.0T DE112020002709T5 (de) 2019-06-04 2020-04-30 Bildgebungssystem
JP2021524717A JPWO2020246186A1 (ja) 2019-06-04 2020-04-30
CN202080033329.1A CN113785560A (zh) 2019-06-04 2020-04-30 成像系统
US17/613,555 US11760267B2 (en) 2019-06-04 2020-04-30 Imaging system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-104388 2019-06-04
JP2019104388 2019-06-04

Publications (1)

Publication Number Publication Date
WO2020246186A1 true WO2020246186A1 (ja) 2020-12-10

Family

ID=73652503

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/018338 WO2020246186A1 (ja) 2019-06-04 2020-04-30 撮像システム

Country Status (5)

Country Link
US (1) US11760267B2 (ja)
JP (1) JPWO2020246186A1 (ja)
CN (1) CN113785560A (ja)
DE (1) DE112020002709T5 (ja)
WO (1) WO2020246186A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11651579B2 (en) 2021-08-05 2023-05-16 Omnivision Technologies, Inc. Imaging system for detecting human-object interaction and a method for detecting human-object interaction
WO2023186437A1 (en) * 2022-03-30 2023-10-05 Sony Semiconductor Solutions Corporation Sensor device and method for operating a sensor device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017013806A1 (ja) * 2015-07-23 2017-01-26 オリンパス株式会社 固体撮像装置
JP2017108428A (ja) * 2014-04-28 2017-06-15 リンクス システム デベロッパーズ， インコーポレイテッド イベントタイミング画像を処理するためのシステムおよび方法
JP2018063826A (ja) * 2016-10-12 2018-04-19 株式会社東芝 移動式アシスト装置及び移動式アシスト方法
JP2019016258A (ja) * 2017-07-10 2019-01-31 株式会社日立製作所 作業監視システムおよび作業監視方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2574511B1 (en) 2011-09-30 2016-03-16 Honda Research Institute Europe GmbH Analyzing road surfaces
JP6483725B2 (ja) * 2014-04-07 2019-03-13 サムスン エレクトロニクス カンパニー リミテッド 光学的イベントを感知する方法とそのための光学的イベントセンサ、及び距離測定モバイル装置
US9398196B2 (en) 2014-04-28 2016-07-19 Lynx System Developers, Inc. Methods for processing event timing images
KR102407274B1 (ko) * 2015-07-31 2022-06-10 삼성전자주식회사 임계 전압 제어 방법 및 임계 전압 제어 장치
US10800455B2 (en) * 2015-12-17 2020-10-13 Ford Global Technologies, Llc Vehicle turn signal detection
JP7048331B2 (ja) * 2018-01-24 2022-04-05 スタンレー電気株式会社 点灯制御装置
US10616512B2 (en) * 2018-07-27 2020-04-07 Wisconsin Alumni Research Foundation Systems, methods, and media for high dynamic range imaging using dead-time-limited single photon detectors

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017108428A (ja) * 2014-04-28 2017-06-15 リンクス システム デベロッパーズ， インコーポレイテッド イベントタイミング画像を処理するためのシステムおよび方法
WO2017013806A1 (ja) * 2015-07-23 2017-01-26 オリンパス株式会社 固体撮像装置
JP2018063826A (ja) * 2016-10-12 2018-04-19 株式会社東芝 移動式アシスト装置及び移動式アシスト方法
JP2019016258A (ja) * 2017-07-10 2019-01-31 株式会社日立製作所 作業監視システムおよび作業監視方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11651579B2 (en) 2021-08-05 2023-05-16 Omnivision Technologies, Inc. Imaging system for detecting human-object interaction and a method for detecting human-object interaction
WO2023186437A1 (en) * 2022-03-30 2023-10-05 Sony Semiconductor Solutions Corporation Sensor device and method for operating a sensor device

Also Published As

Publication number Publication date
JPWO2020246186A1 (ja) 2020-12-10
US20220242317A1 (en) 2022-08-04
DE112020002709T5 (de) 2022-03-24
US11760267B2 (en) 2023-09-19
CN113785560A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
JP7141440B2 (ja) 固体撮像素子
TWI820078B (zh) 固體攝像元件
WO2020195966A1 (ja) 撮像システム及び撮像システムの制御方法、並びに、物体認識システム
WO2020090460A1 (ja) センサ及び制御方法
CN112913224B (zh) 固态成像元件和成像装置
JP7148269B2 (ja) 固体撮像素子および撮像装置
CN112640428A (zh) 固态成像装置、信号处理芯片和电子设备
WO2020195700A1 (ja) 撮像装置及び撮像システム
WO2020196092A1 (ja) 撮像システム及び撮像システムの制御方法、並びに、物体認識システム
US20200057149A1 (en) Optical sensor and electronic device
KR20210095865A (ko) 센서 및 제어 방법
WO2021117350A1 (ja) 固体撮像素子、および、撮像装置
WO2020129657A1 (ja) センサ及び制御方法
JP2022548199A (ja) ダイナミックビジョンセンサ及び撮像機能を組み合わせた固体撮像デバイス及び撮像デバイス
WO2020195822A1 (ja) 撮像システム
WO2020246186A1 (ja) 撮像システム
WO2022009573A1 (ja) 撮像装置及び撮像方法
WO2024042946A1 (ja) 光検出素子
WO2023189279A1 (ja) 信号処理装置、撮像装置および信号処理方法
CN113647089B (zh) 成像系统
WO2023188868A1 (ja) リニアセンサ
WO2022254832A1 (ja) 撮像装置、電子機器、および撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20818684

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021524717

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 20818684

Country of ref document: EP

Kind code of ref document: A1