WO2020195700A1 - 撮像装置及び撮像システム - Google Patents

撮像装置及び撮像システム Download PDF

Info

Publication number
WO2020195700A1
WO2020195700A1 PCT/JP2020/009635 JP2020009635W WO2020195700A1 WO 2020195700 A1 WO2020195700 A1 WO 2020195700A1 JP 2020009635 W JP2020009635 W JP 2020009635W WO 2020195700 A1 WO2020195700 A1 WO 2020195700A1
Authority
WO
WIPO (PCT)
Prior art keywords
event
unit
event detection
detection sensor
control unit
Prior art date
Application number
PCT/JP2020/009635
Other languages
English (en)
French (fr)
Inventor
慶 中川
高橋　裕嗣
Original Assignee
ソニー株式会社
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社, ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニー株式会社
Priority to CN202080022994.0A priority Critical patent/CN113615152B/zh
Priority to US17/440,830 priority patent/US11895398B2/en
Publication of WO2020195700A1 publication Critical patent/WO2020195700A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images

Definitions

  • the present disclosure relates to an imaging device and an imaging system.
  • an asynchronous imaging device As one of the event-driven imaging devices, there is an asynchronous imaging device called DVS (Dynamic Vision Sensor).
  • the asynchronous imaging device can detect as an event that the change in the brightness of the pixel that photoelectrically converts the incident light exceeds a predetermined threshold value. Therefore, this kind of asynchronous imaging device can be called an event detection sensor.
  • an event detection sensor is mounted on a vehicle and used as an event-based visual sensor for monitoring a traveling road surface (see, for example, Patent Document 1).
  • the event detection sensor mounted on a moving body such as a vehicle can detect an event of another vehicle or a pedestrian regardless of the running state of the moving body.
  • An object of the present disclosure is to provide an imaging device capable of accurately detecting an event regardless of the traveling state of a moving body, and an imaging system using the imaging device.
  • the imaging system of the present disclosure for achieving the above object is Event detection sensor to detect events, It is provided with a control unit that controls an event detection sensor.
  • the control unit switches the resolution of the event detection sensor according to the traveling state of the moving body.
  • the object recognition system of the present disclosure for achieving the above object is Event detection sensor to detect events, A control unit that switches the resolution of the event detection sensor according to the running state of the moving object, and It is provided with an object recognition unit that recognizes an event based on an event signal output from the event detection sensor.
  • FIG. 1 is a block diagram showing an example of a system configuration of an imaging system according to the first embodiment of the present disclosure.
  • FIG. 2A is a block diagram showing an example of the configuration of the motion recognition unit in the imaging system according to the first embodiment
  • FIG. 2B is a block diagram showing an example of the configuration of the object recognition unit in the imaging system according to the first embodiment. It is a figure.
  • FIG. 3 is a block diagram showing an example of the configuration of the event detection sensor in the imaging system according to the first embodiment.
  • FIG. 4 is a block diagram showing an example of the configuration of the pixel array unit in the event detection sensor.
  • FIG. 5 is a circuit diagram showing an example of a pixel circuit configuration in the event detection sensor.
  • FIG. 1 is a block diagram showing an example of a system configuration of an imaging system according to the first embodiment of the present disclosure.
  • FIG. 2A is a block diagram showing an example of the configuration of the motion recognition unit in the imaging system according to the first embodiment
  • FIG. 2B is
  • FIG. 6 is a block diagram showing an example of a circuit configuration of an event detection unit in the pixels of the event detection sensor.
  • FIG. 7 is a circuit diagram showing an example of the configuration of the current-voltage conversion unit in the event detection unit.
  • FIG. 8 is a circuit diagram showing an example of the configuration of the subtraction unit and the quantization unit in the event detection unit.
  • FIG. 9 is an exploded perspective view showing an outline of a stacked chip structure of an event detection sensor.
  • FIG. 10 is a circuit diagram showing an example of a specific configuration of an event detection sensor having a variable resolution.
  • FIG. 11 is a diagram illustrating an operation mode of the connection control unit in the event detection sensor having a variable resolution.
  • FIG. 12A, 12B, and 12C are diagrams showing the calculation table TL1, the calculation table TL2, and the calculation table TL3 used for the calculation of the calculation unit.
  • FIG. 13 is a diagram showing the flow of photocurrent when the operation mode of the connection control unit is the high resolution mode.
  • FIG. 14 is a diagram showing the flow of photocurrent when the operation mode of the connection control unit is the low resolution mode.
  • FIG. 15 is a diagram showing a flow of photocurrent when the operation mode of the connection control unit is the current average mode.
  • FIG. 16 is a diagram illustrating a connection example of a plurality of pixels to be controlled by the connection control unit.
  • FIG. 17 is a flowchart showing the flow of resolution switching control according to the first embodiment.
  • FIG. 18 is a flowchart showing the flow of resolution switching control according to the second embodiment.
  • FIG. 19 is a flowchart showing the flow of resolution switching control according to the third embodiment.
  • FIG. 20 is a flowchart showing the flow of resolution switching control according to the fourth embodiment.
  • FIG. 21 is a flowchart showing the flow of resolution switching control according to the fifth embodiment.
  • FIG. 22 is a flowchart showing the flow of resolution switching control according to the sixth embodiment.
  • FIG. 23 is a flowchart showing the flow of resolution switching control according to the seventh embodiment.
  • FIG. 24A is a flowchart showing an example of a specific process for determining a course change
  • FIG. 24B is a flowchart showing an example of a specific process for determining a straight running.
  • FIG. 24A is a flowchart showing an example of a specific process for determining a course change
  • FIG. 24B is a flowchart showing an example of a specific process for determining a straight running.
  • FIG. 25 is a flowchart showing the flow of resolution switching control according to the eighth embodiment.
  • FIG. 26 is a block diagram showing an example of the system configuration of the imaging system according to the second embodiment of the present disclosure.
  • FIG. 27 is a block diagram showing an outline of the configuration of a CMOS type image sensor which is an example of an image sensor in the imaging system according to the second embodiment.
  • FIG. 28 is a circuit diagram showing an example of a pixel circuit configuration in an image sensor.
  • FIG. 29 is a plan view showing an outline of the horizontal chip structure of the image sensor.
  • FIG. 30 is a plan view showing an outline of a laminated chip structure of an image sensor.
  • FIG. 31 is a flowchart showing the flow of resolution switching control according to the ninth embodiment.
  • FIG. 32 is a flowchart showing the flow of resolution switching control according to the tenth embodiment.
  • FIG. 33 is a flowchart showing the flow of resolution switching control according to the eleventh embodiment.
  • FIG. 34 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a moving body control system to which the technique according to the present disclosure can be applied.
  • FIG. 35 is a diagram showing an example of an installation position of an imaging unit in a vehicle control system.
  • Example 1 Example of switching the resolution based on the vehicle speed of the own vehicle
  • Example 2 Example of switching the resolution based on the relative speed with another vehicle
  • Example 3 Example of switching the resolution based on the vehicle speed of the own vehicle and the number of events 2-6.
  • Example 4 (Example of switching the resolution based on the relative speed with another vehicle and the number of events) 2-7.
  • Example 5 Example of switching the resolution when the occurrence of traffic congestion is detected) 2-8.
  • Example 6 Example of switching the resolution when driving on a highway is detected) 2-9.
  • Example 7 Example of switching the resolution when a change of course is detected) 2-10.
  • Example 8 Example of switching the resolution for each area of the pixel array unit) 3. 3. Second Embodiment of the present disclosure 3-1.
  • Configuration example of the imaging system according to the second embodiment 3-2 Configuration example of image sensor 3-2-1.
  • Configuration example of CMOS image sensor 3-2-2 Configuration example of 3-2-3. Configuration example of chip structure 3-2-3-1.
  • the imaging device and the imaging system of the present disclosure include an event detection sensor including an asynchronous imaging device that detects as an event that a change in the brightness of a pixel that photoelectrically converts incident light exceeds a predetermined threshold value. can do.
  • the imaging device of the present disclosure is preferably mounted on a moving body for use.
  • the resolution of the event detection sensor is set to the resolution of the event detection sensor according to the traveling state of the moving body in the control unit, the first resolution mode in which the resolution is relatively low.
  • it can be configured to be set to the second resolution mode in which the resolution is relatively high.
  • control unit is set to the first resolution mode when the speed of the moving body is equal to or higher than a certain speed, and the speed of the moving body is a constant speed. If it is less than, the second resolution mode can be set.
  • the control unit when the relative speed with respect to the front object is equal to or higher than a certain relative speed, the control unit is set to the second resolution mode, and the control unit is set to the second resolution mode.
  • the relative speed of is less than a certain relative speed, the first resolution mode can be set.
  • the speed of the moving body is equal to or higher than a certain speed and the number of events detected by the event detection sensor is equal to or higher than a predetermined threshold value in the control unit.
  • the first resolution mode can be set, and when the speed of the moving body is less than a certain speed and the number of events detected by the event detection sensor is less than a predetermined threshold value, the second resolution mode can be set.
  • the relative speed of the control unit with respect to the object in front is equal to or higher than a certain relative speed, and the number of events detected by the event detection sensor is large.
  • a configuration in which the second resolution mode is set when the value is equal to or higher than a predetermined threshold value, and the first resolution mode is set when the relative speed with the object in front is less than a certain relative speed and the number of events detected by the event detection sensor is less than the predetermined threshold value. can be.
  • the speed of the moving body is less than a predetermined threshold value in the running state in the first resolution mode of the control unit, and an event by the event detection sensor is performed.
  • the number of detections is equal to or greater than a predetermined threshold value and the area of the object occupied by the angle of view of the event detection sensor is equal to or greater than a certain ratio, it is determined that congestion has occurred, and the first resolution mode is shifted to the second resolution mode. be able to.
  • the control unit has an event in which the speed of the moving body is equal to or higher than a predetermined threshold value and the event is detected by the event detection sensor in the running state in the first resolution mode.
  • a predetermined threshold value When the number of detections is equal to or greater than a predetermined threshold value and the area of the object occupied by the angle of view of the event detection sensor is equal to or greater than a certain ratio, it is determined that the vehicle is traveling on a highway, and the mode shifts from the first resolution mode to the second resolution mode. can do.
  • the control unit is set to the first resolution mode when the moving body is traveling straight, and is set to the second resolution mode when the course is changed. It can be configured. At this time, when the steering rotation of the control unit is equal to or greater than a certain angle and the number of events detected by the event detection sensor is equal to or greater than a predetermined threshold value, it is determined that the course of the moving body is changed, or the steering rotation is constant. When the number of events detected by the event detection sensor is less than a predetermined threshold within the angle, it can be determined that the moving body is traveling straight.
  • control unit may be configured to switch the resolution of the event detection sensor for each region of the pixel array unit of the event detection sensor. ..
  • the image pickup apparatus and the image pickup system of the present disclosure including the above-mentioned preferable configuration can be configured to include an image sensor that performs image pickup at a predetermined frame rate. Then, the object recognition unit can be configured to perform event recognition processing based on the image data output from the image sensor.
  • the control unit when it is determined that the control unit cannot perform the recognition process only by the event signal output from the event detection sensor, an event It is possible to perform control using the recognition process, the event signal output from the event detection sensor, and the image data output from the image sensor.
  • the control unit specifies an area that can be detected as a moving body in the angle of view of the event detection sensor based on the result of the event recognition process.
  • the area that can be detected as a moving object is equal to or greater than a predetermined threshold value, it is determined that congestion has occurred on condition that the traveling speed of the moving object is less than the predetermined threshold value, and the specified area is set to the second resolution mode. be able to.
  • the control unit specifies an area that can be detected as a moving body in the angle of view of the event detection sensor based on the result of the event recognition process.
  • the area that can be detected as a moving object is equal to or greater than a predetermined threshold value
  • FIG. 1 is a block diagram showing an example of a system configuration of an imaging system according to the first embodiment of the present disclosure.
  • the imaging system 1A includes an event detection sensor 10, a motion recognition unit 30, an object recognition unit 40, a control unit 50, an operation pattern definition unit 60, and a recording unit 70. It also has an interface 80.
  • the imaging system 1A according to the first embodiment can be mounted on a moving body such as a vehicle and used.
  • a predetermined position of the vehicle for example, at least one position of the front nose, side mirror, rear bumper, back door of the vehicle, and the upper part of the windshield in the vehicle interior.
  • the image pickup system 1A will be arranged and used. Details of application examples of the technique according to the present disclosure (that is, the imaging system 1A according to the first embodiment) will be described later.
  • an asynchronous imaging device called DVS that detects as an event that the brightness change of the pixel that photoelectrically converts the incident light exceeds a predetermined detection threshold value can be used.
  • the asynchronous imaging device is an imaging device that detects an event asynchronously with a vertical synchronization signal, as opposed to a synchronous imaging device that performs imaging in synchronization with a vertical synchronization signal. Details of the event detection sensor 10 including an asynchronous imaging device will be described later.
  • the motion recognition unit 30 recognizes (detects) the motion of the object based on the event signal (event data) indicating the occurrence of the event output from the event detection sensor 10.
  • An example of a specific configuration of the motion recognition unit 30 is shown in FIG. 2A.
  • the motion recognition unit 30 is composed of, for example, an event frame generation unit 31 and a motion detection unit 32.
  • the event frame generation unit 31 generates an event frame by framing how many events have occurred within a certain period of time based on the event signal output from the event detection sensor 10.
  • the motion detection unit 32 detects motion between the event frames framed by the event frame generation unit 31.
  • the event frame generation unit 31 may not frame the event, that is, the motion recognition unit 30 may directly receive the event signal output asynchronously to detect the motion.
  • the object recognition unit 40 performs recognition processing of the object detected as an event based on the result of the motion detection given by the motion recognition unit 30.
  • An example of a specific configuration of the object recognition unit 40 is shown in FIG. 2B.
  • the object recognition unit 40 is composed of, for example, an ROI extraction unit 41 and a recognition processing unit 42.
  • the ROI extraction unit 41 extracts a specific region for performing object recognition, that is, extracts the ROI (Region Of Interest: region of interest).
  • the recognition processing unit 42 performs object recognition processing based on the data of the region extracted by the ROI extraction unit 41.
  • image recognition is performed by comparing a pattern recognition technique by machine learning such as a neural network, for example, a feature point of an image given as teacher data with a feature point of a captured subject image. Can be used.
  • the control unit 50 is configured by, for example, a processor (CPU), and controls the event detection sensor 10, specifically, the resolution of the event detection sensor 10 based on the information given from the operation pattern definition unit 60.
  • Various information such as vehicle speed is given to the control unit 50 from the vehicle control system 7000 (see FIG. 34), which is an example of the moving body control system to which the technique according to the present disclosure described later can be applied, via the interface 80. Be done. The details of controlling the resolution of the event detection sensor 10 will be described later.
  • the operation pattern definition unit 60 uses the motion recognition result given by the motion recognition unit 30 and the object recognition result given by the object recognition unit 40 to use the vehicle as an example of a moving body. Detects the running state of, for example, the state of traffic congestion, the running state of an expressway, and the like.
  • the information output from the operation pattern definition unit 60 is given to the control unit 50 as information for controlling the resolution of the event detection sensor 10, and is stored in the storage unit 70 as needed. Further, the information output from the operation pattern definition unit 60 is supplied to the vehicle control system 7000 (see FIG. 34) via the interface 80.
  • the imaging system 1A In the imaging system 1A according to the first embodiment of the present disclosure having the above configuration, at least the event detection sensor 10 and the control unit 50 are provided to configure the imaging device of the present disclosure.
  • the control unit 50 controls to switch the resolution of the event detection sensor 10 according to the traveling state of the vehicle as an example of the moving body.
  • the vehicle control system 7000 may be configured to have the functions of the operation pattern definition unit 60 and the recording unit 70.
  • FIG. 3 is a block diagram showing an example of the configuration of the event detection sensor 10 in the imaging system 1 of the present disclosure having the above configuration.
  • the event detection sensor 10 has a pixel array unit 12 in which a plurality of pixels 11 are two-dimensionally arranged in a matrix (array).
  • Each of the plurality of pixels 11 generates an analog signal having a voltage corresponding to the photocurrent as an electric signal generated by the photoelectric conversion as a pixel signal.
  • each of the plurality of pixels 11 detects the presence or absence of an event depending on whether or not a change exceeding a predetermined threshold value has occurred in the photocurrent corresponding to the brightness of the incident light. In other words, each of the plurality of pixels 11 detects that the change in luminance exceeds a predetermined threshold value as an event.
  • the event detection sensor 10 includes a drive unit 13, an arbiter unit (arbitration unit) 14, a column processing unit 15, and a signal processing unit 16 as peripheral circuit units of the pixel array unit 12. There is.
  • each of the plurality of pixels 11 When an event is detected, each of the plurality of pixels 11 outputs a request for outputting event data indicating the occurrence of the event to the arbiter unit 14. Then, when each of the plurality of pixels 11 receives a response indicating permission for output of the event data from the arbiter unit 14, the event data is output to the drive unit 13 and the signal processing unit 16. Further, the pixel 11 that has detected the event outputs an analog pixel signal generated by photoelectric conversion to the column processing unit 15.
  • the drive unit 13 drives each pixel 11 of the pixel array unit 12. For example, the drive unit 13 drives the pixel 11 that detects the event and outputs the event data, and outputs the analog pixel signal of the pixel 11 to the column processing unit 15.
  • the arbiter unit 14 arbitrates a request for output of event data supplied from each of the plurality of pixels 11, responds based on the arbitration result (permission / disapproval of output of event data), and detects an event.
  • a reset signal to be reset is transmitted to the pixel 11.
  • the column processing unit 15 has, for example, an analog-to-digital conversion unit composed of a set of analog-to-digital converters provided for each pixel row of the pixel array unit 12.
  • an analog-to-digital converter for example, a single slope type analog-to-digital converter can be exemplified.
  • the column processing unit 15 performs a process of converting an analog pixel signal output from the pixel 11 of the pixel array unit 12 into a digital signal for each pixel array of the pixel array unit 12.
  • the column processing unit 15 can also perform CDS (Correlated Double Sampling) processing on the digitized pixel signal.
  • the signal processing unit 16 executes predetermined signal processing on the digitized pixel signal supplied from the column processing unit 15 and the event data output from the pixel array unit 12, and the event data after signal processing and the event data Output a pixel signal.
  • the change in the photocurrent generated by the pixel 11 can also be regarded as the change in the amount of light (change in brightness) of the light incident on the pixel 11. Therefore, it can be said that the event is a change in the amount of light (change in brightness) of the pixel 11 that exceeds a predetermined threshold value.
  • the event data representing the occurrence of the event includes at least position information such as coordinates representing the position of the pixel 11 in which the change in the amount of light as an event has occurred. In addition to the position information, the event data can include the polarity of the light intensity change.
  • the event data will be the relative time when the event occurred. It can be said that the time information to be represented is implicitly included. However, if the interval between the event data is not maintained as it was when the event occurred due to the event data being stored in the memory or the like, the time information implicitly included in the event data is lost. Therefore, the signal processing unit 16 includes time information such as a time stamp, which represents a relative time when the event has occurred, in the event data before the interval between the event data is not maintained as it was when the event occurred.
  • FIG. 4 is a block diagram showing an example of the configuration of the pixel array unit 12 in the event detection sensor 10.
  • each of the plurality of pixels 11 has a light receiving unit 61, a pixel signal generation unit 62, and an event detection unit 63. There is.
  • the light receiving unit 61 photoelectrically converts the incident light to generate a photocurrent. Then, the light receiving unit 61 has a voltage corresponding to the photocurrent generated by photoelectric conversion of the incident light into either the pixel signal generation unit 62 or the event detection unit 63 under the control of the drive unit 13 (see FIG. 3). Supply a signal.
  • the pixel signal generation unit 62 generates a signal having a voltage corresponding to the photocurrent supplied from the light receiving unit 61 as an analog pixel signal SIG. Then, the pixel signal generation unit 62 supplies the generated analog pixel signal SIG to the column processing unit 15 (see FIG. 3) via the vertical signal line VSL wired for each pixel row of the pixel array unit 12.
  • the event detection unit 63 detects the presence or absence of an event depending on whether or not the amount of change in the photocurrent from each of the light receiving units 61 exceeds a predetermined threshold value.
  • the event includes, for example, an on-event indicating that the amount of change in the photocurrent exceeds the upper limit threshold value and an off-event indicating that the amount of change has fallen below the lower limit threshold value.
  • the event data indicating the occurrence of an event is composed of, for example, one bit indicating an on-event detection result and one bit indicating an off-event detection result.
  • the event detection unit 63 may be configured to detect only on-events.
  • the event detection unit 63 When an event occurs, the event detection unit 63 outputs a request for outputting event data indicating the occurrence of the event to the arbiter unit 14 (see FIG. 3). Then, when the event detection unit 63 receives the response to the request from the arbiter unit 14, the event detection unit 63 outputs the event data to the drive unit 13 and the signal processing unit 16.
  • FIG. 5 is a circuit diagram showing an example of the circuit configuration of the pixel 11 of the pixel array unit 12 in the event detection sensor 10.
  • each of the plurality of pixels 11 has a light receiving unit 61, a pixel signal generation unit 62, and an event detection unit 63.
  • the light receiving unit 61 has a light receiving element (photoelectric conversion element) 611, a transfer transistor 612, and a transfer transistor 613.
  • a light receiving element photoelectric conversion element
  • a transfer transistor 612 for example, an N-type MOS (Metal Oxide Semiconductor) transistor can be used.
  • the transfer transistor 612 and the transfer transistor 613 are connected in series with each other.
  • the light receiving element 611 is connected between the common connection node N 1 of the transfer transistor 612 and the transfer transistor 613 and the ground, and photoelectrically converts the incident light to generate a charge amount corresponding to the amount of the incident light. To do.
  • the transfer signal TRG is supplied from the drive unit 13 shown in FIG. 3 to the gate electrode of the transfer transistor 612.
  • the transfer transistor 612 is turned on in response to the transfer signal TRG, so that the electric signal generated by photoelectric conversion by the light receiving element 611 is supplied to the pixel signal generation unit 62.
  • the control signal OFG is supplied from the drive unit 13 to the gate electrode of the transfer transistor 613.
  • the transfer transistor 613 is turned on in response to the control signal OFG, so that the electric signal generated by photoelectric conversion by the light receiving element 611 is supplied to the event detection unit 63.
  • the electric signal supplied to the event detection unit 63 is a photocurrent composed of electric charges.
  • the pixel signal generation unit 62 has a configuration including a reset transistor 621, an amplification transistor 622, a selection transistor 623, and a floating diffusion layer 624.
  • a reset transistor 621 for example, an N-type MOS transistor can be used.
  • the electric charge converted photoelectric by the light receiving element 611 of the light receiving unit 61 is supplied to the pixel signal generation unit 62 by the transfer transistor 612.
  • the electric charge supplied from the light receiving unit 61 is accumulated in the floating diffusion layer 624.
  • the floating diffusion layer 624 generates a voltage signal having a voltage value corresponding to the amount of the accumulated electric charge. That is, the floating diffusion layer 624 is a charge-voltage conversion unit that converts electric charge into voltage.
  • the reset transistor 621 is connected between the power supply line of the power supply voltage V DD and the stray diffusion layer 624.
  • a reset signal RST is supplied from the drive unit 13 to the gate electrode of the reset transistor 621.
  • the reset transistor 621 is turned on in response to the reset signal RST to initialize (reset) the floating diffusion layer 624.
  • the amplification transistor 622 is connected in series with the selection transistor 623 between the power supply line of the power supply voltage V DD and the vertical signal line VSL.
  • the amplification transistor 622 amplifies the charge-voltage-converted voltage signal in the floating diffusion layer 624.
  • a selection signal SEL is supplied from the drive unit 13 to the gate electrode of the selection transistor 623.
  • the selection transistor 623 is turned on in response to the selection signal SEL, so that the voltage signal amplified by the amplification transistor 622 is used as an analog pixel signal SIG via the vertical signal line VSL to the column processing unit 15 (FIG. 3). Output to).
  • the drive unit 13 is instructed by the control unit 50 shown in FIG. 1 to start event detection. Then, when the start of event detection is instructed, the drive unit 13 drives the transfer transistor 613 by supplying the control signal OFG to the transfer transistor 613 of the light receiving unit 61, and the electric charge generated by the light receiving element 611 is used. The corresponding photocurrent is supplied to the event detection unit 63.
  • the drive unit 13 turns off the transfer transistor 613 of the pixel 11 and stops the supply of the photocurrent to the event detection unit 63.
  • the drive unit 13 drives the transfer transistor 612 by supplying the transfer signal TRG to the transfer transistor 612, and transfers the charge photoelectrically converted by the light receiving element 611 to the floating diffusion layer 624.
  • the power consumption of the event detection sensor 10 and the amount of image processing can be reduced as compared with the case where the pixel signals of all pixels are output regardless of the presence or absence of an event.
  • the configuration of the pixel 11 illustrated here is an example, and is not limited to this configuration example.
  • a pixel configuration that does not include the pixel signal generation unit 62 may be used.
  • the transfer transistor 612 may be omitted in the light receiving unit 61.
  • the column processing unit 15 of FIG. 3 can be configured not to have an analog-to-digital conversion function. By adopting a pixel configuration that does not output a pixel signal, the scale of the event detection sensor 10 can be suppressed.
  • FIG. 6 is a block diagram showing an example of the circuit configuration of the event detection unit 63 in the pixel 11 of the event detection sensor 10.
  • the event detection unit 63 has a configuration including a current-voltage conversion unit 631, a buffer 632, a subtraction unit 633, a quantization unit 634, and a transfer unit 635.
  • the current-voltage conversion unit 631 converts the photocurrent supplied from the light-receiving unit 63 of the pixel 11 into a voltage signal (hereinafter, may be referred to as “optical voltage”) that is the logarithm of the photocurrent, and converts it into the buffer 632. Supply.
  • the buffer 632 buffers the optical voltage supplied from the current-voltage conversion unit 631 and supplies it to the subtraction unit 633.
  • the subtraction unit 633 calculates the difference between the current optical voltage and the optical voltage that differs from the current one for a minute time, and supplies the difference signal corresponding to the difference to the quantization unit 634.
  • the quantization unit 634 quantizes the difference signal supplied from the subtraction unit 633 into a digital signal, and supplies the digital value of the difference signal to the transfer unit 635.
  • the transfer unit 635 supplies a request for transmission of event data to the arbiter unit 14. Then, when the transfer unit 635 receives the response to the request, that is, the response to allow the output of the event data from the arbiter unit 14, the event data is according to the digital value of the difference signal supplied from the quantization unit 634. Is supplied to the drive unit 13 and the signal processing unit 16.
  • FIG. 7 is a circuit diagram showing an example of the configuration of the current-voltage conversion unit 631 in the event detection unit 63.
  • the current-voltage conversion unit 631 has a circuit configuration including a transistor 6311, a transistor 6312, and a transistor 6313.
  • a transistor 6311 and the transistor 6313 an N-type MOS transistor can be used, and as the transistor 6312, a P-type MOS transistor can be used.
  • the transistor 6311 is connected between the power supply line of the power supply voltage V DD and the signal input line 6314.
  • the transistor 6312 and the transistor 6313 are connected in series between the power supply line of the power supply voltage V DD and the ground.
  • the gate electrode of the transistor 6311 and the input terminal of the buffer 632 shown in FIG. 6 are connected to the common connection node N 2 of the transistor 6312 and the transistor 6313.
  • a predetermined bias voltage V bias is applied to the gate electrode of the transistor 6312.
  • the transistor 6312 supplies a constant current to the transistor 6313.
  • a photocurrent is input from the light receiving unit 61 to the gate electrode of the transistor 6313 through the signal input line 6314.
  • the drain electrode of the transistor 6311 is connected to the power supply line of the power supply voltage V DD , and has a source follower configuration.
  • the gate electrode of transistor 6313 is connected to the source electrode of transistor 6311. Then, the light current from the light receiving unit 61 is converted into an optical voltage corresponding to the logarithm of the photocurrent by the transistor 6311 and the transistor 6313 having a source follower configuration.
  • FIG. 8 is a circuit diagram showing an example of the configuration of the subtraction unit 633 and the quantization unit 634 in the event detection unit 63.
  • the subtraction unit 633 has a configuration including a capacitance element 6331, an operational amplifier 6332, a capacitance element 6333, and a switch element 6334.
  • One end of the capacitance element 6331 is connected to the output terminal of the buffer 632 shown in FIG. 6, and the other end of the capacitance element 6331 is connected to the input terminal of the operational amplifier 6332.
  • the optical voltage supplied from the buffer 632 is input to the input terminal of the operational amplifier 6332 via the capacitive element 6331.
  • the capacitance element 6333 is connected in parallel to the operational amplifier 6332.
  • the switch element 6334 is connected between both ends of the capacitance element 6333.
  • a reset signal is supplied to the switch element 6334 from the arbiter unit 14 shown in FIG. 3 as a control signal for opening and closing the switch element 6334.
  • the switch element 6334 opens and closes a path connecting both ends of the capacitance element 6333 in response to a reset signal.
  • the optical voltage input to the buffer 632 side terminal of the capacitor 6331 and V init upon the switching element 6334 on the (closed) state, the optical voltage input to the buffer 632 side terminal of the capacitor 6331 and V init.
  • the terminal on the opposite side becomes a virtual ground terminal.
  • the potential of this virtual ground terminal is set to zero for convenience.
  • the capacitance value of the capacitance element 6331 is C 1
  • the charge Q init stored in the capacitance element 6331 is expressed by the following equation (1).
  • Q init C 1 x V init ... (1)
  • the subtraction unit 633 subtraction of the optical voltage V init and photovoltage V after, i.e., corresponding to the difference between the optical voltage V init and photovoltage V after (V init -V after)
  • the difference signal V out is calculated.
  • the subtraction gain of the subtraction unit 633 is C 1 / C 2 .
  • the capacitance value C 1 of the capacitance element 6331 it is preferable to design the capacitance value C 1 of the capacitance element 6331 to be large and the capacitance value C 2 of the capacitance element 6333 to be small.
  • the capacitance value C 2 of the capacitance element 6333 is too small, kTC noise may increase and the noise characteristics may deteriorate. Therefore, the capacitance reduction of the capacitance value C 2 of the capacitance element 6333 may allow noise. Limited to the range that can be done. Further, since the event detection unit 63 including the subtraction unit 633 is mounted on each pixel 11, the capacitance element 6331 and the capacitance element 6333 have an area limitation. Considering these, the capacitance value C 2 of the capacitance value C 1 and the capacitor 6333 of the capacitor 6331 is determined.
  • the quantization unit 634 has a configuration including a comparator 6341.
  • the comparator 6341 uses the difference signal from the subtraction unit 430 (that is, the output signal of the operational amplifier 6332) as a non-inverting (+) input, and the predetermined threshold voltage V th as an inverting ( ⁇ ) input. Then, the comparator 6341 compares the difference signal V out from the subtraction unit 430 with the predetermined threshold voltage V th, and sets the high level or the low level representing the comparison result as the quantized value of the difference signal V out . It is output to the transfer unit 635 shown in 6.
  • the transfer unit 635 recognizes that a light amount change (luminance change) as an event has occurred from the quantization value of the difference signal V out from the quantization unit 634, that is, the difference signal V out has a predetermined threshold voltage V.
  • the threshold voltage V th is a threshold for detecting an event based on a change in the amount of light (change in brightness) of the pixel 11.
  • the signal processing unit 16 includes position information of the pixel 11 that has detected the event represented by the event data, time information indicating the time when the event occurred, and further, if necessary. Then, the polarity information of the change in the amount of light as an event is included and output.
  • the data format of event data including the position information of the pixel 11 that detected the event, the time information indicating the time when the event occurred, and the polarity information of the change in the amount of light as the event is called, for example, AER (Address Event Representation).
  • AER Address Event Representation
  • the pixel 11 can receive arbitrary light as incident light by providing an optical filter such as a color filter that transmits a predetermined light.
  • the event data represents the occurrence of a change in the pixel value in an image in which a visible subject appears.
  • the event data represents the occurrence of a change in the distance to the subject.
  • the event data represents the occurrence of a change in the temperature of the subject.
  • the pixel 11 receives visible light as incident light.
  • FIG. 9 is an exploded perspective view showing an outline of a stacked chip structure of the event detection sensor 10.
  • the laminated chip structure is a structure in which at least two chips of the light receiving chip 101, which is the first chip, and the detection chip 102, which is the second chip, are laminated. It has become. Then, in the circuit configuration of the pixel 11 shown in FIG. 5, each of the light receiving elements 611 is arranged on the light receiving chip 101, and all the elements other than the light receiving element 611, the elements of the other circuit parts of the pixel 11 and the like are detected chips. It is placed on 102.
  • the light receiving chip 101 and the detection chip 102 are electrically connected via a connecting portion such as a via (VIA), a Cu—Cu junction, or a bump.
  • each element of the light receiving unit 61 is arranged on the light receiving chip 101, and elements other than the light receiving unit 61, elements of other circuit parts of the pixel 11 and the like are arranged on the detection chip 102. It can be configured to be. Further, each element of the light receiving unit 61, the reset transistor 621 of the pixel signal generation unit 62, and the floating diffusion layer 624 can be arranged on the light receiving chip 101, and the other elements can be arranged on the detection chip 102. .. Further, a part of the elements constituting the event detection unit 63 can be arranged on the light receiving chip 101 together with the elements of the light receiving unit 61 and the like.
  • the event detection sensor 10 having the above configuration may have a variable resolution.
  • FIG. 10 shows an example of a specific configuration of the event detection sensor 10 having a variable resolution.
  • the event detection sensor 10 has a pixel array unit 12 in which a plurality of pixels 11 are arranged in a matrix, and has a connection control unit 64 between the pixels 11 and the pixels 11. It has become.
  • FIG. 10 illustrates a configuration in which a connection control unit 64 is arranged between two pixels 11 adjacent to each other in the column direction (vertical direction / vertical direction).
  • connection control unit 64 turns on / off the connection between the plurality of pixels 11 and, in this example, between the two vertically adjacent pixels 11, depending on the operation mode described later (that is, between the two pixels 11). Connect / disconnect) Perform connection control. That is, the connection control unit 64 turns on / off the connection between the pixel 11 in the column having the odd row and the pixel 11 in the same column in the row (even row) next to the odd row.
  • the pixel array unit 12 is provided with connection control units 64 for turning on / off the connection between two adjacent pixels 11 in the column direction, which is half the number of pixels 11. There is.
  • connection control unit 64 one of the two pixels 11 subject to connection control by the connection control unit 64 is described as pixel 11A, and the other is described as pixel 11B.
  • the event detection unit 63 of the pixel 11A will be referred to as an event detection unit 63A
  • the event detection unit 63 of the pixel 11B will be referred to as an event detection unit 63B.
  • connection control unit 64 is composed of a transistor 641 and a calculation unit 642.
  • the transistor 641 for example, an N-type MOS transistor can be used.
  • the transistor 641 functions as a switch element that selectively connects the pixel 11A and the pixel 11B so that the photocurrent generated by the two pixels 11A and the pixel 11B is combined between the two pixels. For example, the transistor 641 is turned on / off according to the operation mode of the connection control unit 64 between the source electrode of the transistor 6311 through which the photocurrent of the pixel 11A flows and the source electrode of the transistor 6311 through which the photocurrent of the pixel 11B flows. Turn on / off the connection.
  • connection control unit 64 The operation mode of the connection control unit 64 is designated, for example, from the drive unit 13 of the event detection sensor 10 shown in FIG. 3, the arbiter unit 14, or the outside of the event detection sensor 10. The details of the operation mode of the connection control unit 64 will be described later.
  • Event data ⁇ is supplied to the calculation unit 642 from the quantization unit 634 in the event detection unit 63A of the pixel 11A, and event data ⁇ is supplied from the quantization unit 634 in the event detection unit 63B of the pixel 11B. ..
  • the calculation unit 642 performs a calculation according to the operation mode of the connection control unit 64 for the event data ⁇ supplied from the pixel 11A and the event data ⁇ supplied from the pixel 11B. Then, the calculation unit 642 supplies new event data ⁇ 'and event data ⁇ 'obtained by the calculation for the event data ⁇ and the event data ⁇ to the transfer units 635 of the pixels 11A and 11B.
  • connection control unit 64 controls the connection between the pixel 11A and the pixel 11B to be turned on / off, and also depends on the bias voltage V bias applied to the transistor 6312 of the current-voltage conversion unit 81 of the event detection unit 63. Control is performed to turn on / off the operation of the current-voltage converter 631 including the transistor 6311, the transistor 6312, and the transistor 6313.
  • connection control unit 64 turns on the operation of the current-voltage conversion unit 631 by turning on the transistor 6312, that is, puts the current-voltage conversion unit 631 in the operating state. Further, the connection control unit 64 turns off the operation of the current-voltage conversion unit 631 by turning off the transistor 6312, that is, puts the current-voltage conversion unit 631 in a stopped state.
  • one of the event detection unit 63A and the event detection unit 63B for example, the transistor 6312 of the event detection unit 63A, is always under the control of the connection control unit 64. It is turned on, and the transistor 6312 of the other event detection unit 63B is turned on / off.
  • the event detection sensor 10 mounted on the vehicle and used can accurately detect events such as other vehicles and pedestrians regardless of the traveling state of the vehicle.
  • the running state of the vehicle is controlled by the control unit 50 in the event detection sensor 10 having the above configuration.
  • the resolution of the event detection sensor 10 is switched according to the above. Specifically, the operation mode of the connection control unit 64 is set according to the traveling state of the vehicle, and the resolution of the event detection sensor 10 is switched according to the operation mode.
  • Examples of the operation mode of the connection control unit 64 include a high resolution (normal) mode, a low resolution mode, and a current averaging mode.
  • the low resolution mode is a mode of the first resolution (that is, low resolution) in which the resolution of the event detection sensor 10 is relatively low.
  • the high resolution mode is a mode of the second resolution (that is, high resolution) in which the resolution of the event detection sensor 10 is relatively high.
  • FIG. 11 is a diagram illustrating an operation mode of the connection control unit 64 in the event detection sensor 10 having a variable resolution.
  • the transistor 641 of the connection control unit 64 and the transistors of the event detection unit 63A and the event detection unit 63B are turned on or off under the control of the connection control unit 64.
  • the transistor 641 of the connection control unit 64 is turned off, and the transistor 6312 of the event detection unit 63B is turned on. Further, the calculation of the calculation unit 642 is performed according to the calculation table TL1 described later.
  • the transistor 641 of the connection control unit 64 is turned on, and the transistor 6312 of the event detection unit 63B is turned off. Further, the calculation of the calculation unit 642 is performed according to the calculation table TL2 described later.
  • the transistor 641 of the connection control unit 64 is turned on, and the transistor 6312 of the event detection unit 63B is turned on. Further, the calculation of the calculation unit 642 is performed according to the calculation table TL3 described later.
  • the calculation table TL1, the calculation table TL2, and the calculation table TL3 used for the calculation of the calculation unit 642 are shown in FIGS. 12A, 12B, and 12C.
  • the event data ⁇ and the event data ⁇ are output as they are as the event data ⁇ 'and the event data ⁇ ', respectively, according to the event data ⁇ and the event data ⁇ .
  • the event data ⁇ is output as it is as the event data ⁇ 'according to the event data ⁇ and the event data ⁇ . Further, as the event data ⁇ ', 0 (0 volt) indicating that no event has occurred is output. Therefore, in the calculation according to the calculation table TL2, the calculation for limiting the output of the event data indicating the occurrence of the event is performed for the event data ⁇ .
  • FIG. 13 is a diagram showing a flow of photocurrent when the operation mode of the connection control unit 64 of FIG. 10 is a high resolution mode.
  • connection control unit 64 of FIG. 10 the transistor 6312 of the event detection unit 63A is always on.
  • the operation mode of the connection control unit 64 is the high resolution mode
  • the transistor 641 of the connection control unit 64 is turned off, and the transistor 6312 of the event detection unit 63B is turned on.
  • the connection between the pixel 11A and the pixel 11B is electrically cut off by the transistor 641 in the off state, and the event detection unit 63A of the pixel 11A and the event detection unit of the pixel 11B It operates independently of 63B.
  • the calculation unit 642 performs the calculation according to the calculation table TL1 of FIG. 12A, and the event data ⁇ and the event data ⁇ are used as they are as the event data ⁇ 'and the event data ⁇ ', respectively. It is supplied to each transfer unit 635 of the event detection unit 63A and the event detection unit 63B.
  • the pixels 11A and 11B operate in the same manner as when the connection control unit 64 is not provided, and in the pixel array unit 12, the pixels 11 arranged in the pixel array unit 12 are used as event data indicating the occurrence of an event. It is possible to output event data having a resolution corresponding to a number, that is, a high resolution.
  • the photocurrents generated by the light receiving elements (photoelectric conversion elements) 611 of the pixels 11A and 11B are represented by I ph and I ph '.
  • the photocurrent I ph generated by the pixel 11A flows through the transistor 6311 of the event detection unit 63A, and the photocurrent I ph'generated by the pixel 11B flows through the transistor 6311 of the event detection unit 63B. It will flow.
  • FIG. 14 is a diagram showing a flow of photocurrent when the operation mode of the connection control unit 64 of FIG. 10 is a low resolution mode.
  • connection control unit 64 of FIG. 10 the transistor 6312 of the event detection unit 63A is always on.
  • the operation mode of the connection control unit 64 is the low resolution mode
  • the transistor 641 of the connection control unit 64 is turned on, and the transistor 6312 of the event detection unit 63B is turned off.
  • the pixels 11A and the pixels 11B are electrically connected via the transistor 641 in the on state. That is, by connecting the source electrode of the transistor 6311 of the pixel 11A and the source electrode of the transistor 6311 of the pixel 11B, the pixel 11A and the pixel 11B are connected to each other.
  • the transistor 6312 of the event detection unit 63B is turned off, so that the transistors 6311 to 6313 of the current-voltage conversion unit 631 of the event detection unit 63B are turned off.
  • the calculation unit 642 performs a calculation according to the calculation table TL2 of FIG. 12B, and the event data ⁇ is output as it is as the event data ⁇ '. As the event data ⁇ ', 0 indicating that no event has occurred is always output. Then, these event data ⁇ 'and event data ⁇ 'are supplied to each transfer unit 635 of the event detection unit 63A and the event detection unit 63B, respectively.
  • the pixel array unit 12 can output event data having a resolution corresponding to 1/2 of the number of pixels 11 arranged in the pixel array unit 12 as event data indicating the occurrence of an event. That is, in the low resolution mode, in the case of this example, the resolution (maximum number) of the event data indicating the occurrence of the event is halved in the case of the high resolution mode.
  • the number of pixels 11 that output event data indicating the occurrence of an event can be suppressed.
  • the low resolution mode it is possible to suppress the occurrence of a large number of events at the same time as in the high resolution mode.
  • the source electrode of the transistor 6311 of the pixel 11A and the source electrode of the transistor 6311 of the pixel 11B are connected, and the transistors 6311 to 6313 of the current-voltage conversion unit 631 of the event detection unit 63B are turned off.
  • the transistor 6311 of the event detection unit 63A, a photoelectric current I ph generated by the pixel 11A, the photocurrent I ph generated by pixel 11B 'and is synthesized composite current (I ph + I ph') Flows.
  • the shot noise is relatively reduced, so that the S / N of the signal handled by the transistors 6311 to 6313 of the current-voltage conversion unit 631 of the event detection unit 63A is improved to ⁇ 2 times that in the high resolution mode. , The reliability of event detection can be improved. Further, since the transistors 6311 to 6313 of the current-voltage conversion unit 631 of the event detection unit 63B are turned off, the power consumption can be reduced.
  • FIG. 15 is a diagram showing a flow of photocurrent when the operation mode of the connection control unit 64 of FIG. 10 is the current average mode.
  • the transistor 6312 of the event detection unit 63A is always on.
  • the operation mode of the connection control unit 64 is the current averaging mode
  • the transistor 641 of the connection control unit 64 is turned on, and the transistor 6312 of the event detection unit 63B is turned on.
  • the pixels 11A and the pixels 11B are electrically connected via the transistor 641 in the on state. That is, by connecting the source electrode of the transistor 6311 of the pixel 11A and the source electrode of the transistor 6311 of the pixel 11B, the pixel 11A and the pixel 11B are connected to each other.
  • the transistor 6312 of the event detection unit 63B is turned on, so that the transistors 6311 to 6313 of the current-voltage conversion unit 631 of the event detection unit 63B are turned on.
  • both the current-voltage conversion units 631 are in the operating state.
  • the pixel array unit 12 can output event data having a resolution corresponding to 1/2 of the number of pixels 11 arranged in the pixel array unit 12 as event data indicating the occurrence of an event. That is, in the current averaging mode, the resolution (maximum number) of the event data indicating the occurrence of the event is halved in the high resolution mode as in the case of the low resolution mode.
  • the number of pixels 11 that output event data indicating the occurrence of an event can be suppressed.
  • the current averaging mode it is possible to suppress the simultaneous occurrence of a large number of events as in the low resolution mode.
  • the source electrode of the transistor 6311 of the pixel 11A and the source electrode of the transistor 6311 of the pixel 11B are connected, and the transistors 6311 to the transistors 6311 of each current-voltage conversion unit 631 of the event detection unit 63A and the event detection unit 63B are connected.
  • Transistor 6313 is turned on.
  • the average value of the photocurrent I ph generated by the pixel 11A and the photocurrent I ph'generated by the pixel 11B flows through each of the transistors 6311 of the event detection unit 63A and the event detection unit 63B.
  • the configuration of the event detection sensor 10 having a variable resolution shown in FIG. 10 is an example, and the configuration of the event detection sensor 10 having a variable resolution is not limited to the configuration of FIG.
  • a switch element for example, a transistor
  • a switch element that selectively connects the gate electrode of the transistor 6311 through which the light current of the pixel 11A flows and the gate electrode of the transistor 6311 through which the light current of the pixel 11B flows is provided, and each photocurrent is provided. It is also possible to selectively synthesize the optical voltage corresponding to the above.
  • connection control unit 64 (Example of connection of pixels targeted for connection control by the connection control unit)
  • the two pixels 11 adjacent to each other in the column direction (vertical direction / vertical direction) are targeted for connection control by the connection control unit 64, but the present invention is not limited to this. That is, in addition to the two pixels 11 adjacent to each other in the column direction, for example, four pixels 11 having a horizontal (horizontal) ⁇ vertical (vertical) 2 ⁇ 2 and nine pixels 11 with a 3 ⁇ 3 ⁇ 4 ⁇ 4 16 pixels 11, 4 ⁇ 1 4 pixels 11, 4 ⁇ 2 8 pixels 11 and any other combination of a plurality of pixels 11 are connected and controlled by the connection control unit 64. Can be targeted.
  • FIG. 16 is a diagram illustrating a connection example of a plurality of pixels 11 to be controlled by the connection control unit 64.
  • 2 ⁇ 2 pixels 11 are connected as the first connection.
  • the pixel group of the first connection represents a set of 2 ⁇ 2 pixels 11.
  • a 2 ⁇ 2 pixel block is connected with the 2 ⁇ 2 pixel 11 connected in the first connection as a block.
  • the pixel group of the second connection represents a set of 2 ⁇ 2 pixel blocks.
  • control signal line L 11 for controlling the on / off of the first connection that is, whether or not the 2 ⁇ 2 pixels 11 are connected by the first connection
  • control signal line L 12 for controlling the on / off of the second connection that is, whether or not the 2 ⁇ 2 pixel block is connected by the second connection
  • the resolution of the event data indicating the occurrence of the event (the number of pixels 11 capable of outputting the event data) becomes a high resolution of 12 ⁇ 12. ..
  • the resolution of the event data indicating the occurrence of the event is as low as 6 ⁇ 6.
  • the resolution of the event data indicating the occurrence of the event becomes a lower resolution of 3 ⁇ 3.
  • the resolution of the event data indicating the occurrence of the event can be set. Lower resolution can be achieved.
  • the resolution of the event detection sensor 10 is switched according to the running state of the vehicle in order to enable accurate detection of the event regardless of the running state of the vehicle.
  • the resolution switching is performed under the control of the control unit 50 of FIG.
  • the control unit 50 is provided with various information such as the vehicle speed of the own vehicle from the vehicle control system 7000 shown in FIG. 34 via the interface 80.
  • the first embodiment is an example of switching the resolution of the event detection sensor 10 based on the vehicle speed of the own vehicle.
  • the flow of the resolution switching control according to the first embodiment is shown in the flowchart of FIG.
  • the control unit 50 determines whether or not the vehicle speed of the own vehicle is above a certain speed (step S11), and if the vehicle speed is above a certain speed, the resolution of the event detection sensor 10 is determined.
  • the low resolution mode is set (step S12). In a traveling state where the vehicle speed is high, many events are detected and the power consumption of the event detection sensor 10 increases. Therefore, the low resolution mode is set.
  • event detection can be suppressed.
  • the low resolution mode it is possible to suppress the area of the pixel array unit 12 that is in the operating state when an event is detected.
  • the number of pixels in the operating state when the event is detected is reduced, and the power consumption of the event detection sensor 10 can be reduced accordingly.
  • the control unit 50 determines whether or not the vehicle speed of the own vehicle is less than a certain speed (step S13), and if the vehicle speed is less than a certain speed, the low resolution mode is started. , The mode shifts to the high resolution mode capable of performing event detection with high accuracy (step S14). Then, the control unit 50 monitors the stop of the vehicle (step S15), returns to step S11, and repeats the series of processes described above until the vehicle stops.
  • the low resolution mode is set so that the detection of the event can be suppressed in the running state of a certain speed or higher where many events are likely to be detected based on the vehicle speed of the own vehicle. As a result, the power consumption of the event detection sensor 10 can be reduced.
  • the second embodiment is an example of switching the resolution of the event detection sensor 10 based on the relative speed with the object in front (for example, a car).
  • the flow of the resolution switching control according to the second embodiment is shown in the flowchart of FIG.
  • step S21 the control unit 50 recognizes another vehicle traveling in front of the own vehicle based on the recognition result of the object recognition unit 40 in FIG. 1 (step S21), and then the own vehicle and the other vehicle.
  • the relative velocity of (step S22) is calculated, and it is determined whether or not the relative velocity is equal to or higher than a certain relative velocity (step S23). Then, if the relative speed is equal to or higher than a constant relative speed, the control unit 50 sets the resolution of the event detection sensor 10 to a high resolution mode capable of performing event detection with high accuracy (step S24).
  • the control unit 50 calculates the relative speed between the own vehicle and the other vehicle (step S25), and determines whether or not the relative speed is less than a certain relative speed (step S26). ). If the relative speed is less than a certain relative speed, the control unit 50 shifts from the high resolution mode to the low resolution mode (step S27). The power consumption of the event detection sensor 10 can be reduced by setting the low resolution mode. Then, the control unit 50 monitors the stop of the vehicle (step S28), returns to step S21, and repeats the series of processes described above until the vehicle stops.
  • the resolution of the event detection sensor 10 can be set to a mode suitable for the relative speed based on the relative speed between the own vehicle and the vehicle in front.
  • the third embodiment is an example of switching the resolution of the event detection sensor 10 based on the vehicle speed of the own vehicle and the number of events (number of events occurring).
  • the flow of the resolution switching control according to the third embodiment is shown in the flowchart of FIG.
  • the control unit 50 determines whether or not the vehicle speed of the own vehicle is equal to or higher than a certain speed (step S31), and then the number of events detected by the event detection sensor 10 is equal to or higher than a predetermined threshold value. It is determined whether or not there is (step S32). If the vehicle speed is equal to or higher than a certain speed and the number of events is equal to or higher than a predetermined threshold value, the control unit 50 sets the resolution of the event detection sensor 10 to the low resolution mode (step S33). In a traveling state where the vehicle speed is high, many events are detected and the power consumption of the event detection sensor 10 increases. Therefore, the low resolution mode is set. The power consumption of the event detection sensor 10 can be reduced by setting the low resolution mode.
  • the control unit 50 determines whether or not the vehicle speed of the own vehicle is less than a certain speed (step S34), and then the number of events detected by the event detection sensor 10 is predetermined. It is determined whether or not it is less than the threshold value (step S35). If the vehicle speed is less than a certain speed and the number of events is less than a predetermined threshold value, the control unit 50 shifts from the low resolution mode to the high resolution mode capable of performing event detection with high accuracy (step S36). ). Then, the control unit 50 monitors the stop of the vehicle (step S37), returns to step S31, and repeats the series of processes described above until it is determined that the vehicle has stopped (YES in S37).
  • the low resolution mode is used in a driving state of a certain speed or higher at which many events are likely to be detected based on the vehicle speed of the own vehicle and the number of events (number of events generated). Therefore, the power consumption of the event detection sensor 10 can be reduced.
  • the fourth embodiment is an example of switching the resolution of the event detection sensor 10 based on the relative speed with the other vehicle and the number of events.
  • the flow of the resolution switching control according to the fourth embodiment is shown in the flowchart of FIG.
  • step S41 the control unit 50 recognizes another vehicle traveling in front of the own vehicle based on the recognition result of the object recognition unit 40 in FIG. 1 (step S41), and then the own vehicle and the other vehicle.
  • Relative velocity of (step S42) is calculated.
  • step S43 the control unit 50 determines whether or not the relative speed is equal to or higher than a constant relative speed (step S43), and then determines whether or not the number of events detected by the event detection sensor 10 is equal to or higher than a predetermined threshold value. Is determined (step S44). Then, if the relative speed is equal to or higher than a constant relative speed and the number of events is equal to or higher than a predetermined threshold value, the control unit 50 can detect the event with high resolution using the resolution of the event detection sensor 10. Set to the mode (step S24).
  • the control unit 50 calculates the relative speed between the own vehicle and the other vehicle (step S46), determines whether or not the relative speed is less than a certain relative speed (step S47). ), Then it is determined whether or not the number of events detected by the event detection sensor 10 is less than a predetermined threshold value (step S48). Then, if the relative speed is less than a constant relative speed and the number of events is less than a predetermined threshold value, the control unit 50 shifts from the high resolution mode to the low resolution mode (step S49). The power consumption of the event detection sensor 10 can be reduced by setting the low resolution mode. Then, the control unit 50 monitors the stop of the vehicle (step S50), returns to step S41, and repeats the series of processes described above until the vehicle stops.
  • the event detection sensor 10 is based on the relative speed between the own vehicle and the vehicle in front and the number of events (event occurrence number) detected by the event detection sensor 10.
  • the resolution can be set to a mode suitable for the relative speed and the number of events.
  • the fifth embodiment is an example of switching the resolution of the event detection sensor 10 when the occurrence of traffic congestion is detected.
  • the flow of the resolution switching control according to the fifth embodiment is shown in the flowchart of FIG.
  • step S51 the event detection sensor 10 is running in the low resolution mode.
  • the control unit 50 determines whether or not the vehicle speed of the own vehicle is traveling at a low speed less than a predetermined threshold value while traveling in the low resolution mode (step S52), and then the number of events (number of events occurring). ) Is equal to or greater than a predetermined threshold value (step S53), and then occupies the angle of view (imageable range) of the event detection sensor 10 based on the recognition result of the object recognition unit 40 in FIG. It is determined whether or not the area of the vehicle is equal to or larger than a certain ratio (step S54).
  • the vehicle speed of the own vehicle, the number of events detected by the event detection sensor 10, and the area of the vehicle occupying the angle of view are parameters for detecting the occurrence of traffic congestion. For example, since the number of vehicles around the own vehicle increases during traffic congestion, the number of events detected by the event detection sensor 10 also increases accordingly.
  • the control unit 50 determines that traffic congestion has occurred when the number of events is equal to or greater than the threshold value and the area of the vehicle occupying the angle of view is equal to or greater than a certain percentage while the vehicle is traveling at a low speed below the threshold value. It is detected (step S55), and since safe driving is generally required during traffic jams, the mode shifts from the low resolution mode to the high resolution mode capable of performing event detection with high accuracy (step S56).
  • control unit 50 determines whether or not the traffic congestion has been resolved (step S57). This determination process is the reverse of step S52, step S53, and step S54 for detecting the occurrence of traffic congestion. That is, the control unit 50 is conditioned on the condition that the vehicle speed of the own vehicle is at least the threshold value, the number of events is less than the threshold value, and the area of the vehicle occupied in the angle of view is less than a certain ratio. , It can be judged that the traffic jam has been resolved.
  • control unit 50 determines that the congestion has been resolved, the control unit 50 returns to step S51, shifts from the high resolution mode to the low resolution mode, and repeats the series of processes described above.
  • the power consumption of the event detection sensor 10 can be reduced by setting the low resolution mode.
  • control unit 50 monitors the stop of the vehicle (step S58), and when it is determined that the vehicle is stopped, the control unit 50 ends the series of processes described above when the traffic jam is detected.
  • the resolution switching control according to the fifth embodiment described above when the occurrence of traffic congestion is detected, the occurrence of an event is generated by shifting from the low resolution mode to the high resolution mode capable of detecting the event with high accuracy. Since it can be detected more accurately, it can contribute to safe driving in a traffic jam.
  • the sixth embodiment is an example of switching the resolution of the event detection sensor 10 when the highway traveling is detected.
  • the flow of the resolution switching control according to the sixth embodiment is shown in the flowchart of FIG.
  • step S61 the event detection sensor 10 is running in the low resolution mode.
  • the control unit 50 determines whether or not the vehicle speed of the own vehicle is traveling at a high speed equal to or higher than a predetermined threshold value while traveling in the low resolution mode (step S62), and then the number of events (events). It is determined whether or not the number of occurrences) is equal to or greater than a predetermined threshold value (step S63), and then, based on the recognition result of the object recognition unit 40 in FIG. 1, the area of the vehicle occupying the angle of view is a certain percentage or more. Whether or not it is determined (step S64).
  • the vehicle speed of the own vehicle, the number of events detected by the event detection sensor 10, and the area of the vehicle occupying the angle of view are parameters for detecting highway driving. For example, while traveling at high speed, the number of events detected by the event detection sensor 10 will increase.
  • the control unit 50 is traveling on the highway if the number of events is equal to or greater than the threshold and the area of the vehicle occupying the angle of view is equal to or greater than a certain percentage while the vehicle is traveling at a high speed equal to or higher than the threshold. This is detected (step S65), and since safe driving is generally required while driving at high speed, the mode shifts from the low resolution mode to the high resolution mode capable of detecting events with high accuracy (step S66). ..
  • control unit 50 determines whether or not the highway driving is completed in the driving state of the high resolution mode (step S67). This determination process is the reverse of step S62, step S63, and step S64 for detecting highway travel. That is, the control unit 50 is conditioned on the condition that the vehicle speed of the own vehicle is less than the threshold value, the number of events is less than the threshold value, and the area of the vehicle occupying the angle of view is less than a certain ratio. , It can be judged that the highway driving is completed.
  • control unit 50 determines that the highway driving has been completed, the control unit 50 returns to step S61, shifts from the high resolution mode to the low resolution mode, and repeats the series of processes described above.
  • the power consumption of the event detection sensor 10 can be reduced by setting the low resolution mode.
  • control unit 50 monitors the stop of the vehicle (step S68), and when it is determined that the vehicle is stopped, the control unit 50 ends the series of processes described above when the vehicle is detected to travel on the highway.
  • the event when the highway driving is detected, the event is generated by shifting from the low resolution mode to the high resolution mode capable of performing the event detection with high accuracy. Since it can be detected more accurately, it can contribute to safe driving on the highway.
  • the seventh embodiment is an example of switching the resolution of the event detection sensor 10 when the course change of the own vehicle is detected.
  • the flow of the resolution switching control according to the seventh embodiment is shown in the flowchart of FIG.
  • step S71 the own vehicle is traveling straight.
  • the control unit 50 determines whether or not the course of the right turn or the left turn has been changed during the straight running (step S72), and when it is determined that the course of the right turn or the left turn has been changed, the resolution of the event detection sensor 10 is increased.
  • step S73 the resolution mode
  • control unit 50 determines whether or not the own vehicle is traveling straight (step S74), and if it is determined that the vehicle is traveling straight, the change in the surrounding landscape is smaller when traveling straight than when changing the course. Therefore, the mode shifts from the high resolution mode to the low resolution mode (step S75).
  • the power consumption of the event detection sensor 10 can be reduced by setting the low resolution mode. The specific process of determining the straight running in step S74 will be described later.
  • control unit 50 monitors the stop of the vehicle (step S68), and if it is not stopped, returns to step S71 to shift to straight-line travel, and thereafter repeats the series of processes described above.
  • control unit 50 determines that the vehicle is stopped, the control unit 50 ends the series of processes described above when it detects a change in the course of the own vehicle.
  • the resolution switching control according to the seventh embodiment described above when a course change is detected, the event is generated more by shifting from the low resolution mode to the high resolution mode capable of performing event detection with high accuracy. Since it can be detected accurately, it can contribute to safe driving when changing course.
  • FIG. 24A An example of a specific process for determining a course change is shown in the flowchart of FIG. 24A, and an example of a specific process for determining a straight running is shown in the flowchart of FIG. 24B.
  • any of the determination processes one of various information given from the vehicle control system 7000 shown in FIG. 34, which will be described later, for example, information on the steering angle of the steering wheel can be used.
  • the control unit 50 determines whether or not the steering has rotated by a certain angle or more based on the information on the steering angle of the steering wheel (step S721), and then the event detection sensor 10 Determines whether or not the number of events detected by (step S722) is equal to or greater than a predetermined threshold value (step S722). Then, when the steering is rotated by a certain angle or more and the number of events is equal to or more than the threshold value, the control unit 50 detects that there is a right turn or a left turn (step S723), and then returns to the flow of FIG. 23. The process proceeds to step S73.
  • the control unit 50 determines whether or not the steering is within a certain angle (step S741), and then the number of events (event occurrence number) detected by the event detection sensor 10 is predetermined. It is determined whether or not it is less than the threshold value (step S742). Then, when the steering is within a certain angle and the number of events is less than the threshold value, the control unit 50 detects that the vehicle is traveling straight (step S743), and then returns to the flow of FIG. 23 and proceeds to step S75. Transition.
  • the information on the steering angle of the steering wheel is used to detect the change of course, but the present invention is not limited to this.
  • the acceleration of the steering wheel is detected and the acceleration information is used. It can also be.
  • the eighth embodiment is an example of switching the resolution of the event detection sensor 10 for each region of the pixel array unit.
  • the flow of the resolution switching control according to the eighth embodiment is shown in the flowchart of FIG.
  • step S81 the control unit 50 divides the pixel array unit 12 into a plurality of regions in units of a predetermined number of pixels, and the number of events detected by the event detection sensor 10 (event detection) for each region extracted by ROI. Number) is calculated (step S82).
  • control unit 50 determines whether or not there is an area in which the number of events calculated for each area exceeds a predetermined threshold value (step S83), and if there is an area in which the number of events exceeds the threshold value, the control unit 50 determines.
  • a region where the number of events exceeds the threshold value is specified (step S84). The region can be specified, for example, based on information such as the address of the pixel 11 forming the region.
  • control unit 50 sets the low resolution mode for the region specified as the number of events exceeds the threshold value (step S85). After that, the control unit 50 determines whether or not the number of events detected by the event detection sensor 10 is less than a predetermined threshold value in the area where the low resolution mode is set (step S86), and the number of events becomes less than the threshold value. If so, the process proceeds to step S81 to return to the high resolution mode.
  • control unit 50 monitors the stop of the vehicle in a state where the low resolution mode is set for the area specified as the area where the number of events exceeds the threshold value (step S87). If it is determined to be stopped, the above-mentioned series of processes for switching the resolution for each region of the pixel array unit 12 is completed.
  • Example 8 that is, the technique of switching the resolution of the event detection sensor 10 for each region of the pixel array unit 12, is the resolution switching control according to the first embodiment or the resolution switching according to the seventh embodiment. It can also be applied to control.
  • the event detection sensor determines the recognition of the other vehicle traveling ahead in the fourth embodiment and the determination of the area of the vehicle occupying the angle of view in the fifth and sixth embodiments.
  • the output is not limited to this. Based on the output of the synchronous imaging sensor provided in the imaging device 1B according to the second embodiment described later, it is possible to recognize another vehicle and determine the area of the vehicle occupying the angle of view.
  • FIG. 26 is a block diagram showing an example of the system configuration of the imaging system according to the second embodiment of the present disclosure.
  • the image pickup system 1B includes an event detection sensor 10, an image sensor 20, a motion recognition unit 30, an object recognition unit 40, a control unit 50, and an operation pattern definition unit 60. It also has a recording unit 70.
  • the functions of the event detection sensor 10, the motion recognition unit 30, the object recognition unit 40, the control unit 50, the operation pattern definition unit 60, and the recording unit 70 are as described in the imaging system 1A according to the first embodiment. is there.
  • the imaging system 1B according to the second embodiment can also be mounted on a moving body such as a vehicle and used in the same manner as the imaging system 1A according to the first embodiment.
  • CMOS type image sensor which is a kind of XY address type image sensor
  • a CMOS type image sensor is an image sensor manufactured by applying or partially using a CMOS process.
  • the image sensor 20 is not limited to the CMOS type image sensor.
  • FIG. 27 is a block diagram showing an outline of the configuration of a CMOS image sensor which is an example of the image sensor 20 in the image pickup system 1B according to the second embodiment.
  • the pixel array unit 22 in which the pixels 21 including the light receiving unit (photoelectric conversion unit) are two-dimensionally arranged in the row direction and the column direction, that is, in a matrix, and the pixel array unit. It has a configuration having 22 peripheral circuit units.
  • the row direction refers to the arrangement direction of the pixels 21 in the pixel row
  • the column direction refers to the arrangement direction of the pixels 21 in the pixel row.
  • the image sensor 20 according to this example is an RGB sensor in which, for example, R (red), G (green), and B (blue) color filters are incorporated in each pixel 21 of the pixel array unit 22.
  • the image sensor 20 is not limited to the RGB sensor.
  • the peripheral circuit unit of the pixel array unit 22 is composed of, for example, a row selection unit 23, a constant current source unit 24, an analog-digital conversion unit 25, a horizontal transfer scanning unit 26, a signal processing unit 27, a timing control unit 28, and the like. Has been done.
  • pixel drive lines 31 1 to 31 m are aligned along the row direction for each pixel row with respect to the matrix-like pixel array. Is wired.
  • vertical signal lines 32 1 to 32 n (hereinafter, may be collectively referred to as “vertical signal line 32”) are wired along the column direction for each pixel row.
  • the pixel drive line 31 transmits a drive signal for driving when reading a signal from the pixel 21.
  • the pixel drive line 31 is shown as one wiring, but the wiring is not limited to one.
  • One end of the pixel drive line 31 is connected to the output end corresponding to each line of the line selection unit 23.
  • the control unit 28 will be described.
  • the row selection unit 23 is composed of a shift register, an address decoder, and the like, and controls the scanning of pixel rows and the address of pixel rows when selecting each pixel 21 of the pixel array unit 22. Although the specific configuration of the row selection unit 23 is not shown, it generally has two scanning systems, a read scanning system and a sweep scanning system.
  • the read-out scanning system selectively scans each pixel 21 of the pixel array unit 22 row by row in order to read a pixel signal from the pixel 21.
  • the pixel signal read from the pixel 21 is an analog signal.
  • the sweep scanning system performs sweep scanning in advance of the read scan performed by the read scan system by the time of the shutter speed.
  • the so-called electronic shutter operation is performed by sweeping out (resetting) unnecessary charges by the sweeping scanning system.
  • the electronic shutter operation refers to an operation of discarding the light charge of the light receiving portion and starting a new exposure (starting the accumulation of the light charge).
  • the constant current source unit 24 includes a plurality of current sources I (see FIG. 18) connected to each of the vertical signal lines 32 1 to 32 n for each pixel row, for example, composed of MOS transistors, and the row selection unit 23.
  • a bias current is supplied to each pixel 21 of the pixel row selectively scanned by the above through each of the vertical signal lines 32 1 to 32 n .
  • the analog-to-digital converter 25 is composed of a set of a plurality of analog-to-digital converters provided (for example, provided for each pixel sequence) corresponding to the pixel array of the pixel array unit 22.
  • the analog-to-digital conversion unit 25 is a column-parallel type analog-to-digital conversion unit that converts an analog pixel signal output through each of the vertical signal lines 32 1 to 32 n for each pixel string into a digital signal.
  • analog-to-digital converter in the column-parallel analog-to-digital converter 25 for example, a single slope type analog-to-digital converter which is an example of a reference signal comparison type analog-to-digital converter can be used.
  • analog-to-digital converter is not limited to the single slope type analog-digital converter, but is not limited to the serial comparison type analog-digital converter and the delta-sigma modulation type ( ⁇ modulation type) analog-digital.
  • a converter or the like can be used.
  • analog-to-digital converter in the column-parallel analog-to-digital conversion unit 25 the analog-to-digital converter in the analog-to-digital conversion unit constituting the column processing unit 15 (see FIG. 3) of the event detection sensor 10 described above. The same applies to.
  • the horizontal transfer scanning unit 26 is composed of a shift register, an address decoder, and the like, and controls the scanning of the pixel string and the address of the pixel string when reading the signal of each pixel 21 of the pixel array unit 22. Under the control of the horizontal transfer scanning unit 26, the pixel signal converted into a digital signal by the analog-digital conversion unit 25 is read out to the horizontal transfer line (horizontal output line) 29 in pixel sequence units.
  • the signal processing unit 27 performs predetermined signal processing on the digital pixel signal supplied through the horizontal transfer line 29 to generate two-dimensional image data. For example, the signal processing unit 27 corrects vertical line defects and point defects, clamps signals, and performs digital signal processing such as parallel-serial conversion, compression, coding, addition, averaging, and intermittent operation. Or something.
  • the signal processing unit 27 outputs the generated image data as an output signal of the image sensor 20 to a subsequent device.
  • the timing control unit 28 is based on a vertical synchronization signal VD, a horizontal synchronization signal HD, a master clock MCK (not shown), etc. supplied from the outside, and various timing signals, clock signals, control signals, etc. To generate. Then, the timing control unit 28 drives and controls the row selection unit 23, the constant current source unit 24, the analog-digital conversion unit 25, the horizontal transfer scanning unit 26, the signal processing unit 27, and the like based on these generated signals. I do.
  • the image sensor 20 Under the control of the timing control unit 28, the image sensor 20 performs imaging in synchronization with a synchronization signal such as a vertical synchronization signal VD. That is, the image sensor 20 is a synchronous image pickup device that captures images at a predetermined frame rate.
  • a synchronization signal such as a vertical synchronization signal VD. That is, the image sensor 20 is a synchronous image pickup device that captures images at a predetermined frame rate.
  • FIG. 28 is a circuit diagram showing an example of the circuit configuration of the pixels 21 of the pixel array unit 22 in the image sensor 20.
  • the pixel 21 has, for example, a photodiode 211 as a light receiving unit (photoelectric conversion unit).
  • the pixel 21 has a pixel configuration having a transfer transistor 212, a reset transistor 213, an amplification transistor 214, and a selection transistor 215 in addition to the photodiode 211.
  • an N-type MOS transistor is used as the four transistors of the transfer transistor 212, the reset transistor 213, the amplification transistor 214, and the selection transistor 215, but the four transistors 212 to 215 exemplified here are used.
  • the combination of conductive types is only an example, and is not limited to these combinations.
  • a plurality of pixel drive lines are commonly wired to each pixel 21 in the same pixel row as the pixel drive line 31 described above. These plurality of pixel drive lines are connected to the output end corresponding to each pixel row of the row selection unit 23 in pixel row units.
  • the row selection unit 23 appropriately outputs the transfer signal TRG, the reset signal RST, and the selection signal SEL to the plurality of pixel drive lines.
  • the anode electrode is connected to a low-potential side power supply (for example, ground), and the received light is photoelectrically converted into an electric charge (here, photoelectrons) having an electric charge corresponding to the amount of the light, and the light thereof. Accumulates electric charge.
  • the cathode electrode of the photodiode 211 is electrically connected to the gate electrode of the amplification transistor 214 via the transfer transistor 212.
  • the region where the gate electrodes of the amplification transistor 214 are electrically connected is a floating diffusion (floating diffusion region / impurity diffusion region) FD.
  • the floating diffusion FD is a charge-voltage converter that converts an electric charge into a voltage.
  • a transfer signal TRG in which a high level (for example, V DD level) is active is given to the gate electrode of the transfer transistor 212 from the row selection unit 23.
  • a high level for example, V DD level
  • the transfer transistor 212 is turned on in response to the transfer signal TRG, it is photoelectrically converted by the photodiode 211, and the optical charge accumulated in the photodiode 211 is transferred to the floating diffusion FD.
  • the reset transistor 213 is connected between the power supply line of the power supply voltage V DD and the floating diffusion FD.
  • a reset signal RST that activates a high level is given to the gate electrode of the reset transistor 213 by the row selection unit 23.
  • the reset transistor 213 is turned on in response to the reset signal RST, and resets the floating diffusion FD by discarding the charge of the floating diffusion FD to the node of the power supply voltage V DD .
  • the gate electrode is connected to the floating diffusion FD, and the drain electrode is connected to the power supply line of the power supply voltage V DD .
  • the amplification transistor 214 serves as an input unit of a source follower that reads out a signal obtained by photoelectric conversion in the photodiode 211.
  • the source electrode is connected to the vertical signal line 32 via the selection transistor 215.
  • the amplification transistor 214 and the current source I connected to one end of the vertical signal line 32 form a source follower that converts the voltage of the floating diffusion FD into the potential of the vertical signal line 32.
  • the drain electrode is connected to the source electrode of the amplification transistor 214, and the source electrode is connected to the vertical signal line 32.
  • a selection signal SEL that activates a high level is given to the gate electrode of the selection transistor 215 from the row selection unit 23.
  • the selection transistor 215 is turned on in response to the selection signal SEL, so that the signal output from the amplification transistor 214 is transmitted to the vertical signal line 32 with the pixel 21 in the selection state.
  • a 4Tr configuration including a transfer transistor 212, a reset transistor 213, an amplification transistor 214, and a selection transistor 215, that is, a 4Tr configuration consisting of four transistors (Tr) has been described as an example. It is not limited to this.
  • the selection transistor 215 may be omitted, and the amplification transistor 214 may have a 3Tr configuration in which the function of the selection transistor 25 is provided, or the configuration may be 5Tr or more by increasing the number of transistors, if necessary. ..
  • chip structure configuration As the chip (semiconductor integrated circuit) structure of the image sensor 20 having the above configuration, a flat chip structure and a laminated chip structure can be exemplified.
  • the substrate surface on the side where the wiring layer is arranged is the surface (front surface) of the pixel 21, the light emitted from the surface side is used. It is possible to have a front-illuminated pixel structure that captures the light, or a back-illuminated pixel structure that captures the light emitted from the back surface side on the opposite side.
  • the horizontal chip structure and the laminated chip structure will be described below.
  • FIG. 29 is a plan view showing an outline of the horizontal chip structure of the image sensor 20.
  • the horizontal chip structure (so-called horizontal structure) is formed on the same semiconductor substrate 201 as the pixel array unit 22 in which the pixels 21 are arranged in a matrix, and the periphery of the pixel array unit 22. It has a structure in which a circuit part is formed. Specifically, on the same semiconductor substrate 201 as the pixel array unit 22, the row selection unit 23, the constant current source unit 24, the analog-digital conversion unit 25, the horizontal transfer scanning unit 26, the signal processing unit 27, and the timing control Part 28 and the like are formed.
  • FIG. 30 is an exploded perspective view showing an outline of the laminated chip structure of the image sensor 20.
  • the laminated chip structure has a structure in which at least two semiconductor substrates of the first semiconductor substrate 202 and the second semiconductor substrate 203 are laminated.
  • the pixel array portion 22 is formed on the first semiconductor substrate 202 of the first layer.
  • the circuit parts such as the row selection unit 23, the constant current source unit 24, the analog-digital conversion unit 25, the horizontal transfer scanning unit 26, the signal processing unit 27, and the timing control unit 28 are the second semiconductors of the second layer. It is formed on the substrate 203.
  • the first semiconductor substrate 202 of the first layer and the second semiconductor substrate 203 of the second layer are electrically connected through connecting portions 33A and 33B such as vias (VIA) and Cu—Cu bonding.
  • a process suitable for manufacturing the pixels 21 can be applied to the first layer first semiconductor substrate 202, and a circuit portion can be manufactured on the second layer second semiconductor substrate 203. Since a suitable process can be applied, the process can be optimized in manufacturing the image sensor 20. In particular, advanced processes can be applied to the fabrication of circuit parts.
  • a laminated structure having a two-layer structure in which the first semiconductor substrate 202 and the second semiconductor substrate 203 are laminated is illustrated, but the laminated structure is not limited to the two-layer structure and has three or more layers. It can also be a structure of.
  • the circuit parts such as the row selection unit 23, the constant current source unit 24, the analog-digital conversion unit 25, the horizontal transfer scanning unit 26, and the signal processing unit 27 have two layers. It can be dispersed and formed on the semiconductor substrate after the eyes.
  • the event detection sensor 10 and the image sensor 20 perform an event detection operation and an image pickup operation, respectively, under the control of the control unit 50.
  • the event signal (event data) output from the event detection sensor 10 and the image data output from the image sensor 20 are supplied to the motion recognition unit 30.
  • the motion recognition unit 30 recognizes (detects) the motion of the object based on the event signal output from the event detection sensor 10. More specifically, the motion recognition unit 30 generates an event frame by framing the event signal output from the event detection sensor 10, and detects motion between the event frames. When the object recognition of the event is performed using the event signal output from the event detection sensor 10, the object recognition unit 40 performs the object recognition based on the result of the motion detection given by the motion recognition unit 30.
  • the image sensor 20 is composed of a synchronous image pickup device, and in order to perform imaging at a predetermined frame rate, for example, a fixed frame rate, it is not necessary to generate an event frame as in the case of the event detection sensor 10. Therefore, the image data output from the image sensor 20 in frame units is directly supplied to the object recognition unit 40. Then, the object recognition unit 40 will perform object recognition based on the image data of each frame.
  • the event detection sensor 10 composed of the asynchronous image pickup device since the event detection sensor 10 composed of the asynchronous image pickup device has a pixel configuration having the event detection unit 63, the pixel size has to be larger than that of the image sensor 20 composed of the synchronous image pickup device. .. Therefore, the event detection sensor 10 has a lower resolution than the image sensor 20 that captures images at a fixed frame rate. On the other hand, the image sensor 20 composed of a synchronous image pickup device is superior in resolution to an asynchronous image pickup device.
  • the resolution of the event detection sensor 10 is switched according to the running state of the vehicle in order to enable accurate detection of the event regardless of the running state of the vehicle.
  • the resolution switching is performed under the control of the control unit 50 of FIG.
  • the control unit 50 is provided with various information such as the vehicle speed of the own vehicle from the vehicle control system 7000 shown in FIG. 34 via the interface 80.
  • the ninth embodiment is an example of switching the resolution of the event detection sensor 10 when the occurrence of traffic congestion is detected.
  • the flow of the resolution switching control according to the ninth embodiment is shown in the flowchart of FIG.
  • step S91 the event detection sensor 10 is running in the low resolution mode.
  • the control unit 50 determines whether or not the vehicle speed of the own vehicle is traveling at a low speed less than a predetermined threshold value while traveling in the low resolution mode (step S92), and then the asynchronous imaging is performed. It is determined whether or not it is possible to detect an object (for example, a car) only by the information of the event detection sensor 10 including the device (step S93).
  • step S94 the control unit 50 detects the vehicle by using the information of the event detection sensor 10 (for example, event data indicating the occurrence of an event) (step S94).
  • step S95 an area that can be detected as a vehicle within the angle of view is specified (step S95). If the control unit 50 cannot detect the car only with the information of the event detection sensor 10, the control unit 50 detects the car using the information of the event detection device sensor and the image sensor 20 (step S96), and then. , The process proceeds to step S95.
  • control unit 50 determines whether or not the area that can be detected as a vehicle is equal to or greater than a predetermined threshold value (step S97), and if it is less than the predetermined threshold value, the process returns to the process of step S95. Further, if it is equal to or higher than a predetermined threshold value, the control unit 50 detects that a traffic jam has occurred (step S98), and generally, safe driving is required during the traffic jam. Therefore, the area specified in step S95. The mode shifts from the low resolution mode to the high resolution mode capable of performing event detection with high accuracy (step S99).
  • control unit 50 determines whether or not the congestion has been resolved (step S100).
  • This determination process is the reverse of the process of detecting the occurrence of traffic congestion. That is, the control unit 50 can determine that the traffic congestion has been eliminated, provided that the vehicle speed of the own vehicle is equal to or higher than the threshold value and the area that can be detected as a vehicle is less than the predetermined threshold value.
  • control unit 50 determines that the traffic congestion has been resolved, the control unit 50 returns to step S91, shifts from the high resolution mode to the low resolution mode, and repeats the series of processes described above.
  • the power consumption of the event detection sensor 10 can be reduced by setting the low resolution mode.
  • control unit 50 monitors the stop of the vehicle (step S101), and when it is determined that the vehicle is stopped, the control unit 50 ends the series of processes described above when the traffic jam is detected.
  • the occurrence of traffic congestion can be accurately detected by using the image data of the image sensor 20 having a resolution superior to that of the event detection sensor 10. Then, when the occurrence of traffic jam is detected, the occurrence of the event can be detected more accurately by shifting from the low resolution mode to the high resolution mode in which the occurrence of the event can be easily detected. Therefore, safe driving during the traffic jam. Can contribute to.
  • the tenth embodiment is an example of switching the resolution of the event detection sensor 10 when the highway traveling is detected.
  • the flow of the resolution switching control according to the tenth embodiment is shown in the flowchart of FIG.
  • step S111 the event detection sensor 10 is running in the low resolution mode.
  • the control unit 50 determines whether or not the vehicle speed of the own vehicle is traveling at a high speed equal to or higher than a predetermined threshold value while traveling in the low resolution mode (step S112), and then the event detection sensor 10 It is determined whether or not it is possible to detect an object (for example, a car) only with the information of (step S113).
  • step S114 If the vehicle can be recognized only by the information of the event detection sensor 10, the control unit 50 detects the vehicle by using the information of the event detection sensor 10 (for example, event data indicating the occurrence of an event) (step S114). Next, an area that can be detected as a vehicle within the angle of view is specified (step S115). If the control unit 50 cannot detect the car only with the information of the event detection sensor 10, the control unit 50 detects the car using the information of the event detection device sensor and the image sensor 20 (step S116), and then. , The process proceeds to step S115.
  • the information of the event detection sensor 10 for example, event data indicating the occurrence of an event
  • control unit 50 determines whether or not the area that can be detected as a vehicle is equal to or greater than a predetermined threshold value (step S117), and if it is less than the predetermined threshold value, the process returns to the process of step S115. Further, if it is equal to or higher than a predetermined threshold value, the control unit 50 detects that the vehicle is traveling on an expressway (step S118), and generally requires safe driving while traveling at a high speed. Therefore, in step S115. With respect to the specified area, the mode shifts from the low resolution mode to the high resolution mode in which event detection can be performed with high accuracy (step S119).
  • the control unit 50 determines whether or not the highway driving is completed in the driving state of the high resolution mode (step S120). This determination process is the reverse of the process of detecting highway travel. That is, the control unit 50 can determine that the highway driving is completed on the condition that the vehicle speed of the own vehicle is less than the threshold value and the area that can be detected as a vehicle is less than the predetermined threshold value.
  • control unit 50 determines that the highway driving has been completed, the control unit 50 returns to step S111, shifts from the high resolution mode to the low resolution mode, and repeats the series of processes described above.
  • the power consumption of the event detection sensor 10 can be reduced by setting the low resolution mode.
  • control unit 50 monitors the stop of the vehicle (step S121), and when it is determined that the vehicle is stopped, the control unit 50 ends the series of processes described above when the vehicle is detected to travel on the highway.
  • the resolution switching control according to the tenth embodiment described above it is possible to accurately detect highway driving by using the image data of the image sensor 20 having a resolution superior to that of the event detection sensor 10. Then, when the highway driving is detected, the occurrence of the event can be detected more accurately by shifting from the low resolution mode to the high resolution mode in which the event can be detected with high accuracy. It can contribute to safe driving in.
  • the eleventh embodiment is an example in which the resolution of the event detection sensor 10 is switched in the auto cruising mode when the imaging system 1B according to the second embodiment is mounted on a vehicle having an auto cruising function.
  • the flow of the resolution switching control according to the eleventh embodiment is shown in the flowchart of FIG.
  • the auto cruising mode is selected by the user (driver), and when the user turns on (selects) the auto cruising mode, the information of the auto cruising mode on is given to the control unit 50 from the vehicle control system 7000 shown in FIG. Be done.
  • the control unit 50 monitors the user's selection of the auto cruising mode (step S131), and when it determines that the auto cruising mode is on, sets the resolution of the event detection sensor 10 to the low resolution mode (step S132). Next, the control unit 50 identifies an area that can be detected as a vehicle within the angle of view (step S133), and shifts from the low resolution mode to the high resolution mode that can detect events with high accuracy for the specified area. (Step S135).
  • control unit 50 identifies a vehicle traveling in front of the own vehicle (step S135), and shifts to a low resolution mode for an area other than the specified vehicle (step S136).
  • the power consumption of the event detection sensor 10 can be reduced by setting the low resolution mode.
  • control unit 50 calculates the relative speed between the own vehicle and the vehicle in front (step S137), and then determines whether or not the relative speed between the own vehicle and the vehicle in front is zero (step S138). If the relative speed is not zero, the vehicle speed of the own vehicle is changed (step S139), and then the process proceeds to step S138.
  • step S140 If the relative speed with respect to the vehicle in front is zero, the control unit 50 keeps the vehicle speed of the own vehicle (step S140), then monitors the auto cruising mode off by the user (step S141), and sets the auto cruising mode. If it continues, the process returns to step S132 and the series of processes described above is repeated. If the auto cruising mode is off, the control unit 50 monitors the stop of the vehicle (step S142), and if it determines that the vehicle is stopped, the control unit 50 ends the series of processes described above.
  • the resolution switching control according to the eleventh embodiment even when the imaging system 1B according to the second embodiment is mounted on a vehicle having an auto cruising function, the vehicle is in a running state in the auto cruising mode. Correspondingly, it is possible to control to switch the resolution of the event detection sensor 10.
  • the technique according to the present disclosure has been described above based on the preferred embodiment, the technique according to the present disclosure is not limited to the embodiment.
  • the configurations and structures of the imaging apparatus and the imaging system described in the above embodiments are examples and can be changed.
  • the pixel signal generation unit 62 is provided for each light receiving unit 61 to form the pixel 11.
  • the plurality of light receiving units 61 are blocked as a unit, and the pixel signal generation unit 62 is provided in each pixel block. It is also possible to provide one by one and share the pixel signal generation unit 62 among a plurality of light receiving units 61 in the pixel block.
  • the technology according to the present disclosure can be applied to various products. A more specific application example will be described below.
  • the technology according to the present disclosure includes any type of movement such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, robots, construction machines, agricultural machines (tractors), and the like. It may be realized as an image pickup device or an image pickup system mounted on a body.
  • FIG. 34 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a moving body control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via the communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an external information detection unit 7400, an in-vehicle information detection unit 7500, and an integrated control unit 7600. ..
  • the communication network 7010 connecting these plurality of control units conforms to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network) or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores a program executed by the microcomputer or parameters used for various arithmetic, and a drive circuit that drives various control target devices. To be equipped.
  • Each control unit is provided with a network I / F for communicating with other control units via the communication network 7010, and is connected to devices or sensors inside or outside the vehicle by wired communication or wireless communication. A communication I / F for performing communication is provided. In FIG.
  • control unit 7600 As the functional configuration of the integrated control unit 7600, the microcomputer 7610, general-purpose communication I / F 7620, dedicated communication I / F 7630, positioning unit 7640, beacon receiving unit 7650, in-vehicle device I / F 7660, audio image output unit 7670, The vehicle-mounted network I / F 7680 and the storage unit 7690 are shown.
  • Other control units also include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • the vehicle condition detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 may include, for example, a gyro sensor that detects the angular velocity of the axial rotation of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an accelerator pedal operation amount, a brake pedal operation amount, or steering wheel steering. Includes at least one of the sensors for detecting angular velocity, engine speed, wheel speed, and the like.
  • the drive system control unit 7100 performs arithmetic processing using signals input from the vehicle state detection unit 7110 to control an internal combustion engine, a drive motor, an electric power steering device, a brake device, and the like.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, blinkers or fog lamps.
  • the body system control unit 7200 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 7200 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the battery control unit 7300 controls the secondary battery 7310, which is the power supply source of the drive motor, according to various programs. For example, information such as the battery temperature, the battery output voltage, or the remaining capacity of the battery is input to the battery control unit 7300 from the battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature control of the secondary battery 7310 or the cooling device provided in the battery device.
  • the vehicle outside information detection unit 7400 detects information outside the vehicle equipped with the vehicle control system 7000.
  • the image pickup unit 7410 and the vehicle exterior information detection unit 7420 is connected to the vehicle exterior information detection unit 7400.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the vehicle exterior information detection unit 7420 is used to detect, for example, the current weather or an environmental sensor for detecting the weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors is included.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects the degree of sunshine, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 7410 and the vehicle exterior information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 35 shows an example of the installation positions of the imaging unit 7410 and the vehicle exterior information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, 7918 are provided, for example, at at least one of the front nose, side mirrors, rear bumpers, back door, and upper part of the windshield of the vehicle interior of the vehicle 7900.
  • the image pickup unit 7910 provided on the front nose and the image pickup section 7918 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • the imaging units 7912 and 7914 provided in the side mirrors mainly acquire images of the side of the vehicle 7900.
  • the imaging unit 7916 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 7900.
  • the imaging unit 7918 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 35 shows an example of the photographing range of each of the imaging units 7910, 7912, 7914, 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided on the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided on the side mirrors, respectively
  • the imaging range d indicates the imaging range d.
  • the imaging range of the imaging unit 7916 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 7910, 7912, 7914, 7916, a bird's-eye view image of the vehicle 7900 as viewed from above can be obtained.
  • the vehicle exterior information detection units 7920, 7922, 7924, 7926, 7928, 7930 provided on the front, rear, side, corners and the upper part of the windshield in the vehicle interior of the vehicle 7900 may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle exterior information detection units 7920, 7926, 7930 provided on the front nose, rear bumper, back door, and upper part of the windshield in the vehicle interior of the vehicle 7900 may be, for example, a lidar device.
  • These out-of-vehicle information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, or the like.
  • the vehicle exterior information detection unit 7400 causes the image pickup unit 7410 to capture an image of the vehicle exterior and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the connected vehicle exterior information detection unit 7420. When the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device, the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives the received reflected wave information.
  • the vehicle outside information detection unit 7400 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on a road surface based on the received information.
  • the vehicle exterior information detection unit 7400 may perform an environment recognition process for recognizing rainfall, fog, road surface conditions, etc. based on the received information.
  • the vehicle exterior information detection unit 7400 may calculate the distance to an object outside the vehicle based on the received information.
  • the vehicle exterior information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a vehicle, an obstacle, a sign, a character on the road surface, or the like based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and synthesizes the image data captured by different imaging units 7410 to generate a bird's-eye view image or a panoramic image. May be good.
  • the vehicle exterior information detection unit 7400 may perform the viewpoint conversion process using the image data captured by different imaging units 7410.
  • the in-vehicle information detection unit 7500 detects the in-vehicle information.
  • a driver state detection unit 7510 that detects the driver's state is connected to the in-vehicle information detection unit 7500.
  • the driver state detection unit 7510 may include a camera that captures the driver, a biosensor that detects the driver's biological information, a microphone that collects sound in the vehicle interior, and the like.
  • the biosensor is provided on, for example, the seat surface or the steering wheel, and detects the biometric information of the passenger sitting on the seat or the driver holding the steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and may determine whether the driver is dozing or not. You may.
  • the in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device such as a touch panel, a button, a microphone, a switch or a lever, which can be input-operated by a passenger. Data obtained by recognizing the voice input by the microphone may be input to the integrated control unit 7600.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or an externally connected device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000. You may.
  • the input unit 7800 may be, for example, a camera, in which case the passenger can input information by gesture. Alternatively, data obtained by detecting the movement of the wearable device worn by the passenger may be input. Further, the input unit 7800 may include, for example, an input control circuit that generates an input signal based on the information input by the passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600. By operating the input unit 7800, the passenger or the like inputs various data to the vehicle control system 7000 and instructs the processing operation.
  • the storage unit 7690 may include a ROM (Read Only Memory) for storing various programs executed by the microcomputer, and a RAM (Random Access Memory) for storing various parameters, calculation results, sensor values, and the like. Further, the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the general-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • General-purpose communication I / F7620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX, LTE (Long Term Evolution) or LTE-A (LTE-Advanced), or wireless LAN (Wi-Fi).
  • GSM Global System of Mobile communications
  • WiMAX Wireless F
  • LTE Long Term Evolution
  • LTE-A Long Term Evolution-A
  • Wi-Fi wireless LAN
  • Other wireless communication protocols such as (also referred to as (registered trademark)) and Bluetooth (registered trademark) may be implemented.
  • the general-purpose communication I / F7620 connects to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or a business-specific network) via a base station or an access point, for example. You may. Further, the general-purpose communication I / F7620 uses, for example, P2P (Peer To Peer) technology, and is a terminal existing in the vicinity of the vehicle (for example, a terminal of a driver, a pedestrian or a store, or an MTC (Machine Type Communication) terminal). You may connect with.
  • P2P Peer To Peer
  • MTC Machine Type Communication
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol designed for use in a vehicle.
  • the dedicated communication I / F7630 uses a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or cellular communication protocol, which is a combination of IEEE802.11p in the lower layer and IEEE1609 in the upper layer. May be implemented.
  • the dedicated communication I / F7630 typically includes vehicle-to-vehicle (Vehicle to Vehicle) communication, road-to-vehicle (Vehicle to Infrastructure) communication, vehicle-to-home (Vehicle to Home) communication, and pedestrian-to-pedestrian (Vehicle to Pedestrian) communication. ) Carry out V2X communication, a concept that includes one or more of the communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), executes positioning, and executes positioning, and the latitude, longitude, and altitude of the vehicle. Generate location information including.
  • the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 7650 receives radio waves or electromagnetic waves transmitted from a radio station or the like installed on the road, and acquires information such as the current position, traffic congestion, road closure, or required time.
  • the function of the beacon receiving unit 7650 may be included in the above-mentioned dedicated communication I / F 7630.
  • the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 existing in the vehicle.
  • the in-vehicle device I / F7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
  • a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
  • the in-vehicle device I / F7660 is connected via a connection terminal (and a cable if necessary) (not shown), USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL (Mobile).
  • a wired connection such as High-definition Link may be established.
  • the in-vehicle device 7760 may include, for example, at least one of a passenger's mobile device or wearable device, or an information device carried or attached to the vehicle. In-vehicle device 7760 may also include a navigation device that searches for a route to an arbitrary destination.
  • the in-vehicle device I / F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I / F7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the vehicle-mounted network I / F7680 transmits / receives signals and the like according to a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is via at least one of general-purpose communication I / F7620, dedicated communication I / F7630, positioning unit 7640, beacon receiving unit 7650, in-vehicle device I / F7660, and in-vehicle network I / F7680.
  • the vehicle control system 7000 is controlled according to various programs based on the information acquired. For example, the microcomputer 7610 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. May be good.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. Cooperative control may be performed for the purpose of. Further, the microcomputer 7610 automatically travels autonomously without relying on the driver's operation by controlling the driving force generator, steering mechanism, braking device, etc. based on the acquired information on the surroundings of the vehicle. Coordinated control may be performed for the purpose of driving or the like.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 has information acquired via at least one of general-purpose communication I / F7620, dedicated communication I / F7630, positioning unit 7640, beacon receiving unit 7650, in-vehicle device I / F7660, and in-vehicle network I / F7680. Based on the above, three-dimensional distance information between the vehicle and an object such as a surrounding structure or a person may be generated, and local map information including the peripheral information of the current position of the vehicle may be created. Further, the microcomputer 7610 may predict a danger such as a vehicle collision, a pedestrian or the like approaching or entering a closed road based on the acquired information, and may generate a warning signal.
  • the warning signal may be, for example, a signal for generating a warning sound or turning on a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to the passenger or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are exemplified as output devices.
  • the display unit 7720 may include, for example, at least one of an onboard display and a head-up display.
  • the display unit 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as eyeglass-type displays worn by passengers, projectors or lamps other than these devices.
  • the display device displays the results obtained by various processes performed by the microcomputer 7610 or the information received from other control units in various formats such as texts, images, tables, and graphs. Display visually.
  • the audio output device converts an audio signal composed of reproduced audio data or acoustic data into an analog signal and outputs it audibly.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be composed of a plurality of control units.
  • the vehicle control system 7000 may include another control unit (not shown).
  • the other control unit may have a part or all of the functions carried out by any of the control units. That is, as long as information is transmitted and received via the communication network 7010, predetermined arithmetic processing may be performed by any control unit.
  • a sensor or device connected to any control unit may be connected to another control unit, and a plurality of control units may send and receive detection information to and from each other via the communication network 7010. .
  • the above is an example of a vehicle control system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to, for example, the imaging units 7910, 7912, 7914, 7916, 7918 and the like among the configurations described above.
  • the imaging system of the present disclosure can be applied to these imaging units. Since the imaging system of the present disclosure can accurately detect an event regardless of the traveling state of the vehicle, it is possible to contribute to the realization of safe vehicle traveling.
  • the present disclosure may also have the following configuration.
  • Imaging device An event detection sensor that detects an event, Equipped with a control unit that controls the event detection sensor The control unit switches the resolution of the event detection sensor according to the running state of the moving body.
  • the event detection sensor comprises an asynchronous imaging device that detects as an event that the change in brightness of a pixel that photoelectrically converts incident light exceeds a predetermined threshold value. The imaging device according to the above [A-1].
  • the control unit sets the resolution of the event detection sensor to the first resolution mode, which has a relatively low resolution, or the second resolution mode, which has a relatively high resolution, according to the traveling state of the moving object. To do, The imaging device according to the above [A-3].
  • the control unit sets the first resolution mode when the speed of the moving body is equal to or higher than a certain speed, and sets the second resolution mode when the speed of the moving body is lower than a certain speed.
  • [A-6] The control unit sets the second resolution mode when the relative speed with the object in front is equal to or higher than a certain relative speed, and sets the first resolution mode when the relative speed with the object in front is less than a certain relative speed.
  • the imaging device according to the above [A-4].
  • the control unit sets the first resolution mode when the speed of the moving body is equal to or higher than a certain speed and the number of events detected by the event detection sensor is equal to or higher than a predetermined threshold, and the speed of the moving body is a constant speed. When the number of events detected by the event detection sensor is less than a predetermined threshold, the second resolution mode is set.
  • the imaging device according to the above [A-4].
  • [A-8] When the relative speed with the object in front is equal to or higher than a certain relative speed and the number of events detected by the event detection sensor is equal to or higher than a predetermined threshold, the control unit sets the second resolution mode and sets the relative speed with the object in front.
  • the first resolution mode is set.
  • the imaging device according to the above [A-4].
  • the control unit has the speed of the moving body less than a predetermined threshold, the number of events detected by the event detection sensor is equal to or more than the predetermined threshold, and the angle of view of the event detection sensor.
  • the mode shifts from the first resolution mode to the second resolution mode.
  • the control unit In the running state in the first resolution mode, the control unit has the speed of the moving body equal to or higher than a predetermined threshold, the number of events detected by the event detection sensor equal to or higher than the predetermined threshold, and the angle of view of the event detection sensor. When the area of the object occupying a certain percentage or more, it is judged that the vehicle is traveling on the highway, and the mode shifts from the first resolution mode to the second resolution mode.
  • the control unit sets the first resolution mode when the moving body travels straight, and sets the second resolution mode when the course is changed.
  • Imaging system An event detection sensor that detects an event, A control unit that switches the resolution of the event detection sensor according to the running state of the moving object, and It is provided with an object recognition unit that performs event recognition processing based on the event signal output from the event detection sensor.
  • the event detection sensor comprises an asynchronous imaging device that detects as an event that the change in brightness of a pixel that photoelectrically converts incident light exceeds a predetermined threshold value. The imaging system according to the above [B-1].
  • [B-4] The control unit sets the resolution of the event detection sensor to the first resolution mode, which has a relatively low resolution, or the second resolution mode, which has a relatively high resolution, according to the traveling state of the moving object. To do, The imaging system according to the above [B-3].
  • the control unit sets the first resolution mode when the speed of the moving body is equal to or higher than a certain speed, and sets the second resolution mode when the speed of the moving body is lower than a certain speed.
  • [B-6] The control unit sets the second resolution mode when the relative speed with the object in front is equal to or higher than a certain relative speed, and sets the first resolution mode when the relative speed with the object in front is less than a certain relative speed.
  • the imaging system according to the above [B-4].
  • the control unit sets the first resolution mode when the speed of the moving body is equal to or higher than a certain speed and the number of events detected by the event detection sensor is equal to or higher than a predetermined threshold, and the speed of the moving body is a constant speed. When the number of events detected by the event detection sensor is less than a predetermined threshold, the second resolution mode is set.
  • the imaging system according to the above [B-4].
  • the control unit sets the second resolution mode and sets the relative speed with the object in front.
  • the first resolution mode is set.
  • the control unit has the speed of the moving body less than a predetermined threshold, the number of events detected by the event detection sensor is equal to or more than the predetermined threshold, and the angle of view of the event detection sensor.
  • the mode shifts from the first resolution mode to the second resolution mode.
  • the [B-10] control unit In the running state in the first resolution mode, the [B-10] control unit has the speed of the moving body equal to or higher than a predetermined threshold, the number of events detected by the event detection sensor equal to or higher than the predetermined threshold, and the angle of view of the event detection sensor.
  • the area of the object occupying a certain percentage or more it is judged that the vehicle is traveling on the highway, and the mode shifts from the first resolution mode to the second resolution mode.
  • the control unit sets the first resolution mode when the moving body travels straight, and sets the second resolution mode when the course is changed.
  • the control unit determines that the course of the moving body is changed when the rotation of the steering wheel is at least a certain angle and the number of events detected by the event detection sensor is at least a predetermined threshold value.
  • [B-13] When the rotation of the steering wheel is within a certain angle and the number of events detected by the event detection sensor is less than a predetermined threshold value, the control unit determines that the moving body is traveling straight.
  • the control unit switches the resolution of the event detection sensor for each area of the pixel array unit of the event detection sensor.
  • the imaging system according to any one of the above [B-4] to the above [B-13].
  • [B-15] An image sensor that captures images at a predetermined frame rate is provided.
  • the imaging system according to any one of the above [B-1] to the above [B-14].
  • the object recognition unit performs event recognition processing based on the image data output from the image sensor.
  • [B-17] When the control unit determines that the recognition process cannot be performed only by the event signal output from the event detection sensor, the event recognition process, the event signal output from the event detection sensor, and Control using the image data output from the image sensor, The imaging system according to the above [B-16].
  • the control unit identifies an area that can be detected as a moving body in the angle of view of the event detection sensor based on the result of the event recognition process, and when the area that can be detected as a moving body is equal to or greater than a predetermined threshold value, If the traveling speed of the moving body is less than a predetermined threshold value, it is determined that congestion has occurred, and the specified area is set to the second resolution mode.
  • the imaging system according to the above [B-16] or the above [B-17].
  • the control unit identifies an area that can be detected as a moving body in the angle of view of the event detection sensor based on the result of the event recognition process, and when the area that can be detected as a moving body is equal to or greater than a predetermined threshold value, If the traveling speed of the moving body is equal to or higher than a predetermined threshold value, it is determined that the moving body is traveling on the highway, and the specified area is set to the second resolution mode.
  • the imaging system according to the above [B-16] or the above [B-17].
  • 1A ... Imaging system according to the first embodiment, 1B ... Imaging system according to the second embodiment, 10 ... Event detection sensor, 11 ... Pixel, 12 ... Pixel array unit, 13. ... Drive unit, 14 ... Arbiter unit (arbitration unit), 15 ... Column processing unit, 16 ... Signal processing unit, 20 ... Image sensor, 21 ... Pixel, 22 ... Pixel Array unit, 23 ... row selection unit, 24 ... constant current source unit, 25 ... analog-to-digital conversion unit, 26 ... horizontal transfer scanning unit, 27 ... signal processing unit, 28 ... -Timing control unit, 30 ... motion recognition unit, 40 ... object recognition unit, 50 ... control unit, 60 ... operation pattern definition unit, 70 ... recording unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本開示の撮像装置は、イベントを検出するイベント検出センサ、イベント検出センサの制御を行う制御部を備える。そして、制御部は、移動体の走行状態に応じて、イベント検出センサの解像度を切り替える。また、本開示の撮像システムは、イベントを検出するイベント検出センサ、移動体の走行状態に応じて、イベント検出センサの解像度を切り替える制御部、及び、イベント検出センサから出力されるイベント信号に基づいて、イベントの認識を行う物体認識部を備える。

Description

撮像装置及び撮像システム
　本開示は、撮像装置及び撮像システムに関する。
　イベントドリブン方式の撮像装置の一つとして、ＤＶＳ(Dynamic Vision Sensor)と呼ばれる非同期型の撮像装置がある。非同期型の撮像装置は、入射光を光電変換する画素の輝度変化が所定の閾値を超えたことをイベントとして検出することができる。従って、この種の非同期型の撮像装置については、イベント検出センサと言うこともできる。従来、イベント検出センサは、車両に搭載されて、走行路面をモニタリングするイベントベース視覚センサとして用いられている（例えば、特許文献１参照）。
特開２０１３－７９９３７号公報
　ところで、車両の走行中には、車両が渋滞した状態や、一般道を走行する状態だけでなく、高速道路を走行する状態など、いろいろな走行状態に遭遇することがある。従って、車両等の移動体に搭載されて用いられるイベント検出センサにあっては、移動体の走行状態に関係なく、他の車両や歩行者などのイベントを検出できることが望まれる。
　本開示は、移動体の走行状態に関係なく、イベントを的確に検出することができる撮像装置、及び、当該撮像装置を用いる撮像システムを提供することを目的とする。
　上記の目的を達成するための本開示の撮像システムは、
　イベントを検出するイベント検出センサ、
　イベント検出センサの制御を行う制御部を備える。
　制御部は、移動体の走行状態に応じて、イベント検出センサの解像度を切り替える。
　また、上記の目的を達成するための本開示の物体認識システムは、
　イベントを検出するイベント検出センサ、
　移動体の走行状態に応じて、イベント検出センサの解像度を切り替える制御部、及び、
　イベント検出センサから出力されるイベント信号に基づいて、イベントの認識を行う物体認識部を備える。
図１は、本開示の第１実施形態に係る撮像システムのシステム構成の一例を示すブロック図である。 図２Ａは、第１実施形態に係る撮像システムにおける動き認識部の構成の一例を示すブロック図であり、図２Ｂは、第１実施形態に係る撮像システムにおける物体認識部の構成の一例を示すブロック図である。 図３は、第１実施形態に係る撮像システムにおけるイベント検出センサの構成の一例を示すブロック図である。 図４は、イベント検出センサにおける画素アレイ部の構成の一例を示すブロック図である。 図５は、イベント検出センサにおける画素の回路構成の一例を示す回路図である。 図６は、イベント検出センサの画素におけるイベント検出部の回路構成の一例を示すブロック図である。 図７は、イベント検出部における電流電圧変換部の構成の一例を示す回路図である。 図８は、イベント検出部における減算部及び量子化部の構成の一例を示す回路図である。 図９は、イベント検出センサの積層型のチップ構造の概略を示す分解斜視図である。 図１０は、解像度が可変なイベント検出センサの具体的な構成の一例を示す回路図である。 図１１は、解像度が可変なイベント検出センサにおける接続制御部の動作モードについて説明する図である。 図１２Ａ、図１２Ｂ、及び、図１２Ｃは、演算部の演算に用いられる演算テーブルＴＬ１、演算テーブルＴＬ２、及び、演算テーブルＴＬ３を示す図である。 図１３は、接続制御部の動作モードが高解像度モードである場合の光電流の流れを示す図である。 図１４は、接続制御部の動作モードが低解像度モードである場合の光電流の流れを示す図である。 図１５は、接続制御部の動作モードが電流平均モードである場合の光電流の流れを示す図である。 図１６は、接続制御部による接続制御の対象とする複数の画素の接続例について説明する図である。 図１７は、実施例１に係る解像度切り替え制御の流れを示すフローチャートである。 図１８は、実施例２に係る解像度切り替え制御の流れを示すフローチャートである。 図１９は、実施例３に係る解像度切り替え制御の流れを示すフローチャートである。 図２０は、実施例４に係る解像度切り替え制御の流れを示すフローチャートである。 図２１は、実施例５に係る解像度切り替え制御の流れを示すフローチャートである。 図２２は、実施例６に係る解像度切り替え制御の流れを示すフローチャートである。 図２３は、実施例７に係る解像度切り替え制御の流れを示すフローチャートである。 図２４Ａは、進路変更の判断の具体的な処理の一例を示すフローチャートであり、図２４Ｂは、直進走行の判断の具体的な処理の一例を示すフローチャートである。 図２５は、実施例８に係る解像度切り替え制御の流れを示すフローチャートである。 図２６は、本開示の第２実施形態に係る撮像システムのシステム構成の一例を示すブロック図である。 図２７は、第２実施形態に係る撮像システムにおける画像センサの一例であるＣＭＯＳ型イメージセンサの構成の概略を示すブロック図である。 図２８は、画像センサにおける画素の回路構成の一例を示す回路図である。 図２９は、画像センサの平置型のチップ構造の概略を示す平面図である。 図３０は、画像センサの積層型のチップ構造の概略を示す平面図である。 図３１は、実施例９に係る解像度切り替え制御の流れを示すフローチャートである。 図３２は、実施例１０に係る解像度切り替え制御の流れを示すフローチャートである。 図３３は、実施例１１に係る解像度切り替え制御の流れを示すフローチャートである。 図３４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。 図３５は、車両制御システムにおける撮像部の設置位置の例を示す図である。
　以下、本開示の技術を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。本開示の技術は実施形態に限定されるものではない。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
　１．本開示の撮像装置及び撮像システム、全般に関する説明
　２．本開示の第１実施形態
　　２－１．第１実施形態に係る撮像システムの構成例
　　２－２．イベント検出センサの構成例
　　　２－２－１．画素アレイ部の構成例
　　　２－２－２．画素の構成例
　　　２－２－３．イベント検出部の構成例
　　　　２－２－３－１．電流電圧変換部の構成例
　　　　２－２－３－２．減算部及び量子化部の構成例
　　　２－２－４．チップ構造の構成例
　　　２－２－５．解像度が可変なイベント検出センサの構成例
　　　　２－２－５－１．高解像度モードの場合
　　　　２－２－５－２．低解像度モードの場合
　　　　２－２－５－３．電流平均モードの場合
　　　　２－２－５－４．接続制御部による接続制御の対象とする画素の接続例
　　２－３．実施例１（自車の車速を基に解像度を切り替える例）
　　２－４．実施例２（他車との相対速度を基に解像度を切り替える例）
　　２－５．実施例３（自車の車速及びイベント数を基に解像度を切り替える例）
　　２－６．実施例４（他車との相対速度及びイベント数を基に解像度を切り替える例）
　　２－７．実施例５（渋滞の発生を検知したときに、解像度を切り替える例）
　　２－８．実施例６（高速道路走行を検知したときに、解像度を切り替える例）
　　２－９．実施例７（進路変更を検知したときに、解像度を切り替える例）
　　２－１０．実施例８（画素アレイ部の領域毎に解像度を切り替える例）
　３．本開示の第２実施形態
　　３－１．第２実施形態に係る撮像システムの構成例
　　３－２．画像センサの構成例
　　　３－２－１．ＣＭＯＳイメージセンサの構成例
　　　３－２－２．画素の構成例
　　　３－２－３．チップ構造の構成例
　　　　３－２－３－１．平置型のチップ構造（所謂、平置構造）
　　　　３－２－３－２．積層型のチップ構造（所謂、積層構造）
　　３－３．実施例９（渋滞の発生を検知したときに、解像度を切り替える例）
　　３－４．実施例１０（高速道路走行を検知したときに、解像度を切り替える例）
　　３－５．実施例１１（オートクルージング機能を有する車両に搭載した例）
　４．変形例
　５．本開示に係る技術の適用例
　　５－１．移動体への応用例
　６．本開示がとることができる構成
＜本開示の撮像装置及び撮像システム、全般に関する説明＞
　本開示の撮像装置及び撮像システムにあっては、イベント検出センサについて、入射光を光電変換する画素の輝度変化が所定の閾値を超えたことをイベントとして検出する非同期型の撮像装置から成る構成とすることができる。そして、本開示の撮像装置については、移動体に搭載して用いることが好ましい。
　上述した好ましい構成を含む本開示の撮像装置及び撮像システムにあっては、制御部について、移動体の走行状態に応じて、イベント検出センサの解像度を、解像度が相対的に低い第１解像度モード、又は、解像度が相対的に高い第２解像度モードに設定する構成とすることができる。
　また、上述した好ましい構成を含む本開示の撮像装置及び撮像システムにあっては、制御部について、移動体の速度が一定の速度以上のとき第１解像度モードとし、移動体の速度が一定の速度未満のとき第２解像度モードとする構成とすることができる。
　また、上述した好ましい構成を含む本開示の撮像装置及び撮像システムにあっては、制御部について、前方の物体との相対速度が一定の相対速度以上のとき第２解像度モードとし、前方の物体との相対速度が一定の相対速度未満のとき第１解像度モードとする構成とすることができる。
　また、上述した好ましい構成を含む本開示の撮像装置及び撮像システムにあっては、制御部について、移動体の速度が一定の速度以上で、かつ、イベント検出センサによるイベント検出数が所定の閾値以上のとき第１解像度モードとし、移動体の速度が一定の速度未満で、かつ、イベント検出センサによるイベント検出数が所定の閾値未満のとき第２解像度モードとする構成とすることができる。
　また、上述した好ましい構成を含む本開示の撮像装置及び撮像システムにあっては、制御部について、前方の物体との相対速度が一定の相対速度以上で、かつ、イベント検出センサによるイベント検出数が所定の閾値以上のとき第２解像度モードとし、前方の物体との相対速度が一定の相対速度未満で、かつ、イベント検出センサによるイベント検出数が所定の閾値未満のとき第１解像度モードとする構成とすることができる。
　また、上述した好ましい構成を含む本開示の撮像装置及び撮像システムにあっては、制御部について、第１解像度モードでの走行状態において、移動体の速度が所定の閾値未満、イベント検出センサによるイベント検出数が所定の閾値以上、及び、イベント検出センサの画角に占める物体の領域が一定割合以上のとき、渋滞の発生と判断し、第１解像度モードから第２解像度モードに移行する構成とすることができる。
　また、上述した好ましい構成を含む本開示の撮像装置及び撮像システムにあっては、制御部について、第１解像度モードでの走行状態において、移動体の速度が所定の閾値以上、イベント検出センサによるイベント検出数が所定の閾値以上、及び、イベント検出センサの画角に占める物体の領域が一定割合以上のとき、高速道路の走行と判断し、第１解像度モードから第２解像度モードに移行する構成とすることができる。
　また、上述した好ましい構成を含む本開示の撮像装置及び撮像システムにあっては、制御部について、移動体の直進走行のとき第１解像度モードとし、進路変更があったとき第２解像度モードとする構成とすることができる。このとき、制御部について、ステアリングの回転が一定角度以上で、かつ、イベント検出センサによるイベント検出数が所定の閾値以上のとき、移動体の進路変更と判断する、あるいは又、ステアリングの回転が一定角度以内で、かつ、イベント検出センサによるイベント検出数が所定の閾値未満のとき、移動体の直進走行と判断する構成とすることができる。
　また、上述した好ましい構成を含む本開示の撮像装置及び撮像システムにあっては、制御部について、イベント検出センサにおける画素アレイ部の領域毎に、イベント検出センサの解像度を切り替える構成とすることができる。
　更に、上述した好ましい構成を含む本開示の撮像装置及び撮像システムにあっては、所定のフレームレートで撮像を行う画像センサを備える構成とすることができる。そして、物体認識部について、画像センサから出力される画像データに基づいて、イベントの認識処理を行う構成とすることができる。
　また、上述した好ましい構成を含む本開示の撮像装置及び撮像システムにあっては、制御部について、イベント検出センサから出力されるイベント信号のみで認識処理を行うことができないと判断したときは、イベントの認識処理、イベント検出センサから出力されるイベント信号、及び、画像センサから出力される画像データを用いる制御を行う構成とすることができる。
　また、上述した好ましい構成を含む本開示の撮像装置及び撮像システムにあっては、制御部について、イベントの認識処理の結果を基に、イベント検出センサの画角において移動体として検知できるエリアを特定し、移動体として検知できるエリアが所定の閾値以上のとき、移動体の走行速度が所定の閾値未満を条件に、渋滞の発生と判断し、特定したエリアについて第２解像度モードとする構成とすることができる。
　また、上述した好ましい構成を含む本開示の撮像装置及び撮像システムにあっては、制御部について、イベントの認識処理の結果を基に、イベント検出センサの画角において移動体として検知できるエリアを特定し、移動体として検知できるエリアが所定の閾値以上のとき、移動体の走行速度が所定の閾値以上を条件に、高速道路の走行と判断し、特定したエリアについて第２解像度モードとする構成とすることができる。
≪本開示の第１実施形態≫
＜第１実施形態に係る撮像システムの構成例＞
　図１は、本開示の第１実施形態に係る撮像システムのシステム構成の一例を示すブロック図である。
　図１に示すように、本開示の第１実施形態に係る撮像システム１Ａは、イベント検出センサ１０、動き認識部３０、物体認識部４０、制御部５０、オペレーションパターン定義部６０、記録部７０、及び、インタフェース８０を有する構成となっている。第１実施形態に係る撮像システム１Ａは、車両等の移動体に搭載して用いることができる。
　車両に搭載して用いる場合を例に挙げると、車両の所定の位置、例えば、車両のフロントノーズ、サイドミラー、リアバンパ、バックドア、及び、車室内のフロントガラスの上部のうちの少なくとも一つの位置に、撮像システム１Ａを配置して用いることになる。本開示に係る技術（即ち、第１実施形態に係る撮像システム１Ａ）の適用例の詳細については後述する。
　イベント検出センサ１０としては、入射光を光電変換する画素の輝度変化が所定の検出閾値を超えたことをイベントとして検出するＤＶＳと呼ばれる非同期型の撮像装置を用いることができる。非同期型の撮像装置は、垂直同期信号に同期して撮像を行う同期型の撮像装置に対して、垂直同期信号に非同期でイベントを検出する撮像装置である。非同期型の撮像装置から成るイベント検出センサ１０の詳細については後述する。
　動き認識部３０は、イベント検出センサ１０から出力される、イベントの発生を表すイベント信号（イベントデータ）に基づいて、物体の動きを認識（検出）する。動き認識部３０の具体的な構成の一例を図２Ａに示す。動き認識部３０は、例えば、イベントフレーム生成部３１及び動き検出部３２から構成されている。
　イベントフレーム生成部３１は、イベント検出センサ１０から出力されるイベント信号に基づいて、一定の時間内にどれだけイベントが発生したかをフレーム化することによってイベントフレームを生成する。動き検出部３２は、イベントフレーム生成部３１でフレーム化されたイベントフレーム間で動き検出を行う。尚、イベントフレーム生成部３１によりフレーム化しなくても、つまり、非同期で出力されているイベント信号を動き認識部３０が直接受信して、動き検出を行うようにしてもよい。
　物体認識部４０は、動き認識部３０から与えられる動き検出の結果に基づいて、イベントとして検出された物体の認識処理を行う。物体認識部４０の具体的な構成の一例を図２Ｂに示す。物体認識部４０は、例えば、ＲＯＩ抽出部４１及び認識処理部４２から構成されている。
　ＲＯＩ抽出部４１は、物体認識を行うための特定の領域の抽出、即ち、ＲＯＩ（Region Of Interest：関心領域）の抽出を行う。認識処理部４２は、ＲＯＩ抽出部４１が抽出した領域のデータに基づいて物体の認識処理を行う。この認識処理部４２における物体認識には、ニューラルネットワーク等の機械学習によるパターン認識技術、例えば、教師データとして与えられる画像の特徴点と、撮影した被写体画像の特徴点とを比較することによって画像認識を行う技術を用いることができる。
　制御部５０は、例えばプロセッサ（ＣＰＵ）によって構成され、オペレーションパターン定義部６０から与えられる情報を基に、イベント検出センサ１０の制御、具体的には、イベント検出センサ１０の解像度の制御を行う。制御部５０には、後述する本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００（図３４参照）から、車速などの種々の情報が、インタフェース８０を介して与えられる。イベント検出センサ１０の解像度の制御の詳細については後述する。
　オペレーションパターン定義部６０は、制御部５０による制御の下に、動き認識部３０から与えられる動き認識結果、及び、物体認識部４０から与えられる物体認識結果を用いて、移動体の一例としての車両の走行状態、例えば、渋滞の状態や、高速道路の走行状態などを検知する。
　オペレーションパターン定義部６０から出力される情報は、イベント検出センサ１０の解像度の制御を行うための情報として制御部５０に与えられるとともに、必要に応じて、記憶部７０に記憶される。また、オペレーションパターン定義部６０から出力される情報は、インタフェース８０を介して、車両制御システム７０００（図３４参照）に供給される。
　上記の構成の本開示の第１実施形態に係る撮像システム１Ａにおいて、少なくとも、イベント検出センサ１０及び制御部５０を備えることによって本開示の撮像装置が構成される。本開示の撮像装置において、制御部５０は、移動体の一例としての車両の走行状態に応じてイベント検出センサ１０の解像度を切り替える制御を行う。また、オペレーションパターン定義部６０や記録部７０の機能を車両制御システム７０００に持たせた撮像システムの構成とすることもできる。
＜イベント検出センサの構成例＞
　以下に、イベント検出センサ１０の詳細について説明する。図３は、上記の構成の本開示の撮像システム１におけるイベント検出センサ１０の構成の一例を示すブロック図である。
　図３に示すように、イベント検出センサ１０は、複数の画素１１が行列状（アレイ状）に２次元配列されて成る画素アレイ部１２を有する。複数の画素１１のそれぞれは、光電変換によって生成される電気信号としての光電流に応じた電圧のアナログ信号を画素信号として生成する。また、複数の画素１１のそれぞれは、入射光の輝度に応じた光電流に、所定の閾値を超える変化が生じたか否かによって、イベントの有無を検出する。換言すれば、複数の画素１１のそれぞれは、輝度変化が所定の閾値を超えたことをイベントとして検出する。
　イベント検出センサ１０は、画素アレイ部１２の他に、画素アレイ部１２の周辺回路部として、駆動部１３、アービタ部（調停部）１４、カラム処理部１５、及び、信号処理部１６を備えている。
　複数の画素１１のそれぞれは、イベントを検出した際に、イベントの発生を表すイベントデータの出力を要求するリクエストをアービタ部１４に出力する。そして、複数の画素１１のそれぞれは、イベントデータの出力の許可を表す応答をアービタ部１４から受け取った場合、駆動部１３及び信号処理部１６に対してイベントデータを出力する。また、イベントを検出した画素１１は、光電変換によって生成されるアナログの画素信号をカラム処理部１５に対して出力する。
　駆動部１３は、画素アレイ部１２の各画素１１を駆動する。例えば、駆動部１３は、イベントを検出し、イベントデータを出力した画素１１を駆動し、当該画素１１のアナログの画素信号を、カラム処理部１５へ出力させる。
　アービタ部１４は、複数の画素１１のそれぞれから供給されるイベントデータの出力を要求するリクエストを調停し、その調停結果（イベントデータの出力の許可／不許可）に基づく応答、及び、イベント検出をリセットするリセット信号を画素１１に送信する。
　カラム処理部１５は、例えば、画素アレイ部１２の画素列毎に設けられたアナログ－デジタル変換器の集合から成るアナログ－デジタル変換部を有する。アナログ－デジタル変換器としては、例えば、シングルスロープ型のアナログ－デジタル変換器を例示することができる。
　カラム処理部１５では、画素アレイ部１２の画素列毎に、その列の画素１１から出力されるアナログの画素信号をデジタル信号に変換する処理が行われる。カラム処理部１５では、デジタル化した画素信号に対して、ＣＤＳ（Correlated Double Sampling）処理を行うこともできる。
　信号処理部１６は、カラム処理部１５から供給されるデジタル化された画素信号や、画素アレイ部１２から出力されるイベントデータに対して所定の信号処理を実行し、信号処理後のイベントデータ及び画素信号を出力する。
　上述したように、画素１１で生成される光電流の変化は、画素１１に入射する光の光量変化（輝度変化）とも捉えることができる。従って、イベントは、所定の閾値を超える画素１１の光量変化（輝度変化）であるとも言うことができる。イベントの発生を表すイベントデータには、少なくとも、イベントとしての光量変化が発生した画素１１の位置を表す座標等の位置情報が含まれる。イベントデータには、位置情報の他、光量変化の極性を含ませることができる。
　画素１１からイベントが発生したタイミングで出力されるイベントデータの系列については、イベントデータどうしの間隔がイベントの発生時のまま維持されている限り、イベントデータは、イベントが発生した相対的な時刻を表す時刻情報を暗示的に含んでいるということができる。但し、イベントデータがメモリに記憶されること等により、イベントデータどうしの間隔がイベントの発生時のまま維持されなくなると、イベントデータに暗示的に含まれる時刻情報が失われる。そのため、信号処理部１６は、イベントデータどうしの間隔がイベントの発生時のまま維持されなくなる前に、イベントデータに、タイムスタンプ等の、イベントが発生した相対的な時刻を表す時刻情報を含める。
［画素アレイ部の構成例］
　図４は、イベント検出センサ１０における画素アレイ部１２の構成の一例を示すブロック図である。
　複数の画素１１が行列状に２次元配列されて成る画素アレイ部１２において、複数の画素１１のそれぞれは、受光部６１、画素信号生成部６２、及び、イベント検出部６３を有する構成となっている。
　上記の構成の画素１１において、受光部６１は、入射光を光電変換して光電流を生成する。そして、受光部６１は、駆動部１３（図３参照）の制御に従って、画素信号生成部６２及びイベント検出部６３のいずれかに、入射光を光電変換して生成した光電流に応じた電圧の信号を供給する。
　画素信号生成部６２は、受光部６１から供給される光電流に応じた電圧の信号を、アナログの画素信号ＳＩＧとして生成する。そして、画素信号生成部６２は、生成したアナログの画素信号ＳＩＧを、画素アレイ部１２の画素列毎に配線された垂直信号線ＶＳＬを介してカラム処理部１５（図３参照）に供給する。
　イベント検出部６３は、受光部６１のそれぞれからの光電流の変化量が所定の閾値を超えたか否かにより、イベントの発生の有無を検出する。イベントは、例えば、光電流の変化量が上限の閾値を超えた旨を示すオンイベント、及び、その変化量が下限の閾値を下回った旨を示すオフイベントから成る。また、イベントの発生を表すイベントデータは、例えば、オンイベントの検出結果を示す１ビット、及び、オフイベントの検出結果を示す１ビットから成る。尚、イベント検出部６３については、オンイベントのみを検出する構成とすることもできる。
　イベント検出部６３は、イベントが発生した際に、イベントの発生を表すイベントデータの出力を要求するリクエストをアービタ部１４（図３参照）に出力する。そして、イベント検出部６３は、リクエストに対する応答をアービタ部１４から受け取った場合、駆動部１３及び信号処理部１６に対してイベントデータを出力する。
［画素の回路構成例］
　図５は、イベント検出センサ１０における画素アレイ部１２の画素１１の回路構成の一例を示す回路図である。
　上述したように、複数の画素１１のそれぞれは、受光部６１、画素信号生成部６２、及び、イベント検出部６３を有する構成となっている。
　上記の構成の画素１１において、受光部６１は、受光素子（光電変換素子）６１１、転送トランジスタ６１２、及び、転送トランジスタ６１３を有する構成となっている。転送トランジスタ６１２及び転送トランジスタ６１３としては、例えば、Ｎ型のＭＯＳ（Metal Oxide Semiconductor）トランジスタを用いることができる。転送トランジスタ６１２及び転送トランジスタ６１３は、互いに直列に接続されている。
　受光素子６１１は、転送トランジスタ６１２と転送トランジスタ６１３との共通接続ノードＮ1とグランドとの間に接続されており、入射光を光電変換して入射光の光量に応じた電荷量の電荷を生成する。
　転送トランジスタ６１２のゲート電極には、図３に示す駆動部１３から転送信号ＴＲＧが供給される。転送トランジスタ６１２は、転送信号ＴＲＧに応答してオン状態になることにより、受光素子６１１で光電変換されて生成された電気信号を画素信号生成部６２に供給する。
　転送トランジスタ６１３のゲート電極には、駆動部１３から制御信号ＯＦＧが供給される。転送トランジスタ６１３は、制御信号ＯＦＧに応答してオン状態になることにより、受光素子６１１で光電変換されて生成された電気信号をイベント検出部６３に供給する。イベント検出部６３に供給される電気信号は、電荷からなる光電流である。
　画素信号生成部６２は、リセットトランジスタ６２１、増幅トランジスタ６２２、選択トランジスタ６２３、及び、浮遊拡散層６２４を有する構成となっている。リセットトランジスタ６２１、増幅トランジスタ６２２、及び、選択トランジスタ６２３としては、例えば、Ｎ型のＭＯＳトランジスタを用いることができる。
　画素信号生成部６２には、受光部６１の受光素子６１１で光電変換された電荷が、転送トランジスタ６１２によって供給される。受光部６１から供給される電荷は、浮遊拡散層６２４に蓄積される。浮遊拡散層６２４は、蓄積した電荷を、その電荷量に応じた電圧値の電圧信号を生成する。すなわち、浮遊拡散層６２４は、電荷を電圧に変換する電荷電圧変換部である。
　リセットトランジスタ６２１は、電源電圧ＶDDの電源ラインと浮遊拡散層６２４との間に接続されている。リセットトランジスタ６２１のゲート電極には、駆動部１３からリセット信号ＲＳＴが供給される。リセットトランジスタ６２１は、リセット信号ＲＳＴに応答してオン状態になることにより、浮遊拡散層６２４の初期化（リセット）を行う。
　増幅トランジスタ６２２は、電源電圧ＶDDの電源ラインと垂直信号線ＶＳＬとの間に、選択トランジスタ６２３と直列に接続されている。増幅トランジスタ６２２は、浮遊拡散層６２４で電荷電圧変換された電圧信号を増幅する。
　選択トランジスタ６２３のゲート電極には、駆動部１３から選択信号ＳＥＬが供給される。選択トランジスタ６２３は、選択信号ＳＥＬに応答してオン状態になることにより、増幅トランジスタ６２２によって増幅された電圧信号を、アナログの画素信号ＳＩＧとして垂直信号線ＶＳＬを介してカラム処理部１５（図３参照）へ出力する。
　上記の構成の画素１１が２次元配置されて成る画素アレイ部１２を有するイベント検出センサ１０において、駆動部１３は、図１に示す制御部５０によって、イベント検出の開始が指示される。そして、イベント検出の開始が指示されると、駆動部１３は、受光部６１の転送トランジスタ６１３に制御信号ＯＦＧを供給することによって当該転送トランジスタ６１３を駆動し、受光素子６１１で生成された電荷に応じた光電流をイベント検出部６３に供給させる。
　そして、ある画素１１においてイベントが検出されると、駆動部１３は、その画素１１の転送トランジスタ６１３をオフ状態にしてイベント検出部６３への光電流の供給を停止させる。次いで、駆動部１３は、転送トランジスタ６１２に転送信号ＴＲＧを供給することによって当該転送トランジスタ６１２を駆動して、受光素子６１１で光電変換された電荷を浮遊拡散層６２４に転送させる。
　このようにして、上記の構成の画素１１が２次元配置されて成る画素アレイ部１２を有するイベント検出センサ１０は、イベントが検出された画素１１の画素信号のみをカラム処理部１５に出力する。これにより、イベントの有無に関わらず、全画素の画素信号を出力する場合と比較して、イベント検出センサ１０の消費電力や、画像処理の処理量を低減することができる。
　尚、ここで例示した画素１１の構成は一例であって、この構成例に限定されるものではない。例えば、画素信号を出力する必要がない場合には、画素信号生成部６２を備えない画素構成とすることもできる。この画素構成の場合は、受光部６１において、転送トランジスタ６１２を省略すればよい。また、図３のカラム処理部１５がアナログ－デジタル変換機能の持たない構成とすることができる。画素信号を出力しない画素構成とすることにより、イベント検出センサ１０の規模の抑制を図ることができる。
［イベント検出部の構成例］
　図６は、イベント検出センサ１０の画素１１におけるイベント検出部６３の回路構成の一例を示すブロック図である。
　図６に示すように、本例に係るイベント検出部６３は、電流電圧変換部６３１、バッファ６３２、減算部６３３、量子化部６３４、及び、転送部６３５を有する構成となっている。
　電流電圧変換部６３１は、画素１１の受光部６３から供給される光電流を、当該光電流の対数の電圧信号（以下、「光電圧」と記述する場合がある）に変換し、バッファ６３２に供給する。バッファ６３２は、電流電圧変換部６３１から供給される光電圧をバッファリングして減算部６３３に供給する。
　減算部６３３は、現在の光電圧と、現在と微小時間だけ異なる光電圧との差を演算し、その差に対応する差信号を量子化部６３４に供給する。量子化部６３４は、減算部６３３から供給される差信号をデジタル信号に量子化し、差信号のデジタル値を転送部６３５に供給する。
　転送部６３５は、量子化部６３４から差信号のデジタル値が供給されると、イベントデータの送信を要求するリクエストをアービタ部１４に供給する。そして、転送部６３５は、リクエストに対する応答、即ち、イベントデータの出力を許可する旨の応答をアービタ部１４から受け取ると、量子化部６３４から供給される差信号のデジタル値に応じて、イベントデータを、駆動部１３及び信号処理部１６に供給する。
　続いて、イベント検出部６３における電流電圧変換部６３１、減算部６３３、及び、量子化部６３４の構成例について説明する。
（電流電圧変換部の構成例）
　図７は、イベント検出部６３における電流電圧変換部６３１の構成の一例を示す回路図である。
　図７に示すように、本例に係る電流電圧変換部６３１は、トランジスタ６３１１、トランジスタ６３１２、及び、トランジスタ６３１３を有する回路構成となっている。トランジスタ６３１１及びトランジスタ６３１３としては、Ｎ型のＭＯＳトランジスタを用いることができ、トランジスタ６３１２としては、Ｐ型のＭＯＳトランジスタを用いることができる。
　トランジスタ６３１１は、電源電圧ＶDDの電源ラインと信号入力線６３１４との間に接続されている。トランジスタ６３１２及びトランジスタ６３１３は、電源電圧ＶDDの電源ラインとグランドとの間に直列に接続されている。そして、トランジスタ６３１２及びトランジスタ６３１３の共通接続ノードＮ2には、トランジスタ６３１１のゲート電極と、図６に示すバッファ６３２の入力端子とが接続されている。
　トランジスタ６３１２のゲート電極には、所定のバイアス電圧Ｖbiasが印加される。これにより、トランジスタ６３１２は、一定の電流をトランジスタ６３１３に供給する。トランジスタ６３１３のゲート電極には、信号入力線６３１４を通して、受光部６１から光電流が入力される。
　トランジスタ６３１１のドレイン電極は、電源電圧ＶDDの電源ラインに接続されており、ソースフォロワ構成となっている。トランジスタ６３１３のゲート電極は、トランジスタ６３１１のソース電極に接続されている。そして、ソースフォロワ構成のトランジスタ６３１１及びトランジスタ６３１３により、受光部６１からの光電流は、当該光電流の対数に対応する光電圧に変換される。
（減算部及び量子化部の構成例）
　図８は、イベント検出部６３における減算部６３３及び量子化部６３４の構成の一例を示す回路図である。
　本例に係る減算部６３３は、容量素子６３３１、オペアンプ６３３２、容量素子６３３３、及び、スイッチ素子６３３４を有する構成となっている。
　容量素子６３３１の一端は、図６に示すバッファ６３２の出力端子に接続され、容量素子６３３１の他端は、オペアンプ６３３２の入力端子に接続されている。これにより、オペアンプ６３３２の入力端子に、バッファ６３２から供給される光電圧が、容量素子６３３１を介して入力される。
　容量素子６３３３は、オペアンプ６３３２に対して並列に接続されている。スイッチ素子６３３４は、容量素子６３３３の両端間に接続されている。スイッチ素子６３３４には当該スイッチ素子６３３４を開閉する制御信号として、図３に示すアービタ部１４からリセット信号が供給される。スイッチ素子６３３４は、リセット信号に応じて、容量素子６３３３の両端を接続する経路を開閉する。
　上記の構成の減算部６３３において、スイッチ素子６３３４をオン（閉）状態とした際に、容量素子６３３１のバッファ６３２側の端子に入力される光電圧をＶinitとする。容量素子６３３１のバッファ６３２側の端子に光電圧Ｖinitが入力されたとき、その逆側の端子は仮想接地端子となる。この仮想接地端子の電位を、便宜上、ゼロとする。このとき、容量素子６３３１の容量値をＣ1とすると、容量素子６３３１に蓄積されている電荷Ｑinitは、次式（１）により表される。
　　Ｑinit＝Ｃ1×Ｖinit　　　　　　　　　　　　　・・・（１）
　また、スイッチ素子６３３４をオン状態である場合には、容量素子６３３３の両端は短絡されているため、容量素子６３３３に蓄積される電荷はゼロとなる。その後、スイッチ素子６３３４がオフ（開）状態となる。スイッチ素子６３３４がオフ状態の場合の、容量素子６３３１のバッファ６３２側の端子の光電圧をＶafterと表すこととする。スイッチ素子６３３４がオフ状態になった場合に容量素子６３３１に蓄積される電荷Ｑafterは、次式（２）により表される。
　　Ｑafter＝Ｃ1×Ｖafter  　　　　　　　　　　　・・・（２）
　容量素子６３３３の容量値をＣ2と表すとともに、オペアンプ６３３２の出力電圧をＶoutと表すこととすると、容量素子６３３３に蓄積される電荷Ｑ2は、次式（３）により表される。
　　Ｑ2＝－Ｃ2×Ｖout　　　　　　　　　　　　　　・・・（３）
　スイッチ素子６３３４がオフする前後で、容量素子６３３１の電荷量と容量素子６３３３の電荷量とを合わせた総電荷量は変化しないため、次の式（４）が成立する。
　　Ｑinit＝Ｑafter＋Ｑ2  　　　　　　　　　　 　・・・（４）
　式（４）に式（１）乃至式（３）を代入すると、次式（５）が得られる。
　　Ｖout＝－（Ｃ1／Ｃ2）×（Ｖafter－Ｖinit） 　・・・（５）
　式（５）によれば、減算部６３３では、光電圧Ｖinitと光電圧Ｖafterとの減算、即ち、光電圧Ｖinitと光電圧Ｖafterとの差（Ｖinit－Ｖafter）に対応する差信号Ｖoutの算出が行われる。また、式（５）によれば、減算部６３３の減算の利得はＣ1／Ｃ2となる。通常、減算部６３３の減算の利得を最大化することが望まれるため、容量素子６３３１の容量値Ｃ1を大きく、容量素子６３３３の容量値Ｃ2を小さく設計することが好ましい。
　一方、容量素子６３３３の容量値Ｃ2が小さすぎると、ｋＴＣノイズが増大し、ノイズ特性が悪化するおそれがあるため、容量素子６３３３の容量値Ｃ2の容量削減は、ノイズを許容することができる範囲に制限される。また、画素１１毎に減算部６３３を含むイベント検出部６３が搭載されるため、容量素子６３３１や容量素子６３３３には、面積上の制約がある。これらを考慮して、容量素子６３３１の容量値Ｃ1及び容量素子６３３３の容量値Ｃ2が決定される。
　図８において、量子化部６３４は、コンパレータ６３４１を有する構成となっている。コンパレータ６３４１は、減算部４３０からの差信号（即ち、オペアンプ６３３２の出力信号）を非反転（＋）入力とし、所定の閾値電圧Ｖthを反転（－）入力としている。そして、コンパレータ６３４１は、減算部４３０からの差信号Ｖoutと所定の閾値電圧Ｖthとを比較し、比較結果を表す、高レベル又は低レベルを、差信号Ｖoutの量子化値として、図６に示す転送部６３５に出力する。
　転送部６３５は、量子化部６３４からの差信号Ｖoutの量子化値から、イベントとしての光量変化（輝度変化）が発生したと認められる場合、即ち、差信号Ｖoutが所定の閾値電圧Ｖthよりも大きい（又は、小さい）場合に、イベントの発生を表す、例えば高レベルのイベントデータを、図３の信号処理部１６に出力する。すなわち、閾値電圧Ｖthは、画素１１の光量変化（輝度変化）に基づいてイベントを検出する閾値である。
　信号処理部１６は、転送部６３５から供給されるイベントデータに、そのイベントデータが表すイベントを検出した画素１１の位置情報、及び、イベントが発生した時刻を表す時刻情報、更には、必要に応じて、イベントとしての光量変化の極性情報を含めて出力する。
　イベントを検出した画素１１の位置情報、イベントが発生した時刻を表す時刻情報、及び、イベントとしての光量変化の極性情報を含むイベントデータのデータ形式としては、例えば、ＡＥＲ（Address Event Representation）と呼ばれるデータ形式を採用することができる。
　尚、画素１１では、カラーフィルタ等の所定の光を透過する光学フィルタを設けること等によって、入射光として、任意の光を受光することができる。例えば、画素１１において、入射光として、可視光を受光する場合、イベントデータは、視認することができる被写体が映る画像における画素値の変化の発生を表す。また、例えば、画素１１において、入射光として、測距のための赤外線やミリ波等を受光する場合、イベントデータは、被写体までの距離の変化の発生を表す。更に、例えば、画素１１において、入射光として、温度の測定のための赤外線を受光する場合、イベントデータは、被写体の温度の変化の発生を表す。本実施形態では、画素１１において、入射光として、可視光を受光することとする。
［チップ構造の構成例］
　以上説明したイベント検出センサ１０のチップ（半導体集積回路）構造としては、例えば、積層型のチップ構造を採ることができる。図９は、イベント検出センサ１０の積層型のチップ構造の概略を示す分解斜視図である。
　図９に示すように、積層型のチップ構造、所謂、積層構造は、第１のチップである受光チップ１０１、及び、第２のチップである検出チップ１０２の少なくとも２つのチップが積層された構造となっている。そして、図５に示す画素１１の回路構成において、受光素子６１１のそれぞれが受光チップ１０１上に配置され、受光素子６１１以外の素子の全てや、画素１１の他の回路部分の素子などが検出チップ１０２上に配置される。受光チップ１０１と検出チップ１０２とは、ビア（ＶＩＡ）、Ｃｕ－Ｃｕ接合、バンプなどの接続部を介して電気的に接続される。
　尚、ここでは、受光素子６１１を受光チップ１０１に配置し、受光素子６１１以外の素子や画素１１の他の回路部分の素子などを検出チップ１０２に配置する構成例を例示したが、この構成例に限られるものではない。
　例えば、図５に示す画素１１の回路構成において、受光部６１の各素子を受光チップ１０１に配置し、受光部６１以外の素子や画素１１の他の回路部分の素子などを検出チップ１０２に配置する構成とすることができる。また、受光部６１の各素子、及び、画素信号生成部６２のリセットトランジスタ６２１、浮遊拡散層６２４を受光チップ１０１に配置し、それ以外の素子を検出チップ１０２に配置する構成とすることができる。更には、イベント検出部６３を構成する素子の一部を、受光部６１の各素子などと共に受光チップ１０１に配置する構成とすることができる。
［解像度が可変なイベント検出センサの構成例］
　上記の構成のイベント検出センサ１０については、解像度が可変な構成とすることができる。解像度が可変なイベント検出センサ１０の具体的な構成の一例を図１０に示す。
　解像度が可変な構成とするために、イベント検出センサ１０は、複数の画素１１が行列状に配置されて成る画素アレイ部１２において、画素１１と画素１１との間に接続制御部６４を有する構成となっている。図１０には、列方向（縦方向／垂直方向）において隣接する２個の画素１１間に接続制御部６４が配置された構成を図示している。
　接続制御部６４は、後述する動作モードに応じて、複数の画素１１間、本例では、縦方向に隣接する２個の画素１１間の接続をオン／オフ（即ち、２個の画素１１間を接続／遮断）する接続制御を行う。すなわち、接続制御部６４は、奇数行のある列の画素１１と、その奇数行の次の行（偶数行）の、同一の列の画素１１との接続をオン／オフする。画素アレイ部１２には、本例にあっては、列方向において隣接する２個の画素１１間の接続をオン／オフする接続制御部６４が、画素１１の数の１／２だけ設けられている。
　ここで、便宜上、接続制御部６４が接続制御の対象とする２個の画素１１のうちの一方を、画素１１Ａと記載し、他方を、画素１１Ｂと記載することとする。また、画素１１Ａのイベント検出部６３をイベント検出部６３Ａと記載し、画素１１Ｂのイベント検出部６３をイベント検出部６３Ｂと記載することとする。
　図１０に示すように、接続制御部６４は、トランジスタ６４１及び演算部６４２から構成されている。トランジスタ６４１としては、例えば、Ｎ型のＭＯＳトランジスタを用いることができる。
　トランジスタ６４１は、２個の画素１１Ａ及び画素１１Ｂで生成された光電流が、２画素間で合成されるように、画素１１Ａと画素１１Ｂとの間を選択的に接続するスイッチ素子として機能する。例えば、トランジスタ６４１は、接続制御部６４の動作モードに従ってオン／オフすることにより、画素１１Ａの光電流が流れるトランジスタ６３１１のソース電極と、画素１１Ｂの光電流が流れるトランジスタ６３１１のソース電極との間の接続をオン／オフする。
　接続制御部６４の動作モードは、例えば、図３に示すイベント検出センサ１０の駆動部１３、若しくは、アービタ部１４、又は、イベント検出センサ１０の外部から指定される。接続制御部６４の動作モードの詳細については後述する。
　演算部６４２には、画素１１Ａのイベント検出部６３Ａ内の量子化部６３４からイベントデータαが供給されるとともに、画素１１Ｂのイベント検出部６３Ｂ内の量子化部６３４からイベントデータβが供給される。
　演算部６４２は、画素１１Ａから供給されるイベントデータα、及び、画素１１Ｂから供給されるイベントデータβを対象として、接続制御部６４の動作モードに応じた演算を行う。そして、演算部６４２は、イベントデータα及びイベントデータβを対象とした演算によって得られる新たなイベントデータα’及びイベントデータβ’を、画素１１Ａ及び画素１１Ｂの各転送部６３５に供給する。
　尚、接続制御部６４は、画素１１Ａと画素１１Ｂとの間の接続をオン／オフする制御を行う他、イベント検出部６３の電流電圧変換部８１のトランジスタ６３１２に印加するバイアス電圧Ｖbiasによって、トランジスタ６３１１、トランジスタ６３１２、及び、トランジスタ６３１３から成る電流電圧変換部６３１の動作をオン／オフする制御を行う。
　すなわち、接続制御部６４は、トランジスタ６３１２をオン状態にすることによって、電流電圧変換部６３１の動作をオン状態にする、即ち、電流電圧変換部６３１を動作状態にする。また、接続制御部６４は、トランジスタ６３１２をオフ状態にすることによって、電流電圧変換部６３１の動作をオフ状態にする、即ち、電流電圧変換部６３１を停止状態にする。
　ここで、図１０の接続制御部６４の構成例では、接続制御部６４による制御の下に、イベント検出部６３Ａ及びイベント検出部６３Ｂのうちの一方、例えば、イベント検出部６３Ａのトランジスタ６３１２が常時オン状態にされ、他方のイベント検出部６３Ｂのトランジスタ６３１２がオン／オフされる。
　尚、図１０では、イベント検出部６３Ａ及びイベント検出部６３Ｂにおいて、図６のバッファ６３２については図示を省略してある。
　ところで、移動体の一例である車両の走行中には、車両が渋滞した状態や、一般道を走行する状態だけでなく、高速道路を走行する状態など、いろいろな走行状態に遭遇することがある。従って、車両に搭載されて用いられるイベント検出センサ１０にあっては、車両の走行状態に関係なく、他の車両や歩行者などのイベントを的確に検出できることが望まれる。
　そこで、本実施形態では、車両の走行状態に関係なく、イベントの的確な検出を可能にするために、上記の構成のイベント検出センサ１０において、制御部５０による制御の下に、車両の走行状態に応じてイベント検出センサ１０の解像度を切り替えるようにする。具体的には、車両の走行状態によって接続制御部６４の動作モードが設定され、当該動作モードに応じてイベント検出センサ１０の解像度の切り替えが行われる。
　接続制御部６４の動作モードとしては、高解像度（通常）モード、低解像度モード、及び、電流平均モードを例示することができる。ここで、低解像度モードは、イベント検出センサ１０の解像度が相対的に低い第１解像度（即ち、低解像度）のモードである。高解像度モードは、イベント検出センサ１０の解像度が相対的に高い第２解像度（即ち、高解像度）のモードである。
　図１１は、解像度が可変なイベント検出センサ１０における接続制御部６４の動作モードについて説明する図である。尚、接続制御部６４のトランジスタ６４１や、イベント検出部６３Ａ及びイベント検出部６３Ｂの各トランジスタは、接続制御部６４による制御の下に、オン状態又はオフ状態になる。
　高解像度モードでは、接続制御部６４のトランジスタ６４１がオフ状態となり、イベント検出部６３Ｂのトランジスタ６３１２がオン状態となる。また、演算部６４２の演算は、後述する演算テーブルＴＬ１に従って行われる。
　低解像度モードでは、接続制御部６４のトランジスタ６４１がオン状態となり、イベント検出部６３Ｂのトランジスタ６３１２がオフ状態となる。また、演算部６４２の演算は、後述する演算テーブルＴＬ２に従って行われる。
　電流平均モードでは、接続制御部６４のトランジスタ６４１がオン状態となり、イベント検出部６３Ｂのトランジスタ６３１２がオン状態となる。また、演算部６４２の演算は、後述する演算テーブルＴＬ３に従って行われる。
　演算部６４２の演算に用いられる演算テーブルＴＬ１、演算テーブルＴＬ２、及び、演算テーブルＴＬ３を、図１２Ａ、図１２Ｂ、及び、図１２Ｃに示す。
　図１２Ａの演算テーブルＴＬ１に従った演算によれば、イベントデータα及びイベントデータβに応じて、イベントデータα’及びイベントデータβ’としては、それぞれ、イベントデータα及びイベントデータβがそのまま出力される。
　図１２Ｂの演算テーブルＴＬ２に従った演算によれば、イベントデータα及びイベントデータβに応じて、イベントデータα’としては、イベントデータαがそのまま出力される。また、イベントデータβ’としては、イベントが発生していないことを表す０（０ボルト）が出力される。従って、演算テーブルＴＬ２に従った演算では、イベントデータβについて、イベントの発生を表すイベントデータの出力を制限する演算が行われる。
　図１２Ｃの演算テーブルＴＬ３に従った演算によれば、イベントデータα及びイベントデータβに応じて、イベントデータα’としては、式（α＝＝β？　α：０）の演算結果が出力される。また、イベントデータβ’としては、イベントが発生していないことを表す０が出力される。
　上記の式（α＝＝β？　α：０）は、イベントデータαとイベントデータβとが等しい（α＝＝β）ことが真である場合にαをとり、イベントデータαとイベントデータβとが等しいことが偽である場合に０をとることを表す。
　演算テーブルＴＬ３に従った演算によれば、イベントデータαとイベントデータβとが等しい場合には、イベントデータα’としては、イベントデータα（＝β）が出力される。また、イベントデータαとイベントデータβとが等しくない場合には、イベントデータα’としては、イベントが発生していないことを表す０が出力される。
　また、イベントデータβ’としては、イベントが発生していないことを表す０が出力される。従って、演算テーブルＴＬ３に従った演算では、イベントデータαについては、イベントデータαとイベントデータβとが等しくない場合に、イベントの発生を表すイベントデータの出力を制限する演算が行われ、イベントデータβについては、常時、イベントの発生を表すイベントデータの出力を制限する演算が行われる。
（高解像度モードの場合）
　図１３は、図１０の接続制御部６４の動作モードが高解像度モードである場合の光電流の流れを示す図である。
　図１０の接続制御部６４では、イベント検出部６３Ａのトランジスタ６３１２は、常時、オン状態にある。そして、接続制御部６４の動作モードが高解像度モードである場合、接続制御部６４のトランジスタ６４１はオフ状態となり、イベント検出部６３Ｂのトランジスタ６３１２はオン状態となる。
　これにより、高解像度モードでは、画素１１Ａと画素１１Ｂとの間の接続が、オフ状態のトランジスタ６４１によって電気的に遮断された状態となり、画素１１Ａのイベント検出部６３Ａと、画素１１Ｂのイベント検出部６３Ｂとは、それぞれ独立に動作する。
　また、高解像度モードでは、演算部６４２において、図１２Ａの演算テーブルＴＬ１に従った演算が行われ、イベントデータα及びイベントデータβが、そのまま、イベントデータα’及びイベントデータβ’として、それぞれ、イベント検出部６３Ａ及びイベント検出部６３Ｂの各転送部６３５に供給される。
　その結果、画素１１Ａ及び画素１１Ｂは、接続制御部６４がない場合と同様に動作し、画素アレイ部１２では、イベントの発生を表すイベントデータとして、画素アレイ部１２に配列されている画素１１の数に対応する解像度、即ち、高解像度のイベントデータを出力することができる。
　ここで、画素１１Ａ及び画素１１Ｂの各受光素子（光電変換素子）６１１で生成される光電流を、Ｉph及びＩph'で表すこととする。高解像度モードでは、イベント検出部６３Ａのトランジスタ６３１１には、画素１１Ａで生成される光電流Ｉphが流れ、イベント検出部６３Ｂのトランジスタ６３１１には、画素１１Ｂで生成される光電流Ｉph'が流れることになる。
（低解像度モードの場合）
　図１４は、図１０の接続制御部６４の動作モードが低解像度モードである場合の光電流の流れを示す図である。
　図１０の接続制御部６４では、イベント検出部６３Ａのトランジスタ６３１２は、常時、オン状態にある。そして、接続制御部６４の動作モードが低解像度モードである場合、接続制御部６４のトランジスタ６４１はオン状態となり、イベント検出部６３Ｂのトランジスタ６３１２はオフ状態となる。
　これにより、低解像度モードでは、画素１１Ａと画素１１Ｂとの間が、オン状態のトランジスタ６４１を介して電気的に接続された状態になる。すなわち、画素１１Ａのトランジスタ６３１１のソース電極と、画素１１Ｂのトランジスタ６３１１のソース電極とが接続されることにより、画素１１Ａと画素１１Ｂとが接続された状態になる。
　更に、低解像度モードでは、イベント検出部６３Ｂのトランジスタ６３１２がオフ状態になることにより、イベント検出部６３Ｂの電流電圧変換部６３１のトランジスタ６３１１乃至トランジスタ６３１３がオフ状態になる。
　また、低解像度モードでは、演算部６４２において、図１２Ｂの演算テーブルＴＬ２に従った演算が行われ、イベントデータα’としては、イベントデータαがそのまま出力される。イベントデータβ’としては、イベントが発生していないことを表す０が常時出力される。そして、これらのイベントデータα’及びイベントデータβ’が、それぞれ、イベント検出部６３Ａ及びイベント検出部６３Ｂの各転送部６３５に供給される。
　その結果、画素１１Ａ及び画素１１Ｂについては、画素１１Ａだけが、イベントの発生を表すイベントデータを出力し、画素１１Ｂは、常時、イベントが発生していないことを表すイベントデータを出力する（即ち、イベントの発生を表すイベントデータを出力しない）。
　従って、画素アレイ部１２では、イベントの発生を表すイベントデータとして、画素アレイ部１２に配置された画素１１の数の１／２に対応する解像度のイベントデータを出力することができる。すなわち、低解像度モードでは、本例の場合、イベントの発生を表すイベントデータの解像度（最大の数）が、高解像度モードの場合の１／２になる。
　以上のように、低解像度モードでは、イベントの発生を表すイベントデータを出力する画素１１の数を抑制することができる。これにより、低解像度モードでは、高解像度モードの場合よりも、多数のイベントが同時に発生することを抑制することができる。
　また、低解像度モードでは、画素１１Ａのトランジスタ６３１１のソース電極と、画素１１Ｂのトランジスタ６３１１のソース電極とが接続され、イベント検出部６３Ｂの電流電圧変換部６３１のトランジスタ６３１１乃至トランジスタ６３１３がオフ状態になる。これにより、イベント検出部６３Ａのトランジスタ６３１１には、画素１１Ａで生成される光電流Ｉphと、画素１１Ｂで生成される光電流Ｉph'とが合成された合成電流（Ｉph＋Ｉph'）が流れる。
　その結果、ショットノイズが相対的に減少するので、イベント検出部６３Ａの電流電圧変換部６３１のトランジスタ６３１１乃至トランジスタ６３１３で扱う信号のＳ／Ｎを、高解像度モードの場合の√２倍に向上させ、イベントの検出の信頼性を向上させることができる。更に、イベント検出部６３Ｂの電流電圧変換部６３１のトランジスタ６３１１乃至トランジスタ６３１３がオフ状態になるため、消費電力を低減することができる。
（電流平均モードの場合）
　図１５は、図１０の接続制御部６４の動作モードが電流平均モードである場合の光電流の流れを示す図である。
　図１０の接続制御部６４では、イベント検出部６３Ａのトランジスタ６３１２は、常時、オン状態にある。そして、接続制御部６４の動作モードが電流平均モードである場合、接続制御部６４のトランジスタ６４１はオン状態となり、イベント検出部６３Ｂのトランジスタ６３１２はオン状態となる。
　これにより、電流平均モードでは、画素１１Ａと画素１１Ｂとの間が、オン状態のトランジスタ６４１を介して電気的に接続された状態になる。すなわち、画素１１Ａのトランジスタ６３１１のソース電極と、画素１１Ｂのトランジスタ６３１１のソース電極とが接続されることにより、画素１１Ａと画素１１Ｂとが接続された状態になる。
　更に、電流平均モードでは、イベント検出部６３Ｂのトランジスタ６３１２がオン状態になることにより、イベント検出部６３Ｂの電流電圧変換部６３１のトランジスタ６３１１乃至トランジスタ６３１３がオン状態になる。これにより、イベント検出部６３Ａ及びイベント検出部６３Ｂでは、いずれの電流電圧変換部６３１も動作状態になる。
　また、電流平均モードでは、演算部６４２において、図１２Ｃの演算テーブルＴＬ３に従った演算が行われ、イベントデータα’としては、イベントデータαとイベントデータβとが等しい場合には、イベントデータα（＝β）が出力される。また、イベントデータαとイベントデータβとが等しくない場合には、イベントが発生していないことを表す０が出力される。イベントデータβ’としては、イベントが発生していないことを表す０が常時出力される。そして、これらのイベントデータα’及びイベントデータβ’が、それぞれ、イベント検出部６３Ａ及びイベント検出部６３Ａ６３Ｂの各転送部６３５に供給される。
　その結果、画素１１Ａ及び画素１１Ｂについては、画素１１Ａだけが、イベントの発生を表すイベントデータを出力し、画素１１Ｂは、常時、イベントが発生していないことを表すイベントデータを出力する（即ち、イベントの発生を表すイベントデータを出力しない）。
　従って、画素アレイ部１２では、イベントの発生を表すイベントデータとして、画素アレイ部１２に配置された画素１１の数の１／２に対応する解像度のイベントデータを出力することができる。すなわち、電流平均モードでは、低解像度モードの場合と同様に、イベントの発生を表すイベントデータの解像度（最大の数）が、高解像度モードの場合の１／２になる。
　以上のように、電流平均モードでは、イベントの発生を表すイベントデータを出力する画素１１の数を抑制することができる。これにより、電流平均モードでは、低解像度モードと同様に、多数のイベントが同時に発生することを抑制することができる。
　また、電流平均モードでは、画素１１Ａのトランジスタ６３１１のソース電極と、画素１１Ｂのトランジスタ６３１１のソース電極とが接続され、イベント検出部６３Ａ及びイベント検出部６３Ｂの各電流電圧変換部６３１のトランジスタ６３１１乃至トランジスタ６３１３がオン状態になる。これにより、イベント検出部６３Ａ及びイベント検出部６３Ｂの各トランジスタ６３１１には、画素１１Ａで生成される光電流Ｉph、及び、画素１１Ｂで生成される光電流Ｉph'の平均値が流れる。
　その結果、ノイズが抑制されるので、イベント検出部６３Ａの電流電圧変換部６３１のトランジスタ６３１１乃至トランジスタ６３１３で扱う信号のＳ／Ｎを向上させ、イベントの検出の信頼性を向上させることができる。
　更に、電流平均モードでは、図１２Ｃの演算テーブルＴＬ３に従った演算によって、イベントデータαとイベントデータβとが等しい場合に、その等しいイベントデータα及びイベントデータβが、イベントデータα’として出力されるので、イベントデータの信頼性を向上させることができる。
　尚、図１０に示した、解像度が可変なイベント検出センサ１０の構成は一例であって、解像度が可変なイベント検出センサ１０の構成としては、図１０の構成に限られるものではない。例えば、画素１１Ａの光電流が流れるトランジスタ６３１１のゲート電極と、画素１１Ｂの光電流が流れるトランジスタ６３１１のゲート電極との間を選択的に接続するスイッチ素子（例えば、トランジスタ）を設け、各光電流に対応する光電圧を選択的に合成する構成とすることもできる。
（接続制御部による接続制御の対象とする画素の接続例）
　以上では、列方向（垂直方向／縦方向）において隣接する２個の画素１１を、接続制御部６４による接続制御の対象とすることとしたが、これに限られるものではない。すなわち、列方向において隣接する２個の画素１１の他、例えば、水平（横）×垂直（縦）が２×２の４個の画素１１、３×３の９個の画素１１、４×４の１６個の画素１１、４×１の４個の画素１１、及び、４×２の８個の画素１１や、その他の任意の複数の画素１１の組み合わせを、接続制御部６４による接続制御の対象とすることができる。
　ここでは、一例として、アスペクト比が維持されるように複数の画素１１を接続する接続例について、図１６を用いて説明する。図１６は、接続制御部６４による接続制御の対象とする複数の画素１１の接続例について説明する図である。
　図１６の接続例では、第１の接続として、２×２の画素１１が接続される。図１６において、第１の接続の画素群は、２×２の画素１１の集合を表している。更に、第２の接続として、第１の接続で接続された２×２の画素１１をブロックとして、２×２の画素ブロックが接続される。図１６において、第２の接続の画素群は、２×２の画素ブロックの集合を表している。
　また、図１６の接続例では、第１の接続のオン／オフ（即ち、第１の接続によって２×２の画素１１を接続するか否か）を制御するための制御信号線Ｌ11、及び、第２の接続のオン／オフ（即ち、第２の接続によって２×２の画素ブロックを接続するか否か）を制御するための制御信号線Ｌ12が、列方向に配線されている。
　図１６において、第１の接続及び第２の接続をオフにした場合、イベントの発生を表すイベントデータの解像度（イベントデータを出力し得る画素１１の数）は、１２×１２の高解像度になる。第１の接続をオンにし、第２の接続をオフにした場合、イベントの発生を表すイベントデータの解像度は、６×６の低解像度になる。第１の接続及び第２の接続をオンにした場合、イベントの発生を表すイベントデータの解像度は、３×３のより低解像度になる。
　図１６の第１の接続及び第２の接続以外に、画素１１の接続の仕方と、その接続を制御するための接続制御線とを増やすことにより、イベントの発生を表すイベントデータの解像度として、より低解像度を実現することができる。
　以下に、第１実施形態に係る撮像システム１Ａにおいて、車両の走行状態に関係なく、イベントの的確な検出を可能にするために、車両の走行状態に応じて、イベント検出センサ１０の解像度を切り替える具体的な実施例について説明する。以下に説明する各実施例において、解像度の切り替えは、図１の制御部５０による制御の下に実行される。この制御に当たって、制御部５０には、図３４に示す車両制御システム７０００から、自車の車速などの種々の情報が、インタフェース８０を介して与えられる。
＜実施例１＞
　実施例１は、自車の車速に基づいて、イベント検出センサ１０の解像度を切り替える例である。実施例１に係る解像度切り替え制御の流れを図１７のフローチャートに示す。
　車の走行中において、制御部５０は、自車の車速が一定の速度以上であるか否かを判断し（ステップＳ１１）、車速が一定の速度以上であれば、イベント検出センサ１０の解像度を低解像度モードにする（ステップＳ１２）。車速が速い走行状態では、イベントの検出が多く発生し、イベント検出センサ１０の消費電力が増えるため、低解像度モードとする。
　低解像度モードでは、イベントの検出を抑制することができる。換言すれば、低解像度モードでは、イベントの検出で動作状態になる画素アレイ部１２の領域を抑えることがてきる。これにより、イベントの検出で動作状態になる画素数が少なくなるため、その分だけイベント検出センサ１０の消費電力を低減できる。
　低解像度モードでの走行状態において、制御部５０は、自車の車速が一定の速度未満であるか否かを判断し（ステップＳ１３）、車速が一定の速度未満であれば、低解像度モードから、高精度にイベント検出を行うことができる高解像度モードに移行する（ステップＳ１４）。そして、制御部５０は、車の停止を監視し（ステップＳ１５）、車が停止するまで、ステップＳ１１に戻って上述した一連の処理を繰り返す。
　上述した実施例１に係る解像度切り替え制御によれば、自車の車速に基づいて、イベントの検出が多く発生しやすい一定の速度以上の走行状態では、イベントの検出を抑制できる低解像度モードとすることで、イベント検出センサ１０の低消費電力化を図ることができる。
＜実施例２＞
　実施例２は、前方の物体（例えば、車）との相対速度を基にイベント検出センサ１０の解像度を切り替える例である。実施例２に係る解像度切り替え制御の流れを図１８のフローチャートに示す。
　車の走行中において、制御部５０は、図１の物体認識部４０の認識結果を基に、自車の前方を走行する他車を認識し（ステップＳ２１）、次いで、自車と他車との相対速度を算出し（ステップＳ２２）、相対速度が一定の相対速度以上であるか否かを判断する（ステップＳ２３）。そして、制御部５０は、相対速度が一定の相対速度以上であれば、イベント検出センサ１０の解像度を、高精度にイベント検出を行うことができる高解像度モードに設定する（ステップＳ２４）。
　高解像度モードでの走行状態において、制御部５０は、自車と他車との相対速度を算出し（ステップＳ２５）、相対速度が一定の相対速度未満であるか否かを判断する（ステップＳ２６）。制御部５０は、相対速度が一定の相対速度未満であれば、高解像度モードから低解像度モードに移行する（ステップＳ２７）。低解像度モードにすることで、イベント検出センサ１０の消費電力を低減できる。そして、制御部５０は、車の停止を監視し（ステップＳ２８）、車が停止するまで、ステップＳ２１に戻って上述した一連の処理を繰り返す。
　上述した実施例２に係る解像度切り替え制御によれば、自車と前方の車との相対速度に基づいて、イベント検出センサ１０の解像度を、当該相対速度に適したモードに設定することができる。
＜実施例３＞
　実施例３は、自車の車速及びイベント数（イベント発生数）を基にイベント検出センサ１０の解像度を切り替える例である。実施例３に係る解像度切り替え制御の流れを図１９のフローチャートに示す。
　車の走行中において、制御部５０は、自車の車速が一定の速度以上であるか否かを判断し（ステップＳ３１）、次いで、イベント検出センサ１０が検出したイベント数が所定の閾値以上であるか否かを判断する（ステップＳ３２）。制御部５０は、車速が一定の速度以上で、かつ、イベント数が所定の閾値以上であれば、イベント検出センサ１０の解像度を低解像度モードにする（ステップＳ３３）。車速が速い走行状態では、イベントの検出が多く発生し、イベント検出センサ１０での電力の消費が増えるため、低解像度モードとする。低解像度モードにすることで、イベント検出センサ１０の消費電力を低減できる。
　低解像度モードでの走行状態において、制御部５０は、自車の車速が一定の速度未満であるか否かを判断し（ステップＳ３４）、次いで、イベント検出センサ１０が検出したイベント数が所定の閾値未満であるか否かを判断する（ステップＳ３５）。制御部５０は、車速が一定の速度未満で、かつ、イベント数が所定の閾値未満であれば、低解像度モードから、高精度にイベント検出を行うことができる高解像度モードに移行する（ステップＳ３６）。そして、制御部５０は、車の停止を監視し（ステップＳ３７）、車が停止したと判断するまで（Ｓ３７のＹＥＳ）、ステップＳ３１に戻って上述した一連の処理を繰り返す。
　上述した実施例３に係る解像度切り替え制御によれば、自車の車速及びイベント数（イベント発生数）に基づいて、イベントの検出が多く発生しやすい一定の速度以上の走行状態では、低解像度モードとすることで、イベント検出センサ１０の低消費電力化を図ることができる。
＜実施例４＞
　実施例４は、他車との相対速度及びイベント数に基づいて、イベント検出センサ１０の解像度を切り替える例である。実施例４に係る解像度切り替え制御の流れを図２０のフローチャートに示す。
　車の走行中において、制御部５０は、図１の物体認識部４０の認識結果を基に、自車の前方を走行する他車を認識し（ステップＳ４１）、次いで、自車と他車との相対速度を算出する（ステップＳ４２）。次に、制御部５０は、相対速度が一定の相対速度以上であるか否かを判断し（ステップＳ４３）、次いで、イベント検出センサ１０が検出したイベント数が所定の閾値以上であるか否かを判断する（ステップＳ４４）。そして、制御部５０は、相対速度が一定の相対速度以上で、かつ、イベント数が所定の閾値以上であれば、イベント検出センサ１０の解像度を、高精度にイベント検出を行うことができる高解像度モードに設定する（ステップＳ２４）。
　高解像度モードでの走行状態において、制御部５０は、自車と他車との相対速度を算出し（ステップＳ４６）、相対速度が一定の相対速度未満であるか否かを判断し（ステップＳ４７）、次いで、イベント検出センサ１０が検出したイベント数が所定の閾値未満であるか否かを判断する（ステップＳ４８）。そして、制御部５０は、相対速度が一定の相対速度未満で、かつ、イベント数が所定の閾値未満であれば、高解像度モードから低解像度モードに移行する（ステップＳ４９）。低解像度モードにすることで、イベント検出センサ１０の消費電力を低減できる。そして、制御部５０は、車の停止を監視し（ステップＳ５０）、車が停止するまで、ステップＳ４１に戻って上述した一連の処理を繰り返す。
　上述した実施例４に係る解像度切り替え制御によれば、自車と前方の車との相対速度、及び、イベント検出センサ１０が検出したイベント数（イベント発生数）に基づいて、イベント検出センサ１０の解像度を、当該相対速度及びイベント数に適したモードに設定することができる。
＜実施例５＞
　実施例５は、渋滞の発生を検知したときに、イベント検出センサ１０の解像度を切り替える例である。実施例５に係る解像度切り替え制御の流れを図２１のフローチャートに示す。
　ここでは、イベント検出センサ１０が低解像度モードの状態で走行中であるとする（ステップＳ５１）。制御部５０は、低解像度モードでの走行中に、自車の車速が所定の閾値未満の低速での走行中であるか否かを判断し（ステップＳ５２）、次いで、イベント数（イベント発生数）が所定の閾値以上であるか否かを判断し（ステップＳ５３）、次いで、図１の物体認識部４０の認識結果を基に、イベント検出センサ１０の画角（撮像可能な範囲）に占める車の領域が一定割合以上であるか否かを判断する（ステップＳ５４）。
　自車の車速、イベント検出センサ１０が検出するイベント数、及び、画角に占める車の領域は、渋滞の発生を検知するためのパラメータとなる。例えば、渋滞中は、自車の周りに車が増えるため、それに応じてイベント検出センサ１０が検出するイベントの数も増えることになる。制御部５０は、自車の車速が閾値未満の低速での走行中において、イベント数が閾値以上で、かつ、画角に占める車の領域が一定割合以上であれば、渋滞が発生したことを検知し（ステップＳ５５）、一般的に、渋滞中は安全運転が必要であることから、低解像度モードから、高精度にイベント検出を行うことができる高解像度モードに移行する（ステップＳ５６）。
　次に、制御部５０は、渋滞が解消したか否かを判断する（ステップＳ５７）。この判断処理は、渋滞の発生を検知するステップＳ５２、ステップＳ５３、及び、ステップＳ５４の逆の処理となる。すなわち、制御部５０は、自車の車速が閾値以上の車速での走行であって、イベント数が閾値未満以上で、かつ、画角に占める車の領域が一定割合未満であることを条件として、渋滞が解消したと判断することができる。
　制御部５０は、渋滞が解消したと判断した場合、ステップＳ５１に戻って、高解像度モードから低解像度モードに移行し、上述した一連の処理を繰り返す。低解像度モードにすることで、イベント検出センサ１０の消費電力を低減できる。また、制御部５０は、車の停止を監視し（ステップＳ５８）、車が停止と判定した場合、渋滞を検知したときの上述した一連の処理を終了する。
　上述した実施例５に係る解像度切り替え制御によれば、渋滞の発生を検知したとき、低解像度モードから、高精度にイベント検出を行うことができる高解像度モードに移行することで、イベントの発生をより的確に検出することができるため、渋滞中における安全運転に寄与することができる。
＜実施例６＞
　実施例６は、高速道路走行を検知したときに、イベント検出センサ１０の解像度を切り替える例である。実施例６に係る解像度切り替え制御の流れを図２２のフローチャートに示す。
　ここでは、イベント検出センサ１０が低解像度モードの状態で走行中であるとする（ステップＳ６１）。制御部５０は、低解像度モードの状態での走行中に、自車の車速が所定の閾値以上の高速での走行中であるか否かを判断し（ステップＳ６２）、次いで、イベント数（イベント発生数）が所定の閾値以上であるか否かを判断し（ステップＳ６３）、次いで、図１の物体認識部４０の認識結果を基に、画角に占める車の領域が一定割合以上であるか否かを判断する（ステップＳ６４）。
　自車の車速、イベント検出センサ１０が検出するイベント数、及び、画角に占める車の領域は、高速道路走行を検知するためのパラメータとなる。例えば、高速で走行中は、イベント検出センサ１０が検出するイベントの数が増えることになる。制御部５０は、自車の車速が閾値以上の高速での走行中において、イベント数が閾値以上で、かつ、画角に占める車の領域が一定割合以上であれば、高速道路を走行であることを検知し（ステップＳ６５）、一般的に、高速で走行中は安全運転が必要であるため、低解像度モードから、高精度にイベント検出することができる高解像度モードに移行する（ステップＳ６６）。
　次に、制御部５０は、高解像度モードの走行状態において、高速道路走行が終了したか否かを判断する（ステップＳ６７）。この判断処理は、高速道路走行を検知するステップＳ６２、ステップＳ６３、及び、ステップＳ６４の逆の処理となる。すなわち、制御部５０は、自車の車速が閾値未満の車速での走行であって、イベント数が閾値未満以上で、かつ、画角に占める車の領域が一定割合未満であることを条件として、高速道路走行が終了したと判断することができる。
　制御部５０は、高速道路走行が終了したと判定した場合、ステップＳ６１に戻って、高解像度モードから低解像度モードに移行し、上述した一連の処理を繰り返す。低解像度モードにすることで、イベント検出センサ１０の消費電力を低減できる。また、制御部５０は、車の停止を監視し（ステップＳ６８）、車が停止と判定した場合、高速道路走行を検知したときの上述した一連の処理を終了する。
　上述した実施例６に係る解像度切り替え制御によれば、高速道路走行を検知したとき、低解像度モードから、高精度にイベント検出を行うことができる高解像度モードに移行することで、イベントの発生をより的確に検出することができるため、高速道路での安全運転に寄与することができる。
＜実施例７＞
　実施例７は、自車の進路変更を検知したときに、イベント検出センサ１０の解像度を切り替える例である。実施例７に係る解像度切り替え制御の流れを図２３のフローチャートに示す。
　ここでは、自車が直進走行中であるとする（ステップＳ７１）。制御部５０は、直進走行中において、右折又は左折の進路変更を行ったか否かを判断し（ステップＳ７２）、右折又は左折の進路変更が行われたと判断すると、イベント検出センサ１０の解像度を高解像度モードに設定する（ステップＳ７３）。すなわち、右折又は左折の進路変更は、自車の周りの風景の変化が大きいことから、高精度にイベント検出を行うことができる高解像度モードに設定する。ステップＳ７２の進路変更の判断の具体的な処理については後述する。
　次に、制御部５０は、自車が直進走行であるか否かを判断し（ステップＳ７４）、直進走行であると判断すると、直進走行時は進路変更時よりも周りの風景の変化が小さいことから、高解像度モードから低解像度モードに移行する（ステップＳ７５）。低解像度モードにすることで、イベント検出センサ１０の消費電力を低減できる。ステップＳ７４の直進走行の判断の具体的な処理については後述する。
　次に、制御部５０は、車の停止を監視し（ステップＳ６８）、停止でなければ、ステップＳ７１に戻って直線走行に移行し、以降、上述した一連の処理を繰り返す。制御部５０は、車が停止と判定した場合は、自車の進路変更を検知したときの上述した一連の処理を終了する。
　上述した実施例７に係る解像度切り替え制御によれば、進路変更を検知したとき、低解像度モードから、高精度にイベント検出を行うことができる高解像度モードに移行することで、イベントの発生をより的確に検出することができるため、進路変更時の安全運転に寄与することができる。
　続いて、ステップＳ７２の進路変更の判断、及び、ステップＳ７４の直進走行の判断の具体的な処理の一例について説明する。
　進路変更の判断の具体的な処理の一例を図２４Ａのフローチャートに示し、直進走行の判断の具体的な処理の一例を図２４Ｂのフローチャートに示す。いずれの判断処理においても、後述する図３４に示す車両制御システム７０００から与えられる各種情報の一つ、例えば、ステアリングホイールの操舵角の情報を用いることができる。
　図２４Ａの進路変更の判断処理において、制御部５０は、ステアリングホイールの操舵角の情報に基づいて、ステアリングが一定角度以上回転したか否かを判断し（ステップＳ７２１）、次いで、イベント検出センサ１０が検出したイベント数（イベント発生数）が所定の閾値以上か否かを判断する（ステップＳ７２２）。そして、制御部５０は、ステアリングが一定角度以上回転し、かつ、イベント数が閾値以上のとき、右折又は左折があったことを検知し（ステップＳ７２３）、しかる後、図２３のフローに戻り、ステップＳ７３に移行する。
　図２４Ｂの直進走行の判断処理において、制御部５０は、ステアリングが一定角度以内か否かを判断し（ステップＳ７４１）、次いで、イベント検出センサ１０が検出したイベント数（イベント発生数）が所定の閾値未満か否かを判断する（ステップＳ７４２）。そして、制御部５０は、ステアリングが一定角度以内で、かつ、イベント数が閾値未満のとき、直進走行であることを検知し（ステップＳ７４３）、しかる後、図２３のフローに戻り、ステップＳ７５に移行する。
　尚、本実施例では、進路変更の検知に、ステアリングホイールの操舵角の情報を用いるとしたが、これに限られるものではなく、例えば、ステアリングホイールの加速度を検出し、その加速度情報を用いるようにすることもできる。
＜実施例８＞
　実施例８は、画素アレイ部の領域毎にイベント検出センサ１０の解像度を切り替える例である。実施例８に係る解像度切り替え制御の流れを図２５のフローチャートに示す。
　ここでは、イベント検出センサ１０が高解像度モードの状態で走行中であるとする（ステップＳ８１）。制御部５０は、高解像度モードの状態において、画素アレイ部１２を所定の画素数を単位として複数の領域に分割し、ＲＯＩ抽出した領域毎に、イベント検出センサ１０が検出したイベント数（イベント検出数）を算出する（ステップＳ８２）。
　次に、制御部５０は、領域毎に算出したイベント数が所定の閾値を超える領域が存在するか否かを判断し（ステップＳ８３）、イベント数が閾値を超える領域が存在する場合には、イベント数が閾値を超える領域を特定する（ステップＳ８４）。領域の特定は、例えば、領域を形成する画素１１のアドレス等の情報を基に行うことができる。
　次に、制御部５０は、イベント数が閾値を超えるとして特定した領域に対して、低解像度モードを設定する（ステップＳ８５）。その後、制御部５０は、低解像度モードを設定した領域について、イベント検出センサ１０が検出したイベント数が所定の閾値未満になったか否かを判断し（ステップＳ８６）、イベント数が閾値未満になっていれば、ステップＳ８１に移行して高解像度モードに戻す。
　制御部５０は、イベント数が閾値未満になっていなければ、イベント数が閾値を超える領域として特定した領域に対して、低解像度モードを設定した状態において、車の停止を監視し（ステップＳ８７）、停止と判定した場合は、画素アレイ部１２の領域毎に解像度を切り替える上述した一連の処理を終了する。
　上述した実施例８の技術、即ち、イベント検出センサ１０の解像度を、画素アレイ部１２の領域毎に切り替える技術は、先述した実施例１に係る解像度切り替え制御、乃至、実施例７に係る解像度切り替え制御に対しても適用することができる。
　以上説明した第１実施形態に係る撮像装置１Ａでは、実施例４における前方を走行する他車の認識や、実施例５及び実施例６における画角に占める車の領域の判断を、イベント検出センサ１０の出力を基に行うとしたが、これに限られるものではない。後述する第２実施形態に係る撮像装置１Ｂに備えられる同期型の撮像センサの出力を基に、他車の認識や、画角に占める車の領域の判断を行うようにすることもできる。
≪本開示の第２実施形態≫
＜第２実施形態に係る撮像システムの構成例＞
　図２６は、本開示の第２実施形態に係る撮像システムのシステム構成の一例を示すブロック図である。
　図２６に示すように、本開示の第２実施形態に係る撮像システム１Ｂは、イベント検出センサ１０、画像センサ２０、動き認識部３０、物体認識部４０、制御部５０、オペレーションパターン定義部６０、及び、記録部７０を有する構成となっている。
　イベント検出センサ１０、動き認識部３０、物体認識部４０、制御部５０、オペレーションパターン定義部６０、及び、記録部７０の機能等については、第１実施形態に係る撮像システム１Ａにおいて説明した通りである。第２実施形態に係る撮像システム１Ｂも、第１実施形態に係る撮像システム１Ａと同様に、車両等の移動体に搭載して用いることができる。
＜画像センサの構成例＞
　第２実施形態に係る撮像システム１Ｂにおける画像センサ２０の基本的な構成について説明する。ここでは、画像センサ２０として、Ｘ－Ｙアドレス方式の画像センサの一種であるＣＭＯＳ型イメージセンサを例に挙げて説明する。ＣＭＯＳ型イメージセンサは、ＣＭＯＳプロセスを応用して、又は、部分的に使用して作製されたイメージセンサである。但し、画像センサ２０としては、ＣＭＯＳ型イメージセンサに限られるものではない。
［ＣＭＯＳイメージセンサの構成例］
　図２７は、第２実施形態に係る撮像システム１Ｂにおける画像センサ２０の一例であるＣＭＯＳイメージセンサの構成の概略を示すブロック図である。
　本例に係る画像センサ２０は、受光部（光電変換部）を含む画素２１が行方向及び列方向に、即ち、行列状に２次元配置されて成る画素アレイ部２２、及び、当該画素アレイ部２２の周辺回路部を有する構成となっている。ここで、行方向とは、画素行の画素２１の配列方向を言い、列方向とは、画素列の画素２１の配列方向を言う。画素２１は、光電変換を行うことにより、受光した光量に応じた光電荷を生成し、蓄積する。
　本例に係る画像センサ２０は、画素アレイ部２２の各画素２１に、例えば、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）の各色フィルタが組み込まれたＲＧＢセンサである。但し、画像センサ２０は、ＲＧＢセンサに限られるものではない。
　画素アレイ部２２の周辺回路部は、例えば、行選択部２３、定電流源部２４、アナログ－デジタル変換部２５、水平転送走査部２６、信号処理部２７、及び、タイミング制御部２８等によって構成されている。
　画素アレイ部２２において、行列状の画素配列に対し、画素行毎に画素駆動線３１1～３１m（以下、総称して「画素駆動線３１」と記述する場合がある）が行方向に沿って配線されている。また、画素列毎に垂直信号線３２1～３２n（以下、総称して「垂直信号線３２」と記述する場合がある）が列方向に沿って配線されている。画素駆動線３１は、画素２１から信号を読み出す際の駆動を行うための駆動信号を伝送する。図１では、画素駆動線３１について１本の配線として図示しているが、１本に限られるものではない。画素駆動線３１の一端は、行選択部２３の各行に対応した出力端に接続されている。
　以下に、画素アレイ部２２の周辺回路部の各回路部、即ち、行選択部２３、定電流源部２４、アナログ－デジタル変換部２５、水平転送走査部２６、信号処理部２７、及び、タイミング制御部２８について説明する。
　行選択部２３は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部２２の各画素２１の選択に際して、画素行の走査や画素行のアドレスを制御する。この行選択部２３は、その具体的な構成については図示を省略するが、一般的に、読出し走査系と掃出し走査系の２つの走査系を有する構成となっている。
　読出し走査系は、画素２１から画素信号を読み出すために、画素アレイ部２２の各画素２１を行単位で順に選択走査する。画素２１から読み出される画素信号はアナログ信号である。掃出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対して、その読出し走査よりもシャッタスピードの時間分だけ先行して掃出し走査を行う。
　この掃出し走査系による掃出し走査により、読出し行の画素２１の受光部（光電変換部）から不要な電荷が掃き出されることによって当該受光部がリセットされる。そして、この掃出し走査系による不要電荷の掃き出す（リセットする）ことにより、所謂、電子シャッタ動作が行われる。ここで、電子シャッタ動作とは、受光部の光電荷を捨てて、新たに露光を開始する（光電荷の蓄積を開始する）動作のことを言う。
　定電流源部２４は、画素列毎に垂直信号線３２1～３２nの各々に接続された、例えばＭＯＳトランジスタから成る複数の電流源Ｉ（図１８参照）を備えており、行選択部２３によって選択走査された画素行の各画素２１に対し、垂直信号線３２1～３２nの各々を通してバイアス電流を供給する。
　アナログ－デジタル変換部２５は、画素アレイ部２２の画素列に対応して設けられた（例えば、画素列毎に設けられた）複数のアナログ－デジタル変換器の集合から成る。アナログ－デジタル変換部２５は、画素列毎に垂直信号線３２1～３２nの各々を通して出力されるアナログの画素信号を、デジタル信号に変換する列並列型のアナログ－デジタル変換部である。
　列並列アナログ－デジタル変換部２５におけるアナログ－デジタル変換器としては、例えば、参照信号比較型のアナログ－デジタル変換器の一例であるシングルスロープ型のアナログ－デジタル変換器を用いることができる。但し、アナログ－デジタル変換器としては、シングルスロープ型のアナログ－デジタル変換器に限られるものではなく、逐次比較型のアナログ－デジタル変換器やデルタ－シグマ変調型（ΔΣ変調型）のアナログ－デジタル変換器などを用いることができる。
　この列並列アナログ－デジタル変換部２５におけるアナログ－デジタル変換器の例については、先述したイベント検出センサ１０のカラム処理部１５（図３参照）を構成するアナログ－デジタル変換部におけるアナログ－デジタル変換器においても同様である。
　水平転送走査部２６は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部２２の各画素２１の信号の読出しに際して、画素列の走査や画素列のアドレスを制御する。この水平転送走査部２６による制御の下に、アナログ－デジタル変換部２５でデジタル信号に変換された画素信号が画素列単位で水平転送線（水平出力線）２９に読み出される。
　信号処理部２７は、水平転送線２９を通して供給されるデジタルの画素信号に対して、所定の信号処理を行い、２次元の画像データを生成する。例えば、信号処理部２７は、縦線欠陥、点欠陥の補正、又は、信号のクランプを行ったり、パラレル－シリアル変換、圧縮、符号化、加算、平均、及び、間欠動作などデジタル信号処理を行ったりする。信号処理部２７は、生成した画像データを、本画像センサ２０の出力信号として後段の装置に出力する。
　タイミング制御部２８は、外部から供給される垂直同期信号ＶＤや水平同期信号ＨＤ、更には、マスタークロックＭＣＫ（図示せず）等に基づいて、各種のタイミング信号、クロック信号、及び、制御信号等を生成する。そして、タイミング制御部２８は、これら生成した信号を基に、行選択部２３、定電流源部２４、アナログ－デジタル変換部２５、水平転送走査部２６、及び、信号処理部２７等の駆動制御を行う。
　このタイミング制御部２８による制御の下に、本画像センサ２０では、垂直同期信号ＶＤ等の同期信号に同期して撮像が行われる。すなわち、本画像センサ２０は、所定のフレームレートで撮像を行う同期型の撮像装置である。
［画素の回路構成例］
　図２８は、画像センサ２０における画素アレイ部２２の画素２１の回路構成の一例を示す回路図である。
　画素２１は、受光部（光電変換部）として、例えば、フォトダイオード２１１を有している。画素２１は、フォトダイオード２１１の他に、転送トランジスタ２１２、リセットトランジスタ２１３、増幅トランジスタ２１４、及び、選択トランジスタ２１５を有する画素構成となっている。
　尚、ここでは、転送トランジスタ２１２、リセットトランジスタ２１３、増幅トランジスタ２１４、及び、選択トランジスタ２１５の４つのトランジスタとして、例えばＮ型のＭＯＳトランジスタを用いているが、ここで例示した４つのトランジスタ２１２～２１５の導電型の組み合わせは一例に過ぎず、これらの組み合わせに限られるものではない。
　この画素２１に対して、先述した画素駆動線３１として、複数の画素駆動線が同一画素行の各画素２１に対して共通に配線されている。これら複数の画素駆動線は、行選択部２３の各画素行に対応した出力端に画素行単位で接続されている。行選択部２３は、複数の画素駆動線に対して転送信号ＴＲＧ、リセット信号ＲＳＴ、及び、選択信号ＳＥＬを適宜出力する。
　フォトダイオード２１１は、アノード電極が低電位側電源(例えば、グランド)に接続されており、受光した光をその光量に応じた電荷量の光電荷（ここでは、光電子）に光電変換してその光電荷を蓄積する。フォトダイオード２１１のカソード電極は、転送トランジスタ２１２を介して増幅トランジスタ２１４のゲート電極と電気的に接続されている。ここで、増幅トランジスタ２１４のゲート電極が電気的に繋がった領域は、フローティングディフュージョン（浮遊拡散領域／不純物拡散領域）ＦＤである。フローティングディフュージョンＦＤは、電荷を電圧に変換する電荷電圧変換部である。
　転送トランジスタ２１２のゲート電極には、高レベル（例えば、ＶDDレベル）がアクティブとなる転送信号ＴＲＧが行選択部２３から与えられる。転送トランジスタ２１２は、転送信号ＴＲＧに応答してオン状態となることにより、フォトダイオード２１１で光電変換され、当該フォトダイオード２１１に蓄積された光電荷をフローティングディフュージョンＦＤに転送する。
　リセットトランジスタ２１３は、電源電圧ＶDDの電源ラインとフローティングディフュージョンＦＤとの間に接続されている。リセットトランジスタ２１３のゲート電極には、高レベルがアクティブとなるリセット信号ＲＳＴが行選択部２３から与えられる。リセットトランジスタ２１３は、リセット信号ＲＳＴに応答してオン状態となり、フローティングディフュージョンＦＤの電荷を電源電圧ＶDDのノードに捨てることによってフローティングディフュージョンＦＤをリセットする。
　増幅トランジスタ２１４は、ゲート電極がフローティングディフュージョンＦＤに接続され、ドレイン電極が電源電圧ＶDDの電源ラインに接続されている。増幅トランジスタ２１４は、フォトダイオード２１１での光電変換によって得られる信号を読み出すソースフォロワの入力部となる。増幅トランジスタ２１４は、ソース電極が選択トランジスタ２１５を介して垂直信号線３２に接続される。そして、増幅トランジスタ２１４と、垂直信号線３２の一端に接続される電流源Ｉとは、フローティングディフュージョンＦＤの電圧を垂直信号線３２の電位に変換するソースフォロワを構成している。
　選択トランジスタ２１５は、ドレイン電極が増幅トランジスタ２１４のソース電極に接続され、ソース電極が垂直信号線３２に接続されている。選択トランジスタ２１５のゲート電極には、高レベルがアクティブとなる選択信号ＳＥＬが行選択部２３から与えられる。選択トランジスタ２１５は、選択信号ＳＥＬに応答してオン状態となることにより、画素２１を選択状態として増幅トランジスタ２１４から出力される信号を垂直信号線３２に伝達する。
　尚、ここでは、画素２１の画素回路として、転送トランジスタ２１２、リセットトランジスタ２１３、増幅トランジスタ２１４、及び、選択トランジスタ２１５から成る、即ち４つのトランジスタ（Ｔｒ）から成る４Ｔｒ構成を例に挙げたが、これに限られるものではない。例えば、選択トランジスタ２１５を省略し、増幅トランジスタ２１４に選択トランジスタ２５の機能を持たせる３Ｔｒ構成とすることもできるし、必要に応じて、トランジスタの数を増やした５Ｔｒ以上の構成とすることもできる。
［チップ構造の構成例］
　上記の構成の画像センサ２０のチップ（半導体集積回路）構造としては、平置型のチップ構造及び積層型のチップ構造を例示することができる。平置型のチップ構造及び積層型のチップ構造のいずれの画像センサ２０においても、画素２１について、配線層が配される側の基板面を表面（正面）とするとき、表面側から照射される光を取り込む表面照射型の画素構造とすることもできるし、その反対側の裏面側から照射される光を取り込む裏面照射型の画素構造とすることができる。以下に、平置型のチップ構造及び積層型のチップ構造について説明する。
（平置型のチップ構造）
　図２９は、画像センサ２０の平置型のチップ構造の概略を示す平面図である。
　図２９に示すように、平置型のチップ構造（所謂、平置構造）は、画素２１が行列状に配置されて成る画素アレイ部２２と同じ半導体基板２０１上に、画素アレイ部２２の周辺の回路部分を形成した構造となっている。具体的には、画素アレイ部２２と同じ半導体基板２０１上に、行選択部２３、定電流源部２４、アナログ－デジタル変換部２５、水平転送走査部２６、信号処理部２７、及び、タイミング制御部２８等が形成されている。
（積層型のチップ構造）
　図３０は、画像センサ２０の積層型のチップ構造の概略を示す分解斜視図である。
　図３０に示すように、積層型のチップ構造（所謂、積層構造）は、第１半導体基板２０２及び第２半導体基板２０３の少なくとも２つの半導体基板が積層された構造となっている。この積層構造において、画素アレイ部２２は、１層目の第１半導体基板２０２に形成される。また、行選択部２３、定電流源部２４、アナログ－デジタル変換部２５、水平転送走査部２６、信号処理部２７、及び、タイミング制御部２８等の回路部分は、２層目の第２半導体基板２０３に形成される。そして、１層目の第１半導体基板２０２と２層目の第２半導体基板２０３とは、ビア（ＶＩＡ）やＣｕ－Ｃｕ接合などの接続部３３Ａ，３３Ｂを通して電気的に接続される。
　この積層構造の画像センサ２０によれば、１層目の第１半導体基板２０２には画素２１の作製に適したプロセスを適用でき、２層目の第２半導体基板２０３には回路部分の作製に適したプロセスを適用できるため、画像センサ２０の製造に当たって、プロセスの最適化を図ることができる。特に、回路部分の作製に当たっては、先端プロセスの適用が可能になる。
　尚、ここでは、第１半導体基板２０２及び第２半導体基板２０３が積層されて成る２層構造の積層構造を例示したが、積層構造としては、２層構造に限られるものではなく、３層以上の構造とすることもできる。そして、３層以上の積層構造の場合、行選択部２３、定電流源部２４、アナログ－デジタル変換部２５、水平転送走査部２６、及び、信号処理部２７等の回路部分については、２層目以降の半導体基板に分散して形成することができる。
　上記の構成の第２実施形態に係る撮像システム１Ｂにおいて、イベント検出センサ１０及び画像センサ２０は、制御部５０による制御の下に、それぞれ、イベント検出動作、及び、撮像動作を行う。イベント検出センサ１０から出力されるイベント信号（イベントデータ）、及び、画像センサ２０から出力される画像データは、動き認識部３０に供給される。
　動き認識部３０は、イベント検出センサ１０から出力されるイベント信号に基づいて、物体の動きを認識（検出）する。より具体的には、動き認識部３０は、イベント検出センサ１０から出力されるイベント信号をフレーム化することによってイベントフレームを生成し、イベントフレーム間で動き検出を行う。イベント検出センサ１０から出力されるイベント信号を用いてイベントの物体認識を行う場合、物体認識部４０は、動き認識部３０から与えられる動き検出の結果を基に物体認識を行うことになる。
　画像センサ２０は、同期型の撮像装置から成り、所定のフレームレート、例えば、固定のフレームレートで撮像を行うために、イベント検出センサ１０の場合のように、イベントフレームを生成する必要がない。従って、画像センサ２０からフレーム単位で出力される画像データは直接物体認識部４０に供給される。そして、物体認識部４０は、フレーム単位の画像データを基に物体認識を行うことになる。
　因みに、非同期型の撮像装置から成るイベント検出センサ１０は、イベント検出部６３を有する画素構成がとられるため、同期型の撮像装置か成る画像センサ２０に比べて画素サイズが大きくならざるを得ない。従って、イベント検出センサ１０は、固定のフレームレートで撮像を行う画像センサ２０に比べて解像度が低い。一方、同期型の撮像装置から成る画像センサ２０は、非同期型の撮像装置に比べて解像度に優れている。
　以下に、第２実施形態に係る撮像システム１Ｂにおいて、車両の走行状態に関係なく、イベントの的確な検出を可能にするために、車両の走行状態に応じて、イベント検出センサ１０の解像度を切り替える具体的な実施例について説明する。以下に説明する各実施例において、解像度の切り替えは、図２６の制御部５０による制御の下に実行される。この制御に当たって、制御部５０には、図３４に示す車両制御システム７０００から、自車の車速などの種々の情報が、インタフェース８０を介して与えられる。
＜実施例９＞
　実施例９は、渋滞の発生を検知したときに、イベント検出センサ１０の解像度を切り替える例である。実施例９に係る解像度切り替え制御の流れを図３１のフローチャートに示す。
　ここでは、イベント検出センサ１０が低解像度モードの状態で走行中であるとする（ステップＳ９１）。制御部５０は、低解像度モードの状態での走行中に、自車の車速が所定の閾値未満の低速での走行中であるか否かを判断し（ステップＳ９２）、次いで、非同期型の撮像装置から成るイベント検出センサ１０の情報のみで物体（例えば、車）を検知することが可能か否かを判断する（ステップＳ９３）。
　制御部５０は、イベント検出センサ１０の情報のみで車の認識が可能であれば、イベント検出センサ１０の情報（例えば、イベントの発生を表すイベントデータ）を用いて車を検知し（ステップＳ９４）、次いで、画角内において車として検知できるエリアを特定する（ステップＳ９５）。制御部５０は、イベント検出センサ１０の情報のみで車を検知することが不可能であれば、イベント検出装置センサ及び画像センサ２０の各情報を用いて車を検知し（ステップＳ９６）、しかる後、ステップＳ９５の処理に移行する。
　次に、制御部５０は、車として検知できるエリアが、所定の閾値以上であるか否かを判断し（ステップＳ９７）、所定の閾値未満であれば、ステップＳ９５の処理に戻る。また、所定の閾値以上であれば、制御部５０は、渋滞が発生したことを検知し（ステップＳ９８）、一般的に、渋滞中は安全運転が必要であることから、ステップＳ９５で特定したエリアについて、低解像度モードから、高精度にイベント検出を行うことができる高解像度モードに移行する（ステップＳ９９）。
　次に、制御部５０は、渋滞が解消したか否かを判断する（ステップＳ１００）。この判断処理は、渋滞の発生を検知する場合と逆の処理となる。すなわち、制御部５０は、自車の車速が閾値以上で、かつ、車と検知できるエリアが所定の閾値未満であることを条件として、渋滞が解消したと判断することができる。
　制御部５０は、渋滞が解消したと判定した場合、ステップＳ９１に戻って、高解像度モードから低解像度モードに移行し、上述した一連の処理を繰り返す。低解像度モードにすることで、イベント検出センサ１０の消費電力を低減できる。また、制御部５０は、車の停止を監視し（ステップＳ１０１）、車が停止と判定した場合、渋滞を検知したときの上述した一連の処理を終了する。
　上述した実施例９に係る解像度切り替え制御によれば、イベント検出センサ１０よりも解像度に優れた画像センサ２０の画像データを用いて、渋滞の発生を的確に検知することができる。そして、渋滞の発生を検知したとき、低解像度モードから、イベントの発生を検出しやすい高解像度モードに移行することで、イベントの発生をより的確に検出することができるため、渋滞中における安全運転に寄与することができる。
＜実施例１０＞
　実施例１０は、高速道路走行を検知したときに、イベント検出センサ１０の解像度を切り替える例である。実施例１０に係る解像度切り替え制御の流れを図３２のフローチャートに示す。
　ここでは、イベント検出センサ１０が低解像度モードの状態で走行中であるとする（ステップＳ１１１）。制御部５０は、低解像度モードの状態での走行中に、自車の車速が所定の閾値以上の高速での走行中であるか否かを判断し（ステップＳ１１２）、次いで、イベント検出センサ１０の情報のみで物体（例えば、車）を検知することが可能か否かを判断する（ステップＳ１１３）。
　制御部５０は、イベント検出センサ１０の情報のみで車の認識が可能であれば、イベント検出センサ１０の情報（例えば、イベントの発生を表すイベントデータ）を用いて車を検知し（ステップＳ１１４）、次いで、画角内において車として検知できるエリアを特定する（ステップＳ１１５）。制御部５０は、イベント検出センサ１０の情報のみで車を検知することが不可能であれば、イベント検出装置センサ及び画像センサ２０の各情報を用いて車を検知し（ステップＳ１１６）、しかる後、ステップＳ１１５の処理に移行する。
　次に、制御部５０は、車として検知できるエリアが、所定の閾値以上であるか否かを判断し（ステップＳ１１７）、所定の閾値未満であれば、ステップＳ１１５の処理に戻る。また、所定の閾値以上であれば、制御部５０は、高速道路の走行であることを検知し（ステップＳ１１８）、一般的に、高速で走行中は安全運転が必要であるため、ステップＳ１１５で特定したエリアについて、低解像度モードから、高精度にイベント検出を行うことができる高解像度モードに移行する（ステップＳ１１９）。
　次に、制御部５０は、高解像度モードの走行状態において、高速道路走行が終了したか否かを判断する（ステップＳ１２０）。この判断処理は、高速道路走行を検知する場合と逆の処理となる。すなわち、制御部５０は、自車の車速が閾値未満で、かつ、車と検知できるエリアが所定の閾値未満であることを条件として、高速道路走行が終了したと判断することができる。
　制御部５０は、高速道路走行が終了したと判定した場合、ステップＳ１１１に戻って、高解像度モードから低解像度モードに移行し、上述した一連の処理を繰り返す。低解像度モードにすることで、イベント検出センサ１０の消費電力を低減できる。また、制御部５０は、車の停止を監視し（ステップＳ１２１）、車が停止と判定した場合、高速道路走行を検知したときの上述した一連の処理を終了する。
　上述した実施例１０に係る解像度切り替え制御によれば、イベント検出センサ１０よりも解像度に優れた画像センサ２０の画像データを用いて、高速道路走行を的確に検知することができる。そして、高速道路走行を検知したとき、低解像度モードから、高精度にイベント検出を行うことができる高解像度モードに移行することで、イベントの発生をより的確に検出することができるため、高速道路での安全運転に寄与することができる。
＜実施例１１＞
　実施例１１は、第２実施形態に係る撮像システム１Ｂが、オートクルージング機能を有する車両に搭載された場合において、オートクルージングモード時にイベント検出センサ１０の解像度を切り替える例である。実施例１１に係る解像度切り替え制御の流れを図３３のフローチャートに示す。
　オートクルージングモードは、ユーザ（運転者）によって選択され、ユーザがオートクルージングモードをオン（選択）することで、オートクルージングモードオンの情報は、図３４に示す車両制御システム７０００から制御部５０に与えられる。
　制御部５０は、ユーザによるオートクルージングモードの選択を監視し（ステップＳ１３１）、オートクルージングモードがオンと判断すると、イベント検出センサ１０の解像度を低解像度モードに設定する（ステップＳ１３２）。次に、制御部５０は、画角内において車として検知できるエリアを特定し（ステップＳ１３３）、その特定したエリアについて低解像度モードから、高精度にイベント検出を行うことができる高解像度モードに移行する（ステップＳ１３５）。
　次に、制御部５０は、自車の前方を走行する車を特定し（ステップＳ１３５）、その特定した車以外の領域については、低解像度モードに移行する（ステップＳ１３６）。低解像度モードにすることで、イベント検出センサ１０の消費電力を低減できる。
　次に、制御部５０は、自車と前方の車との相対速度を算出し（ステップＳ１３７）、次いで、自車と前方の車との相対速度がゼロか否かを判断し（ステップＳ１３８）、相対速度がゼロでなければ、自車の車速を変更し（ステップＳ１３９）、しかる後、ステップＳ１３８に移行する。
　制御部５０は、前方の車との相対速度がゼロであれば、自車の車速をキープし（ステップＳ１４０）、次いで、ユーザによるオートクルージングモードオフを監視し（ステップＳ１４１）、オートクルージングモードの続行であれば、ステップＳ１３２に戻って上述した一連の処理を繰り返す。また、制御部５０は、オートクルージングモードオフであれば、車の停止を監視し（ステップＳ１４２）、車が停止と判定した場合、上述した一連の処理を終了する。
　上述したように、実施例１１に係る解像度切り替え制御によれば、第２実施形態に係る撮像システム１Ｂが、オートクルージング機能を有する車に搭載された場合においても、オートクルージングモードでの走行状態に応じて、イベント検出センサ１０の解像度を切り替える制御を行うことができる。
≪変形例≫
　以上、本開示に係る技術について、好ましい実施形態に基づき説明したが、本開示に係る技術は当該実施形態に限定されるものではない。上記の実施形態において説明した撮像装置及び撮像システムの構成、構造は例示であって、変更することができる。例えば、上記の実施形態では、受光部６１毎に画素信号生成部６２を設けて画素１１を構成するとしたが、複数の受光部６１を単位としてブロック化し、各画素ブロックに画素信号生成部６２を１つずつ設けて、当該画素信号生成部６２を画素ブロック内の複数の受光部６１間で共有する構成とすることもできる。
≪本開示に係る技術の適用例≫
　本開示に係る技術は、様々な製品に適用することができる。以下に、より具体的な適用例について説明する。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される撮像装置や撮像システムとして実現されてもよい。
＜移動体＞
　図３４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図３４に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図３４では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図３５は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　尚、図３５には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図３４に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ、ＬＴＥ（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。尚、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。尚、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３４の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　尚、図３４に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部７９１０，７９１２，７９１４，７９１６，７９１８等に適用され得る。具体的には、これらの撮像部に対して、本開示の撮像システムを適用することができる。本開示の撮像システムは、車両の走行状態に関係なく、イベントを的確に検出することができるため、安全な車両走行の実現に寄与することが可能となる。
≪本開示がとることができる構成≫
　尚、本開示は、以下のような構成をとることもできる。
＜Ａ．撮像装置＞
［Ａ－１］イベントを検出するイベント検出センサ、
　イベント検出センサの制御を行う制御部を備え、
　制御部は、移動体の走行状態に応じて、イベント検出センサの解像度を切り替える、
　撮像装置。
［Ａ－２］イベント検出センサは、入射光を光電変換する画素の輝度変化が所定の閾値を超えたことをイベントとして検出する非同期型の撮像装置から成る、
　上記［Ａ－１］に記載の撮像装置。
［Ａ－３］移動体に搭載されて用いられる、
　上記［Ａ－２］に記載の撮像装置。
［Ａ－４］制御部は、移動体の走行状態に応じて、イベント検出センサの解像度を、解像度が相対的に低い第１解像度モード、又は、解像度が相対的に高い第２解像度モードに設定する、
　上記［Ａ－３］に記載の撮像装置。
［Ａ－５］制御部は、移動体の速度が一定の速度以上のとき第１解像度モードとし、移動体の速度が一定の速度未満のとき第２解像度モードとする、
　上記［Ａ－４］に記載の撮像装置。
［Ａ－６］制御部は、前方の物体との相対速度が一定の相対速度以上のとき第２解像度モードとし、前方の物体との相対速度が一定の相対速度未満のとき第１解像度モードとする、
　上記［Ａ－４］に記載の撮像装置。
［Ａ－７］制御部は、移動体の速度が一定の速度以上で、かつ、イベント検出センサによるイベント検出数が所定の閾値以上のとき第１解像度モードとし、移動体の速度が一定の速度未満で、かつ、イベント検出センサによるイベント検出数が所定の閾値未満のとき第２解像度モードとする、
　上記［Ａ－４］に記載の撮像装置。
［Ａ－８］制御部は、前方の物体との相対速度が一定の相対速度以上で、かつ、イベント検出センサによるイベント検出数が所定の閾値以上のとき第２解像度モードとし、前方の物体との相対速度が一定の相対速度未満で、かつ、イベント検出センサによるイベント検出数が所定の閾値未満のとき第１解像度モードとする、
　上記［Ａ－４］に記載の撮像装置。
［Ａ－９］制御部は、第１解像度モードでの走行状態において、移動体の速度が所定の閾値未満、イベント検出センサによるイベント検出数が所定の閾値以上、及び、イベント検出センサの画角に占める物体の領域が一定割合以上のとき、渋滞の発生と判断し、第１解像度モードから第２解像度モードに移行する、
　上記［Ａ－４］に記載の撮像装置。
［Ａ－１０］制御部は、第１解像度モードでの走行状態において、移動体の速度が所定の閾値以上、イベント検出センサによるイベント検出数が所定の閾値以上、及び、イベント検出センサの画角に占める物体の領域が一定割合以上のとき、高速道路の走行と判断し、第１解像度モードから第２解像度モードに移行する、
　上記［Ａ－４］に記載の撮像装置。
［Ａ－１１］制御部は、移動体の直進走行のとき第１解像度モードとし、進路変更があったとき第２解像度モードとする、
　上記［Ａ－４］に記載の撮像装置。
［Ａ－１２］制御部は、ステアリングの回転が一定角度以上で、かつ、イベント検出センサによるイベント検出数が所定の閾値以上のとき、移動体の進路変更と判断する、
　上記［Ａ－１１］に記載の撮像装置。
［Ａ－１３］制御部は、ステアリングの回転が一定角度以内で、かつ、イベント検出センサによるイベント検出数が所定の閾値未満のとき、移動体の直進走行と判断する、
　上記［Ａ－１１］に記載の撮像装置。
［Ａ－１４］制御部は、イベント検出センサにおける画素アレイ部の領域毎に、イベント検出センサの解像度を切り替える、
　上記［Ａ－４］乃至上記［Ａ－１３］のいずれかに記載の撮像装置。
＜Ｂ．撮像システム＞
［Ｂ－１］イベントを検出するイベント検出センサ、
　移動体の走行状態に応じて、イベント検出センサの解像度を切り替える制御部、及び、
　イベント検出センサから出力されるイベント信号に基づいて、イベントの認識処理を行う物体認識部を備える、
　撮像システム。
［Ｂ－２］イベント検出センサは、入射光を光電変換する画素の輝度変化が所定の閾値を超えたことをイベントとして検出する非同期型の撮像装置から成る、
　上記［Ｂ－１］に記載の撮像システム。
［Ｂ－３］移動体に搭載されて用いられる、
　上記［Ｂ－２］に記載の撮像システム。
［Ｂ－４］制御部は、移動体の走行状態に応じて、イベント検出センサの解像度を、解像度が相対的に低い第１解像度モード、又は、解像度が相対的に高い第２解像度モードに設定する、
　上記［Ｂ－３］に記載の撮像システム。
［Ｂ－５］制御部は、移動体の速度が一定の速度以上のとき第１解像度モードとし、移動体の速度が一定の速度未満のとき第２解像度モードとする、
　上記［Ｂ－４］に記載の撮像システム。
［Ｂ－６］制御部は、前方の物体との相対速度が一定の相対速度以上のとき第２解像度モードとし、前方の物体との相対速度が一定の相対速度未満のとき第１解像度モードとする、
　上記［Ｂ－４］に記載の撮像システム。
［Ｂ－７］制御部は、移動体の速度が一定の速度以上で、かつ、イベント検出センサによるイベント検出数が所定の閾値以上のとき第１解像度モードとし、移動体の速度が一定の速度未満で、かつ、イベント検出センサによるイベント検出数が所定の閾値未満のとき第２解像度モードとする、
　上記［Ｂ－４］に記載の撮像システム。
［Ｂ－８］制御部は、前方の物体との相対速度が一定の相対速度以上で、かつ、イベント検出センサによるイベント検出数が所定の閾値以上のとき第２解像度モードとし、前方の物体との相対速度が一定の相対速度未満で、かつ、イベント検出センサによるイベント検出数が所定の閾値未満のとき第１解像度モードとする、
　上記［Ｂ－４］に記載の撮像システム。
［Ｂ－９］制御部は、第１解像度モードでの走行状態において、移動体の速度が所定の閾値未満、イベント検出センサによるイベント検出数が所定の閾値以上、及び、イベント検出センサの画角に占める物体の領域が一定割合以上のとき、渋滞の発生と判断し、第１解像度モードから第２解像度モードに移行する、
　上記［Ｂ－４］に記載の撮像システム。
［Ｂ－１０］制御部は、第１解像度モードでの走行状態において、移動体の速度が所定の閾値以上、イベント検出センサによるイベント検出数が所定の閾値以上、及び、イベント検出センサの画角に占める物体の領域が一定割合以上のとき、高速道路の走行と判断し、第１解像度モードから第２解像度モードに移行する、
　上記［Ｂ－４］に記載の撮像システム。
［Ｂ－１１］制御部は、移動体の直進走行のとき第１解像度モードとし、進路変更があったとき第２解像度モードとする、
　上記［Ｂ－４］に記載の撮像システム。
［Ｂ－１２］制御部は、ステアリングの回転が一定角度以上で、かつ、イベント検出センサによるイベント検出数が所定の閾値以上のとき、移動体の進路変更と判断する、
　上記［Ｂ－１１］に記載の撮像システム。
［Ｂ－１３］制御部は、ステアリングの回転が一定角度以内で、かつ、イベント検出センサによるイベント検出数が所定の閾値未満のとき、移動体の直進走行と判断する、
　上記［Ｂ－１１］に記載の撮像システム。
［Ｂ－１４］制御部は、イベント検出センサにおける画素アレイ部の領域毎に、イベント検出センサの解像度を切り替える、
　上記［Ｂ－４］乃至上記［Ｂ－１３］のいずれかに記載の撮像システム。
［Ｂ－１５］所定のフレームレートで撮像を行う画像センサを備える、
　上記［Ｂ－１］乃至上記［Ｂ－１４］のいずれかに記載の撮像システム。
［Ｂ－１６］物体認識部は、画像センサから出力される画像データに基づいて、イベントの認識処理を行う、
　上記［Ｂ－１５］に記載の撮像システム。
［Ｂ－１７］制御部は、イベント検出センサから出力されるイベント信号のみで認識処理を行うことができないと判断したときは、イベントの認識処理、イベント検出センサから出力されるイベント信号、及び、画像センサから出力される画像データを用いる制御を行う、
　上記［Ｂ－１６］に記載の撮像システム。
［Ｂ－１８］制御部は、イベントの認識処理の結果を基に、イベント検出センサの画角において移動体として検知できるエリアを特定し、移動体として検知できるエリアが所定の閾値以上のとき、移動体の走行速度が所定の閾値未満を条件に、渋滞の発生と判断し、特定したエリアについて第２解像度モードとする、
　上記［Ｂ－１６］又は上記［Ｂ－１７］に記載の撮像システム。
［Ｂ－１９］制御部は、イベントの認識処理の結果を基に、イベント検出センサの画角において移動体として検知できるエリアを特定し、移動体として検知できるエリアが所定の閾値以上のとき、移動体の走行速度が所定の閾値以上を条件に、高速道路の走行と判断し、特定したエリアについて第２解像度モードとする、
　上記［Ｂ－１６］又は上記［Ｂ－１７］に記載の撮像システム。
　１Ａ・・・第１実施形態に係る撮像システム、１Ｂ・・・第２実施形態に係る撮像システム、１０・・・イベント検出センサ、１１・・・画素、１２・・・画素アレイ部、１３・・・駆動部、１４・・・アービタ部（調停部）、１５・・・カラム処理部、１６・・・信号処理部、２０・・・画像センサ、２１・・・画素、２２・・・画素アレイ部、２３・・・行選択部、２４・・・定電流源部、２５・・・アナログ－デジタル変換部、２６・・・水平転送走査部、２７・・・信号処理部、２８・・・タイミング制御部、３０・・・動き認識部、４０・・・物体認識部、５０・・・制御部、６０・・・オペレーションパターン定義部、７０・・・記録部

Claims (20)

  1. 　イベントを検出するイベント検出センサ、
    　イベント検出センサの制御を行う制御部を備え、
    　制御部は、移動体の走行状態に応じて、イベント検出センサの解像度を切り替える、
    　撮像装置。
  2. 　イベント検出センサは、入射光を光電変換する画素の輝度変化が所定の閾値を超えたことをイベントとして検出する非同期型の撮像装置から成る、
    　請求項１に記載の撮像装置。
  3. 　移動体に搭載されて用いられる、
    　請求項２に記載の撮像装置。
  4. 　制御部は、移動体の走行状態に応じて、イベント検出センサの解像度を、解像度が相対的に低い第１解像度モード、又は、解像度が相対的に高い第２解像度モードに設定する、
    　請求項３に記載の撮像装置。
  5. 　制御部は、移動体の速度が一定の速度以上のとき第１解像度モードとし、移動体の速度が一定の速度未満のとき第２解像度モードとする、
    　請求項４に記載の撮像装置。
  6. 　制御部は、前方の物体との相対速度が一定の相対速度以上のとき第２解像度モードとし、前方の物体との相対速度が一定の相対速度未満のとき第１解像度モードとする、
    　請求項４に記載の撮像装置。
  7. 　制御部は、移動体の速度が一定の速度以上で、かつ、イベント検出センサによるイベント検出数が所定の閾値以上のとき第１解像度モードとし、移動体の速度が一定の速度未満で、かつ、イベント検出センサによるイベント検出数が所定の閾値未満のとき第２解像度モードとする、
    　請求項４に記載の撮像装置。
  8. 　制御部は、前方の物体との相対速度が一定の相対速度以上で、かつ、イベント検出センサによるイベント検出数が所定の閾値以上のとき第２解像度モードとし、前方の物体との相対速度が一定の相対速度未満で、かつ、イベント検出センサによるイベント検出数が所定の閾値未満のとき第１解像度モードとする、
    　請求項４に記載の撮像装置。
  9. 　制御部は、第１解像度モードでの走行状態において、移動体の速度が所定の閾値未満、イベント検出センサによるイベント検出数が所定の閾値以上、及び、イベント検出センサの画角に占める物体の領域が一定割合以上のとき、渋滞の発生と判断し、第１解像度モードから第２解像度モードに移行する、
    　請求項４に記載の撮像装置。
  10. 　制御部は、第１解像度モードでの走行状態において、移動体の速度が所定の閾値以上、イベント検出センサによるイベント検出数が所定の閾値以上、及び、イベント検出センサの画角に占める物体の領域が一定割合以上のとき、高速道路の走行と判断し、第１解像度モードから第２解像度モードに移行する、
    　請求項４に記載の撮像装置。
  11. 　制御部は、移動体の直進走行のとき第１解像度モードとし、進路変更があったとき第２解像度モードとする、
    　請求項４に記載の撮像装置。
  12. 　制御部は、ステアリングの回転が一定角度以上で、かつ、イベント検出センサによるイベント検出数が所定の閾値以上のとき、移動体の進路変更と判断する、
    　請求項１１に記載の撮像装置。
  13. 　制御部は、ステアリングの回転が一定角度以内で、かつ、イベント検出センサによるイベント検出数が所定の閾値未満のとき、移動体の直進走行と判断する、
    　請求項１１に記載の撮像装置。
  14. 　制御部は、イベント検出センサにおける画素アレイ部の領域毎に、イベント検出センサの解像度を切り替える、
    　請求項４に記載の撮像装置。
  15. 　イベントを検出するイベント検出センサ、
    　移動体の走行状態に応じて、イベント検出センサの解像度を切り替える制御部、及び、
    　イベント検出センサから出力されるイベント信号に基づいて、イベントの認識処理を行う物体認識部を備える、
    　撮像システム。
  16. 　所定のフレームレートで撮像を行う画像センサを備える、
    　請求項１５に記載の撮像システム。
  17. 　物体認識部は、画像センサから出力される画像データに基づいて、イベントの認識処理を行う、
    　請求項１６に記載の撮像システム。
  18. 　制御部は、イベント検出センサから出力されるイベント信号のみで認識処理を行うことができないと判断したときは、イベントの認識処理、イベント検出センサから出力されるイベント信号、及び、画像センサから出力される画像データを用いる制御を行う、
    　請求項１７に記載の撮像システム。
  19. 　制御部は、イベントの認識処理の結果を基に、イベント検出センサの画角において移動体として検知できるエリアを特定し、移動体として検知できるエリアが所定の閾値以上のとき、移動体の走行速度が所定の閾値未満を条件に、渋滞の発生と判断し、特定したエリアについて第２解像度モードとする、
    　請求項１７に記載の撮像システム。
  20. 　制御部は、イベントの認識処理の結果を基に、イベント検出センサの画角において移動体として検知できるエリアを特定し、移動体として検知できるエリアが所定の閾値以上のとき、移動体の走行速度が所定の閾値以上を条件に、高速道路の走行と判断し、特定したエリアについて第２解像度モードとする、
    　請求項１７に記載の撮像システム。
PCT/JP2020/009635 2019-03-27 2020-03-06 撮像装置及び撮像システム WO2020195700A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080022994.0A CN113615152B (zh) 2019-03-27 2020-03-06 成像设备和成像系统
US17/440,830 US11895398B2 (en) 2019-03-27 2020-03-06 Imaging device and imaging system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-059696 2019-03-27
JP2019059696 2019-03-27

Publications (1)

Publication Number Publication Date
WO2020195700A1 true WO2020195700A1 (ja) 2020-10-01

Family

ID=72610061

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/009635 WO2020195700A1 (ja) 2019-03-27 2020-03-06 撮像装置及び撮像システム

Country Status (3)

Country Link
US (1) US11895398B2 (ja)
CN (1) CN113615152B (ja)
WO (1) WO2020195700A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023161006A1 (en) * 2022-02-28 2023-08-31 Sony Semiconductor Solutions Corporation Sensor device and method for operating a sensor device

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020161987A (ja) * 2019-03-27 2020-10-01 ソニー株式会社 車両用撮影システム
CN114270808A (zh) * 2019-07-26 2022-04-01 苹果公司 具有共享光电检测器的光强度和对比度变化检测能力的像素读出电路
JP7489189B2 (ja) * 2019-08-30 2024-05-23 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2021048554A (ja) * 2019-09-20 2021-03-25 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像制御方法、プログラム
JP2023032283A (ja) * 2021-08-26 2023-03-09 キヤノン株式会社 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013041481A (ja) * 2011-08-18 2013-02-28 Seiko Epson Corp 画像処理装置、画像処理システム、カメラ及びカメラシステム
JP2018005682A (ja) * 2016-07-05 2018-01-11 日立オートモティブシステムズ株式会社 画像処理装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7602413B2 (en) * 2002-10-18 2009-10-13 Sony Corporation Information processing system and method, information processing apparatus, image-capturing device and method, recording medium, and program
JP2007052114A (ja) * 2005-08-16 2007-03-01 Fujifilm Corp 撮影装置、撮影コントローラ、および撮影システム
JP4262263B2 (ja) * 2006-06-07 2009-05-13 キヤノン株式会社 撮像装置及びその制御方法
EP2574511B1 (en) 2011-09-30 2016-03-16 Honda Research Institute Europe GmbH Analyzing road surfaces
EP3159853B1 (en) * 2015-10-23 2019-03-27 Harman International Industries, Incorporated Systems and methods for advanced driver assistance analytics
JP6819042B2 (ja) * 2016-01-14 2021-01-27 ソニー株式会社 撮像制御装置、撮像制御方法、プログラム
JP6661856B2 (ja) * 2016-01-25 2020-03-11 株式会社ユピテル 装置およびプログラム
JP2018022935A (ja) * 2016-08-01 2018-02-08 ソニー株式会社 撮像装置、および、撮像装置の制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013041481A (ja) * 2011-08-18 2013-02-28 Seiko Epson Corp 画像処理装置、画像処理システム、カメラ及びカメラシステム
JP2018005682A (ja) * 2016-07-05 2018-01-11 日立オートモティブシステムズ株式会社 画像処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023161006A1 (en) * 2022-02-28 2023-08-31 Sony Semiconductor Solutions Corporation Sensor device and method for operating a sensor device

Also Published As

Publication number Publication date
CN113615152A (zh) 2021-11-05
US11895398B2 (en) 2024-02-06
US20220166925A1 (en) 2022-05-26
CN113615152B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
WO2020195966A1 (ja) 撮像システム及び撮像システムの制御方法、並びに、物体認識システム
WO2020195700A1 (ja) 撮像装置及び撮像システム
WO2020196092A1 (ja) 撮像システム及び撮像システムの制御方法、並びに、物体認識システム
US11683606B2 (en) Imaging device and electronic equipment
TWI788818B (zh) 攝像裝置及攝像方法
WO2020195822A1 (ja) 撮像システム
WO2022009664A1 (ja) 撮像装置及び撮像方法
WO2021153254A1 (ja) 撮像装置及び撮像方法
WO2019073726A1 (ja) 固体撮像素子、固体撮像素子の駆動方法、及び、電子機器
WO2021256095A1 (ja) 撮像装置及び撮像方法
WO2020246186A1 (ja) 撮像システム
WO2021153428A1 (ja) 撮像装置、電子機器及び撮像方法
WO2021235323A1 (ja) 撮像装置及び撮像方法
CN113647089B (zh) 成像系统
WO2022065032A1 (ja) 撮像装置及び撮像方法
WO2022239345A1 (ja) 撮像素子、撮像装置及び撮像素子の制御方法
WO2022209256A1 (ja) 撮像素子、撮像装置及び撮像素子の制御方法
WO2024106169A1 (ja) 光検出素子及び電子機器
WO2023181663A1 (ja) 比較器、増幅器及び固体撮像装置
WO2024070523A1 (ja) 光検出素子及び電子機器
US20240080587A1 (en) Solid-state imaging device and electronic instrument
WO2022186040A1 (ja) 撮像装置、その駆動方法、および電子機器
TW202401811A (zh) 光檢測裝置及電子機器
JP2023072098A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20779558

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20779558

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP