WO2024062842A1 - 固体撮像装置 - Google Patents

固体撮像装置 Download PDF

Info

Publication number
WO2024062842A1
WO2024062842A1 PCT/JP2023/030862 JP2023030862W WO2024062842A1 WO 2024062842 A1 WO2024062842 A1 WO 2024062842A1 JP 2023030862 W JP2023030862 W JP 2023030862W WO 2024062842 A1 WO2024062842 A1 WO 2024062842A1
Authority
WO
WIPO (PCT)
Prior art keywords
nth
solid
imaging device
state imaging
pixels
Prior art date
Application number
PCT/JP2023/030862
Other languages
English (en)
French (fr)
Inventor
知宏 高橋
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2024062842A1 publication Critical patent/WO2024062842A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection

Definitions

  • the present disclosure relates to a solid-state imaging device.
  • An image sensor is a sensor for acquiring an image including a subject
  • an event sensor (EVS: Event-based Vision Sensor) is a sensor for detecting a change in a subject.
  • EVS Event-based Vision Sensor
  • event sensors can set a higher frame rate than image sensors.
  • the event sensor is realized by a solid-state imaging device such as a CCD (Charge Coupled Device) sensor or a CMOS (Complementary Metal Oxide Semiconductor) sensor.
  • the arbiter-type EVS processes events in the order in which they are fired. Therefore, when a plurality of events occur simultaneously, processing wait time occurs during arbitration of these events.
  • the present disclosure provides a solid-state imaging device that can quickly process events.
  • a solid-state imaging device includes a plurality of pixels that detect an event, and each of the plurality of pixels belongs to one of the first to Nth (N is an integer of 2 or more) groups. , a pixel array area, and first to Nth arbiters provided for the first to Nth groups of pixels, the Kth (K is an integer satisfying 1 ⁇ K ⁇ N) arbiter; a first to N-th arbiter that receives a plurality of request signals output from a plurality of pixels of a group and outputs a request signal corresponding to one of the plurality of pixels of the K-th group;
  • the first to Nth latch sections are respectively provided for the pixels of the Nth group, and the Kth latch section reads a pixel value from a pixel corresponding to the request signal output from the Kth arbiter. 1 to Nth latch portions. This makes it possible to process events quickly, for example by reducing processing waiting time caused by event arbitration.
  • the plurality of pixels in the pixel array area may be arranged in a two-dimensional array along the first direction and the second direction. This makes it possible, for example, to detect an event using pixels arranged in a two-dimensional array and quickly process it.
  • the pixel array region includes a plurality of signal lines extending in the first direction and spaced apart from each other in the second direction, and each of the plurality of signal lines is connected to the first direction.
  • Each of the first to Nth group signal lines belonging to one of the Nth groups transfers the request signal output from the first to Nth group pixels to the first to Nth arbiter. Good too. This makes it possible to quickly process events by, for example, grouping signal lines in the same way as pixels.
  • each of the first to Nth groups includes two or more signal lines, and each signal line of the Kth group is connected to a signal line other than the Kth group. They may be adjacent in two directions. This makes it possible, for example, to prevent pixels of the same group from being arranged closely together.
  • the pixel array region includes a plurality of readout lines extending in the second direction and spaced apart from each other in the first direction, and each of the plurality of readout lines is separated from the first direction.
  • Each of the readout lines of the first to Nth groups belonging to one of the Nth groups transfers the pixel values output from the pixels of the first to Nth groups to the first to Nth latch sections. It's okay. As a result, for example, by grouping readout lines in the same way as pixels, it becomes possible to process events quickly.
  • the first to Nth arbiters may be arranged in the first direction of the pixel array region. This makes it possible, for example, to place the arbiter in a location where it can be easily connected to the signal line.
  • the first to Nth arbiters may be arranged in parallel with each other in the pixel array region. This makes it possible, for example, to arrange each of the first to Nth arbiters near the pixel array area.
  • the first to Nth latch portions may be arranged in the second direction of the pixel array region. This makes it possible, for example, to arrange the latch section at a location where it can be easily connected to the readout line.
  • each of the first to Nth latch portions may be arranged in series with the first to Nth arbiters in the pixel array region. This makes it possible, for example, to associate the first to Nth latch sections with the first to Nth arbiters, respectively.
  • the K-th latch unit responds to the request signal output from the K-th arbiter by outputting an acknowledge signal for the request signal output from the K-th arbiter.
  • the pixel value may be read from the pixel. This allows the latch section to control the operation of the pixel using, for example, an acknowledge signal.
  • the solid-state imaging device of the first aspect may further include first to Nth time stamp units that respectively apply time stamps to events detected by the first to Nth groups of pixels. This makes it possible, for example, to specify events not only by pixel values and coordinates but also by time.
  • the first to Nth time stamp units may operate based on a common clock signal. This makes it possible, for example, to synchronize the operations of the first to Nth time stamp sections.
  • the first to Nth time stamp units may be disposed within the first to Nth latch units, respectively. This makes it possible, for example, for the latch unit to handle various information related to an event, including a time stamp.
  • each of the first to Nth time stamp sections may be arranged between the pixel array region and the first to Nth arbiter. This makes it possible, for example, to handle time stamps near the pixel array area where the event occurs.
  • the first to Nth time stamp sections may respectively apply the time stamps using a request signal output from the first to Nth groups of pixels as a trigger. This makes it possible, for example, to add a timestamp in a short time after the event occurs.
  • each of the first to N-th arbiters uses the acknowledge signal output from the first to N-th latch sections as a trigger to transfer the time stamps from the first to N-th time stamp sections. You may also read out the stamp. This makes it possible, for example, to read out a time stamp in a short time after it is assigned.
  • the pixel array region includes a first region and a second region, and the first to Nth arbiters are configured to include first to Nth arbiters for the first region, and the first to Nth arbiters for the first region; and a first to Nth arbiter for the second area, and the first to Nth latch parts include first to Nth arbiters for the second area and first to Nth arbiters for the second area.
  • N latch portion This makes it possible, for example, to manage the pixel array area by dividing it into two areas.
  • the first to Nth arbiters are spaced apart from the pixel array area in a first direction
  • the first to Nth latch parts are spaced apart from the pixel array area and the second arbiter.
  • the first region and the second region may be spaced apart from each other in the first direction. This makes it possible, for example, to divide the pixel array area by so-called left-right division.
  • the pixel array region includes a third region and a fourth region, and a portion of the first to Nth latch portions are arranged near the third region, Another part of the first to Nth latch parts may be arranged near the fourth region. This makes it possible, for example, to manage the pixel array area by dividing it into two areas.
  • the first to Nth arbiters are spaced apart from the pixel array region in a first direction
  • the first to Nth latch parts are spaced apart from the pixel array region in a second direction
  • the third region and the fourth region may be spaced apart from each other in the second direction. This makes it possible, for example, to divide the pixel array area by so-called upper and lower division.
  • FIG. 1 is a block diagram showing a configuration of a vehicle 1 according to a first embodiment.
  • FIG. 2 is a plan view showing a sensing area of the vehicle 1 according to the first embodiment.
  • 1 is a block diagram showing a configuration of a solid-state imaging device according to a first embodiment;
  • FIG. 2 is a block diagram showing the configuration of a solid-state imaging device as a comparative example of the first embodiment.
  • FIG. 3 is a diagram for explaining the operation of the solid-state imaging device of the first embodiment.
  • 7 is a graph for comparing the operation of the solid-state imaging device of the first embodiment and the operation of a solid-state imaging device of a comparative example of the first embodiment.
  • FIG. 1 is a block diagram showing a first configuration example of a solid-state imaging device according to a first embodiment.
  • FIG. FIG. 2 is a block diagram showing a second configuration example of the solid-state imaging device of the first embodiment.
  • FIG. 2 is a circuit diagram showing a configuration example of an arbiter 103a according to the first embodiment.
  • FIG. 2 is a circuit diagram showing a first configuration example of a time stamp circuit according to the first embodiment.
  • FIG. 3 is a circuit diagram showing a second configuration example of the time stamp circuit of the first embodiment.
  • FIG. 2 is a block diagram showing the configuration of a solid-state imaging device according to a second embodiment.
  • FIG. 3 is a block diagram showing the configuration of a solid-state imaging device according to a third embodiment.
  • FIG. 3 is a block diagram showing the configuration of a solid-state imaging device according to a fourth embodiment.
  • FIG. 1 is a block diagram showing the configuration of a vehicle 1 according to the first embodiment.
  • FIG. 1 shows a configuration example of a vehicle control system 11, which is an example of a mobile device control system.
  • the vehicle control system 11 is provided in the vehicle 1 and performs processing related to driving assistance and autonomous driving of the vehicle 1.
  • the vehicle control system 11 includes a vehicle control ECU (Electronic Control Unit) 21, a communication unit 22, a map information storage unit 23, a position information acquisition unit 24, an external recognition sensor 25, an in-vehicle sensor 26, a vehicle sensor 27, a storage unit 31, and a driving unit. It includes a support/automatic driving control section 32, a DMS (Driver Monitoring System) 33, an HMI (Human Machine Interface) 34, and a vehicle control section 35.
  • a vehicle control ECU Electronic Control Unit
  • a communication unit 22 includes a communication unit 22, a map information storage unit 23, a position information acquisition unit 24, an external recognition sensor 25, an in-vehicle sensor 26, a vehicle sensor 27, a storage unit 31, and a driving unit.
  • It includes a support/automatic driving control section 32, a DMS (Driver Monitoring System) 33, an HMI (Human Machine Interface) 34, and a vehicle control section 35.
  • DMS Driver Monitoring System
  • HMI Human Machine Interface
  • Vehicle control ECU 21, communication unit 22, map information storage unit 23, position information acquisition unit 24, external recognition sensor 25, in-vehicle sensor 26, vehicle sensor 27, storage unit 31, driving support/automatic driving control unit 32, driver monitoring system ( DMS) 33, human machine interface (HMI) 34, and vehicle control unit 35 are connected to each other via a communication network 41 so that they can communicate with each other.
  • the communication network 41 is, for example, an in-vehicle network compliant with digital two-way communication standards such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), FlexRay (registered trademark), and Ethernet (registered trademark). It consists of communication networks, buses, etc.
  • the communication network 41 may be used depending on the type of data to be transmitted.
  • CAN may be applied to data related to vehicle control
  • Ethernet may be applied to large-capacity data.
  • each part of the vehicle control system 11 uses wireless communication that assumes communication over a relatively short distance, such as near field communication (NFC) or Bluetooth (registered trademark), without going through the communication network 41. In some cases, the connection may be made directly using the .
  • NFC near field communication
  • Bluetooth registered trademark
  • the vehicle control ECU 21 includes various processors such as a CPU (Central Processing Unit) and an MPU (Micro Processing Unit).
  • the vehicle control ECU 21 controls the entire or part of the functions of the vehicle control system 11.
  • the communication unit 22 communicates with various devices inside and outside the vehicle, other vehicles, servers, base stations, etc., and transmits and receives various data. At this time, the communication unit 22 can perform communication using a plurality of communication methods.
  • the communication unit 22 communicates with servers (hereinafter referred to as external servers) on an external network via base stations or access points using wireless communication methods such as 5G (fifth generation mobile communication system), LTE (Long Term Evolution), and DSRC (Dedicated Short Range Communications).
  • the external network with which the communication unit 22 communicates is, for example, the Internet, a cloud network, or an operator-specific network.
  • the communication method that the communication unit 22 uses with the external network is not particularly limited as long as it is a wireless communication method that allows digital two-way communication at a communication speed equal to or higher than a predetermined distance.
  • the communication unit 22 can communicate with a terminal located near the own vehicle using P2P (Peer To Peer) technology.
  • Terminals that exist near your vehicle include, for example, terminals worn by moving objects that move at relatively low speeds such as pedestrians and bicycles, terminals that are installed at fixed locations in stores, or MTC (Machine Type Communication) terminal.
  • the communication unit 22 can also perform V2X communication.
  • V2X communication includes, for example, vehicle-to-vehicle communication with other vehicles, vehicle-to-infrastructure communication with roadside equipment, and vehicle-to-home communication. , and communications between one's own vehicle and others, such as vehicle-to-pedestrian communications with terminals, etc. carried by pedestrians.
  • the communication unit 22 can receive, for example, a program for updating software that controls the operation of the vehicle control system 11 from the outside (over the air).
  • the communication unit 22 can further receive map information, traffic information, information about the surroundings of the vehicle 1, etc. from the outside. Further, for example, the communication unit 22 can transmit information regarding the vehicle 1, information around the vehicle 1, etc. to the outside.
  • the information regarding the vehicle 1 that the communication unit 22 transmits to the outside includes, for example, data indicating the state of the vehicle 1, recognition results by the recognition unit 73, and the like. Further, for example, the communication unit 22 performs communication compatible with a vehicle emergency notification system such as e-call.
  • the communication unit 22 receives electromagnetic waves transmitted by a road traffic information communication system (VICS (Vehicle Information and Communication System) (registered trademark)) such as a radio beacon, an optical beacon, and FM multiplex broadcasting.
  • VICS Vehicle Information and Communication System
  • the communication unit 22 can communicate with each device in the vehicle using, for example, wireless communication.
  • the communication unit 22 performs wireless communication with devices in the vehicle using a communication method such as wireless LAN, Bluetooth, NFC, or WUSB (Wireless USB) that allows digital two-way communication at a communication speed higher than a predetermined communication speed. Can be done.
  • the communication unit 22 is not limited to this, and can also communicate with each device in the vehicle using wired communication.
  • the communication unit 22 can communicate with each device in the vehicle through wired communication via a cable connected to a connection terminal (not shown).
  • the communication unit 22 performs digital two-way communication at a predetermined communication speed or higher through wired communication, such as USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface) (registered trademark), and MHL (Mobile High-definition Link). It is possible to communicate with each device in the car using a communication method that allows for communication.
  • USB Universal Serial Bus
  • HDMI High-Definition Multimedia Interface
  • MHL Mobile High-definition Link
  • the in-vehicle equipment refers to, for example, equipment that is not connected to the communication network 41 inside the car.
  • in-vehicle devices include mobile devices and wearable devices carried by passengers such as drivers, information devices brought into the vehicle and temporarily installed, and the like.
  • the map information storage unit 23 stores one or both of a map acquired from the outside and a map created by the vehicle 1.
  • the map information storage unit 23 stores three-dimensional high-precision maps, global maps that are less accurate than high-precision maps, and cover a wide area, and the like.
  • Examples of high-precision maps include dynamic maps, point cloud maps, vector maps, etc.
  • the dynamic map is, for example, a map consisting of four layers of dynamic information, semi-dynamic information, semi-static information, and static information, and is provided to the vehicle 1 from an external server or the like.
  • a point cloud map is a map composed of point clouds (point cloud data).
  • a vector map is a map that is compatible with ADAS (Advanced Driver Assistance System) and AD (Autonomous Driving) by associating traffic information such as lanes and traffic light positions with a point cloud map.
  • the point cloud map and vector map may be provided, for example, from an external server or the like, or may be used as a map for matching with a local map, which will be described later, based on sensing results from the camera 51, radar 52, LiDAR 53, etc. It may be created in the vehicle 1 and stored in the map information storage section 23. Furthermore, when a high-precision map is provided from an external server, etc., map data of, for example, several hundred meters square regarding the planned route that the vehicle 1 will travel from now on is obtained from the external server, etc. in order to reduce communication capacity. .
  • the position information acquisition unit 24 receives a GNSS signal from a GNSS (Global Navigation Satellite System) satellite and acquires position information of the vehicle 1.
  • the acquired position information is supplied to the driving support/automatic driving control section 32.
  • the location information acquisition unit 24 is not limited to the method using GNSS signals, and may acquire location information using a beacon, for example.
  • the external recognition sensor 25 includes various sensors used to recognize the external situation of the vehicle 1, and supplies sensor data from each sensor to each part of the vehicle control system 11.
  • the type and number of sensors included in the external recognition sensor 25 are arbitrary.
  • the external recognition sensor 25 includes a camera 51, a radar 52, a LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) 53, and an ultrasonic sensor 54.
  • the external recognition sensor 25 may be configured to include one or more types of sensors among the camera 51, the radar 52, the LiDAR 53, and the ultrasonic sensor 54.
  • the number of cameras 51, radars 52, LiDAR 53, and ultrasonic sensors 54 is not particularly limited as long as it is a number that can be realistically installed on the vehicle 1.
  • the types of sensors included in the external recognition sensor 25 are not limited to this example, and the external recognition sensor 25 may include other types of sensors. Examples of the sensing areas of each sensor included in the external recognition sensor 25 will be described later.
  • the photographing method of the camera 51 is not particularly limited.
  • cameras with various shooting methods such as a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, and an infrared camera that can perform distance measurement can be applied to the camera 51 as necessary.
  • the camera 51 is not limited to this, and the camera 51 may simply be used to acquire photographed images, regardless of distance measurement.
  • the external recognition sensor 25 can include an environment sensor for detecting the environment for the vehicle 1.
  • the environmental sensor is a sensor for detecting the environment such as weather, meteorology, brightness, etc., and can include various sensors such as a raindrop sensor, a fog sensor, a sunlight sensor, a snow sensor, and an illuminance sensor.
  • the external recognition sensor 25 includes a microphone used to detect sounds around the vehicle 1 and the position of the sound source.
  • the in-vehicle sensor 26 includes various sensors for detecting information inside the vehicle, and supplies sensor data from each sensor to each part of the vehicle control system 11.
  • the types and number of various sensors included in the in-vehicle sensor 26 are not particularly limited as long as they can be realistically installed in the vehicle 1.
  • the in-vehicle sensor 26 can include one or more types of sensors among a camera, radar, seating sensor, steering wheel sensor, microphone, and biological sensor.
  • the camera included in the in-vehicle sensor 26 it is possible to use cameras of various photographing methods capable of distance measurement, such as a ToF camera, a stereo camera, a monocular camera, and an infrared camera.
  • the present invention is not limited to this, and the camera included in the in-vehicle sensor 26 may simply be used to acquire photographed images, regardless of distance measurement.
  • a biosensor included in the in-vehicle sensor 26 is provided, for example, on a seat, a steering wheel, or the like, and detects various biometric information of a passenger such as a driver.
  • the vehicle sensor 27 includes various sensors for detecting the state of the vehicle 1, and supplies sensor data from each sensor to each part of the vehicle control system 11.
  • the types and number of various sensors included in the vehicle sensor 27 are not particularly limited as long as they can be realistically installed in the vehicle 1.
  • the vehicle sensor 27 includes a speed sensor, an acceleration sensor, an angular velocity sensor (gyro sensor), and an inertial measurement unit (IMU) that integrates these.
  • the vehicle sensor 27 includes a steering angle sensor that detects the steering angle of the steering wheel, a yaw rate sensor, an accelerator sensor that detects the amount of operation of the accelerator pedal, and a brake sensor that detects the amount of operation of the brake pedal.
  • the vehicle sensor 27 includes a rotation sensor that detects the rotation speed of an engine or motor, an air pressure sensor that detects tire air pressure, a slip rate sensor that detects tire slip rate, and a wheel speed sensor that detects wheel rotation speed. Equipped with a sensor.
  • the vehicle sensor 27 includes a battery sensor that detects the remaining battery power and temperature, and an impact sensor that detects an external impact.
  • the storage unit 31 includes at least one of a nonvolatile storage medium and a volatile storage medium, and stores data and programs.
  • the storage unit 31 is used, for example, as an EEPROM (Electrically Erasable Programmable Read Only Memory) and a RAM (Random Access Memory), and the storage medium includes a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, Also, a magneto-optical storage device can be applied.
  • the storage unit 31 stores various programs and data used by each part of the vehicle control system 11.
  • the storage unit 31 includes an EDR (Event Data Recorder) and a DSSAD (Data Storage System for Automated Driving), and stores information on the vehicle 1 before and after an event such as an accident and information acquired by the in-vehicle sensor 26.
  • EDR Event Data Recorder
  • DSSAD Data Storage System for Automated Driving
  • the driving support/automatic driving control unit 32 controls driving support and automatic driving of the vehicle 1.
  • the driving support/automatic driving control section 32 includes an analysis section 61, an action planning section 62, and an operation control section 63.
  • the analysis unit 61 performs analysis processing of the vehicle 1 and the surrounding situation.
  • the analysis section 61 includes a self-position estimation section 71, a sensor fusion section 72, and a recognition section 73.
  • the self-position estimation unit 71 estimates the self-position of the vehicle 1 based on the sensor data from the external recognition sensor 25 and the high-precision map stored in the map information storage unit 23. For example, the self-position estimating unit 71 estimates the self-position of the vehicle 1 by generating a local map based on sensor data from the external recognition sensor 25 and matching the local map with a high-precision map. The position of the vehicle 1 is, for example, based on the center of the rear wheels versus the axle.
  • the local map is, for example, a three-dimensional high-precision map created using technology such as SLAM (Simultaneous Localization and Mapping), an occupancy grid map, or the like.
  • the three-dimensional high-precision map is, for example, the above-mentioned point cloud map.
  • the occupancy grid map is a map that divides the three-dimensional or two-dimensional space around the vehicle 1 into grids (grids) of a predetermined size and shows the occupancy state of objects in grid units.
  • the occupancy state of an object is indicated by, for example, the presence or absence of the object or the probability of its existence.
  • the local map is also used, for example, in the detection process and recognition process of the external situation of the vehicle 1 by the recognition unit 73.
  • the self-position estimation unit 71 may estimate the self-position of the vehicle 1 based on the position information acquired by the position information acquisition unit 24 and sensor data from the vehicle sensor 27.
  • the sensor fusion unit 72 performs sensor fusion processing to obtain new information by combining a plurality of different types of sensor data (for example, image data supplied from the camera 51 and sensor data supplied from the radar 52). .
  • Methods for combining different types of sensor data include integration, fusion, and federation.
  • the recognition unit 73 executes a detection process for detecting the external situation of the vehicle 1 and a recognition process for recognizing the external situation of the vehicle 1.
  • the recognition unit 73 performs detection processing and recognition processing of the external situation of the vehicle 1 based on information from the external recognition sensor 25, information from the self-position estimation unit 71, information from the sensor fusion unit 72, etc. .
  • the recognition unit 73 performs detection processing and recognition processing of objects around the vehicle 1.
  • Object detection processing is, for example, processing for detecting the presence or absence, size, shape, position, movement, etc. of an object.
  • the object recognition process is, for example, a process of recognizing attributes such as the type of an object or identifying a specific object.
  • detection processing and recognition processing are not necessarily clearly separated, and may overlap.
  • the recognition unit 73 detects objects around the vehicle 1 by performing clustering to classify point clouds based on sensor data from the radar 52, LiDAR 53, etc. into point clouds. As a result, the presence, size, shape, and position of objects around the vehicle 1 are detected.
  • the recognition unit 73 detects the movement of objects around the vehicle 1 by performing tracking that follows the movement of a group of points classified by clustering. As a result, the speed and traveling direction (movement vector) of objects around the vehicle 1 are detected.
  • the recognition unit 73 detects or recognizes vehicles, people, bicycles, obstacles, structures, roads, traffic lights, traffic signs, road markings, etc. based on the image data supplied from the camera 51. Further, the recognition unit 73 may recognize the types of objects around the vehicle 1 by performing recognition processing such as semantic segmentation.
  • the recognition unit 73 uses the map stored in the map information storage unit 23, the self-position estimation result by the self-position estimating unit 71, and the recognition result of objects around the vehicle 1 by the recognition unit 73 to Recognition processing of traffic rules around the vehicle 1 can be performed. Through this processing, the recognition unit 73 can recognize the positions and states of traffic lights, the contents of traffic signs and road markings, the contents of traffic regulations, the lanes in which the vehicle can travel, and the like.
  • the recognition unit 73 can perform recognition processing of the environment around the vehicle 1.
  • the surrounding environment to be recognized by the recognition unit 73 includes weather, temperature, humidity, brightness, road surface conditions, and the like.
  • the action planning unit 62 creates an action plan for the vehicle 1. For example, the action planning unit 62 creates an action plan by performing route planning and route following processing.
  • global path planning is a process of planning a rough route from the start to the goal.
  • This route planning is called trajectory planning, and involves generating a trajectory (local path planning) that allows the vehicle to proceed safely and smoothly in the vicinity of the vehicle 1, taking into account the motion characteristics of the vehicle 1 on the planned route. It also includes the processing to be performed.
  • Route following is a process of planning actions to safely and accurately travel the route planned by route planning within the planned time.
  • the action planning unit 62 can calculate the target speed and target angular velocity of the vehicle 1, for example, based on the results of this route following process.
  • the motion control unit 63 controls the motion of the vehicle 1 in order to realize the action plan created by the action planning unit 62.
  • the operation control unit 63 controls a steering control unit 81, a brake control unit 82, and a drive control unit 83 included in the vehicle control unit 35, which will be described later, so that the vehicle 1 follows the trajectory calculated by the trajectory plan. Acceleration/deceleration control and direction control are performed to move forward.
  • the operation control unit 63 performs cooperative control aimed at realizing ADAS functions such as collision avoidance or shock mitigation, follow-up driving, vehicle speed maintenance driving, self-vehicle collision warning, and lane departure warning for self-vehicle.
  • the operation control unit 63 performs cooperative control for the purpose of automatic driving, etc., in which the vehicle autonomously travels without depending on the driver's operation.
  • the DMS 33 performs driver authentication processing, recognition processing of the driver's state, etc. based on sensor data from the in-vehicle sensor 26, input data input to the HMI 34, which will be described later, and the like.
  • the driver's condition to be recognized includes, for example, physical condition, alertness level, concentration level, fatigue level, line of sight, drunkenness level, driving operation, posture, etc.
  • the DMS 33 may perform authentication processing for passengers other than the driver and recognition processing for the state of the passenger. Further, for example, the DMS 33 may perform recognition processing of the situation inside the vehicle based on sensor data from the in-vehicle sensor 26.
  • the conditions inside the vehicle that are subject to recognition include, for example, temperature, humidity, brightness, and odor.
  • HMI34 The HMI 34 inputs various data and instructions, and presents various data to the driver and the like.
  • the HMI 34 includes an input device for a person to input data.
  • the HMI 34 generates input signals based on data, instructions, etc. input by the input device, and supplies them to each part of the vehicle control system 11 .
  • the HMI 34 includes operators such as a touch panel, buttons, switches, and levers as input devices.
  • the present invention is not limited to this, and the HMI 34 may further include an input device capable of inputting information by a method other than manual operation using voice, gesture, or the like.
  • the HMI 34 may use, as an input device, an externally connected device such as a remote control device using infrared rays or radio waves, or a mobile device or wearable device that supports operation of the vehicle control system 11.
  • the HMI 34 generates visual information, auditory information, and tactile information for the passenger or the outside of the vehicle. Further, the HMI 34 performs output control to control the output, output content, output timing, output method, etc. of each generated information.
  • the HMI 34 generates and outputs, as visual information, information shown by images and lights, such as an operation screen, a status display of the vehicle 1, a warning display, and a monitor image showing the surrounding situation of the vehicle 1, for example.
  • the HMI 34 generates and outputs, as auditory information, information indicated by sounds such as audio guidance, warning sounds, and warning messages.
  • the HMI 34 generates and outputs, as tactile information, information given to the passenger's tactile sense by, for example, force, vibration, movement, or the like.
  • an output device for the HMI 34 to output visual information for example, a display device that presents visual information by displaying an image or a projector device that presents visual information by projecting an image can be applied.
  • display devices that display visual information within the passenger's field of vision include, for example, a head-up display, a transparent display, and a wearable device with an AR (Augmented Reality) function. It may be a device.
  • the HMI 34 can also use a display device included in a navigation device, an instrument panel, a CMS (Camera Monitoring System), an electronic mirror, a lamp, etc. provided in the vehicle 1 as an output device that outputs visual information.
  • the output device through which the HMI 34 outputs auditory information can be, for example, an audio speaker, headphones, or earphones.
  • Haptic elements using haptic technology can be used as output devices for the HMI 34 to output haptic information.
  • Haptic elements are provided on parts of the vehicle 1 that are in contact with passengers, such as the steering wheel and the seat.
  • the vehicle control unit 35 controls each part of the vehicle 1.
  • the vehicle control section 35 includes a steering control section 81 , a brake control section 82 , a drive control section 83 , a body system control section 84 , a light control section 85 , and a horn control section 86 .
  • the steering control unit 81 detects and controls the state of the steering system of the vehicle 1.
  • the steering system includes, for example, a steering mechanism including a steering wheel, an electric power steering, and the like.
  • the steering control unit 81 includes, for example, a steering ECU that controls the steering system, an actuator that drives the steering system, and the like.
  • the brake control unit 82 detects and controls the state of the brake system of the vehicle 1.
  • the brake system includes, for example, a brake mechanism including a brake pedal, an ABS (Antilock Brake System), a regenerative brake mechanism, and the like.
  • the brake control unit 82 includes, for example, a brake ECU that controls the brake system, an actuator that drives the brake system, and the like.
  • the drive control unit 83 detects and controls the state of the drive system of the vehicle 1.
  • the drive system includes, for example, an accelerator pedal, a drive force generation device such as an internal combustion engine or a drive motor, and a drive force transmission mechanism for transmitting the drive force to the wheels.
  • the drive control unit 83 includes, for example, a drive ECU that controls the drive system, an actuator that drives the drive system, and the like.
  • the body system control unit 84 detects and controls the state of the body system of the vehicle 1.
  • the body system includes, for example, a keyless entry system, a smart key system, a power window device, a power seat, an air conditioner, an air bag, a seat belt, a shift lever, and the like.
  • the body system control unit 84 includes, for example, a body system ECU that controls the body system, an actuator that drives the body system, and the like.
  • the light control unit 85 detects and controls the states of various lights on the vehicle 1. Examples of lights to be controlled include headlights, backlights, fog lights, turn signals, brake lights, projections, bumper displays, and the like.
  • the light control unit 85 includes a light ECU that controls the lights, an actuator that drives the lights, and the like.
  • the horn control unit 86 detects and controls the state of the car horn of the vehicle 1.
  • the horn control unit 86 includes, for example, a horn ECU that controls the car horn, an actuator that drives the car horn, and the like.
  • FIG. 2 is a plan view showing the sensing area of the vehicle 1 of the first embodiment.
  • FIG. 2 shows an example of a sensing area by the camera 51, radar 52, LiDAR 53, ultrasonic sensor 54, etc. of the external recognition sensor 25 in FIG. 1.
  • FIG. 2 schematically shows the vehicle 1 viewed from above, with the left end side being the front end (front) side of the vehicle 1, and the right end side being the rear end (rear) side of the vehicle 1.
  • Sensing area 1-1F and sensing area 1-1B are examples of sensing areas of the ultrasonic sensors 54.
  • the sensing area 1-1F covers the periphery of the front end of the vehicle 1 with a plurality of ultrasonic sensors 54.
  • the sensing area 1-1B covers the periphery of the rear end of the vehicle 1 with a plurality of ultrasonic sensors 54.
  • the sensing results in the sensing area 1-1F and the sensing area 1-1B are used, for example, for parking assistance for the vehicle 1.
  • Sensing regions 1-2F and 1-2B are examples of sensing regions of the short-range or medium-range radar 52.
  • the sensing area 1-2F covers the front of the vehicle 1 to a position farther than the sensing area 1-1F.
  • the sensing area 1-2B covers a position further away from the sensing area 1-1B at the rear of the vehicle 1.
  • the sensing region 1-2L covers the rear periphery of the left side of the vehicle 1.
  • the sensing region 1-2R covers the rear periphery of the right side of the vehicle 1.
  • the sensing results in the sensing area 1-2F are used, for example, to detect vehicles, pedestrians, etc. that are present in front of the vehicle 1.
  • the sensing results in the sensing area 1-2B are used, for example, for a collision prevention function at the rear of the vehicle 1.
  • the sensing results in the sensing region 1-2L and the sensing region 1-2R are used, for example, to detect an object in a blind spot on the side of the vehicle 1.
  • Sensing areas 1-3F to 1-3B are examples of sensing areas by the camera 51.
  • the sensing area 1-3F covers the front of the vehicle 1 to a position farther than the sensing area 1-2F.
  • Sensing area 1-3B covers the rear of vehicle 1 to a position farther than sensing area 1-2B.
  • the sensing region 1-3L covers the periphery of the left side of the vehicle 1.
  • the sensing region 1-3R covers the periphery of the right side of the vehicle 1.
  • the sensing results in the sensing areas 1-3F can be used, for example, for recognition of traffic lights and traffic signs, lane departure prevention support systems, and automatic headlight control systems.
  • Sensing results in sensing regions 1-3B can be used, for example, in parking assistance and surround view systems.
  • the sensing results in the sensing region 1-3L and the sensing region 1-3R can be used, for example, in a surround view system.
  • Sensing area 1-4 shows an example of the sensing area of LiDAR 53.
  • the sensing area 1-4 covers the front of the vehicle 1 to a position farther than the sensing area 1-3F.
  • the sensing area 1-4 has a narrower range in the left-right direction than the sensing area 1-3F.
  • the sensing results in the sensing area 1-4 are used, for example, to detect objects such as surrounding vehicles.
  • Sensing area 1-5 shows an example of a sensing area of the long-distance radar 52.
  • the sensing area 1-5 covers the front of the vehicle 1 to a position farther than the sensing area 1-4.
  • the sensing region 1-5 has a narrower range in the left-right direction than the sensing region 1-4.
  • sensing results in sensing areas 1-5 are used, for example, for ACC (Adaptive Cruise Control), emergency braking, collision avoidance, etc.
  • ACC Adaptive Cruise Control
  • emergency braking braking
  • collision avoidance etc.
  • the sensing areas of the cameras 51, radar 52, LiDAR 53, and ultrasonic sensors 54 included in the external recognition sensor 25 may have various configurations other than those shown in FIG. 2.
  • the ultrasonic sensor 54 may also sense the side of the vehicle 1, or the LiDAR 53 may sense the rear of the vehicle 1.
  • the installation position of each sensor is not limited to each example mentioned above. Further, the number of each sensor may be one or more than one.
  • FIG. 3 is a block diagram showing the configuration of the solid-state imaging device of the first embodiment.
  • the solid-state imaging device of this embodiment is provided in the vehicle 1 shown in FIG. 1, and is included in the external recognition sensor 25, for example.
  • the solid-state imaging device of this embodiment is an EVS for detecting changes in a subject. Examples of objects in this embodiment include people, vehicles, obstacles, etc. that exist in front of the vehicle 1.
  • the solid-state imaging device of this embodiment includes a pixel array region 102 including a plurality of pixels 101, a plurality of arbiters 103a to 103d, a plurality of latch sections 104a to 104d, and a plurality of signal lines 105a. 105d, a plurality of readout lines 106a to 106d, and a plurality of signal lines 107a to 107d.
  • Each of the arbiters 103a to 103d is also referred to as an "arbiter 103" as appropriate
  • each of the latch sections 104a to 104d is also referred to as a "latch section 104" as appropriate.
  • each of the signal lines 105a to 105d, each of the readout lines 106a to 106d, and the signal lines 107a to 107d are also referred to as “signal line 105,” “readout line 106,” and “signal line 107,” respectively, as appropriate.
  • FIG. 3 shows X, Y, and Z axes that are perpendicular to each other.
  • the X direction and the Y direction correspond to the horizontal direction
  • the Z direction corresponds to the vertical direction.
  • the +Z direction corresponds to the upward direction
  • the -Z direction corresponds to the downward direction. Note that the -Z direction may or may not strictly match the direction of gravity.
  • the ⁇ X direction is an example of the first direction of the present disclosure
  • the ⁇ Y direction is an example of the second direction of the present disclosure.
  • the X direction corresponds to the row direction (horizontal direction) of the pixel array region 102
  • the Y direction corresponds to the column direction (vertical direction) of the pixel array region 102.
  • Each pixel 101 in this embodiment has a function of detecting events such as on-events and off-events.
  • the on event is fired when the brightness of the pixel 101 increases and the absolute value of the amount of change (increase) in brightness is greater than a threshold value.
  • An off event is fired when the brightness of the pixel 101 decreases and the absolute value of the amount of change (decreased amount) in brightness is greater than a threshold value. For example, an on event is fired when a subject enters the pixel 101, and an off event is fired when a subject leaves the pixel 101.
  • Signal lines 105a to 105d are arranged inside and outside of pixel array region 102, and are electrically connected to arbiters 103a to 103d, respectively. Inside the pixel array region 102, signal lines 105a to 105d extend in the X direction and are spaced apart from each other in the Y direction. In FIG. 3, in order to distinguish the signal lines 105a to 105d from each other, the signal lines 105a, 105b, 105c, and 105d are illustrated as "thick solid lines,”"thick broken lines,”"thin solid lines,” and “thin broken lines,” respectively (the same applies hereafter). ).
  • Each of the signal lines 105a to 105d is arranged at a position overlapping one row of 12 pixels 101 in the Z direction, and is electrically connected to these pixels 101.
  • one signal line 105a arranged at the end of the pixel array area 102 in the +Y direction connects one row of 12 pixels 101 arranged at the end of the pixel array area 102 in the +Y direction. electrically connected.
  • This signal line 105a may be arranged in the +Z direction of these pixels 101, or may be arranged in the -Z direction of these pixels 101. This also applies to the other signal lines 105a to 105d.
  • the solid-state imaging device of this embodiment includes 12 signal lines 105a to 105d corresponding to 144 pixels 101 for 12 rows, specifically, three signal lines 105a and three signal lines 105a, The signal line 105b, three signal lines 105c, and three signal lines 105d are provided.
  • the signal lines 105a to 105d belong to groups a to d, respectively.
  • the pixels 101 electrically connected to the signal lines 105a to 105d also belong to groups a to d, respectively.
  • Pixels 101 belonging to groups a to d are electrically connected to arbiters 103a to 103d via signal lines 105a to 105d, respectively.
  • one signal line 105a and one row of pixels 101 arranged at the end of the pixel array area 102 in the +Y direction in FIG. 3 belong to group a, and are electrically connected to the arbiter 103a. . This also applies to the other signal lines 105a to 105d and the pixels 101.
  • Groups a to d are examples of the first to Nth (N is an integer of 2 or more) groups of the present disclosure. Although the value of N is 4 in this embodiment, it may be any other value.
  • Each of groups a to d is an example of the Kth (K is an integer satisfying 1 ⁇ K ⁇ N) group of the present disclosure.
  • a Req (request) signal is output from that pixel 101.
  • the Req signal is output to a signal line 105 electrically connected to the pixel 101. Therefore, a Req signal output from a certain group of pixels 101 is transferred to the arbiter 103 of that group via the signal line 105 of that group.
  • the Req signal output from each pixel 101 is a signal requesting resetting the charge stored in the capacitor of each pixel 101, and corresponds to a signal requesting reading the pixel value of each pixel 101.
  • This Req signal may be, for example, a simple binary signal, or may include information regarding the address of each pixel 101 (eg, the X and Y coordinates of each pixel 101).
  • FIG. 3 illustrates pixels P1 to P3, which are examples of the pixel 101.
  • Pixel P1 is electrically connected to one signal line 105c and belongs to group c.
  • Pixel P2 is electrically connected to one signal line 105d and belongs to group d.
  • Pixel P3 is electrically connected to another signal line 105c and belongs to group c.
  • FIG. 3 further illustrates three Req signals output from pixels P1 to P3.
  • the Req signal output from the pixel P2 is input to the arbiter 103d.
  • the Req signals output from the pixels P1 and P3 are input to the arbiter 103c and arbitrated by the arbiter 103c.
  • the signal lines 105a to 105d of this embodiment are alternately arranged within the pixel array region 102.
  • each signal line 105c is adjacent to signal lines 105b and 105d in the Y direction.
  • each signal line 105d is adjacent to the signal lines 105c and 105a in the Y direction, or adjacent only to the signal line 105c in the Y direction. In this way, the signal lines 105 of one group are adjacent to the signal lines 105 of another group in the Y direction, but not adjacent to the signal lines 105 of the same group in the Y direction.
  • Such an arrangement has the advantage that, for example, the number of times of event (Req signal) arbitration can be reduced.
  • a phenomenon in which multiple events fire simultaneously tends to occur in multiple pixels 101 that are arranged close to each other. Therefore, when the signal lines 105 of the same group are arranged close to each other, the pixels 101 of the same group are arranged close to each other, making it easier for a plurality of events to fire simultaneously in the plurality of pixels 101 of the same group. As a result, mediation of these events becomes necessary.
  • this embodiment by alternately arranging the signal lines 105a to 105d, it is possible to reduce the number of times that multiple events fire simultaneously in multiple pixels 101 of the same group, thereby reducing the number of event arbitrations. It becomes possible to do so.
  • Arbiters 103a to 103d belong to groups a to d, respectively, and arbitrate events fired in pixels 101 of groups a to d.
  • the arbiters 103a to 103d of this embodiment are arranged in the ⁇ X direction of the pixel array region 102, and are arranged in parallel with each other with respect to the pixel array region 102. In FIG. 3, the pixel array region 102 and the arbiters 103a to 103d are spaced apart from each other in the X direction.
  • the arbiter 103a upon receiving a Req signal output from a certain pixel 101 of group a, the arbiter 103a outputs the Req signal of that pixel 101 to the latch unit 104a via the signal line 107a.
  • the Req signal output from the arbiter 103a may be the same or different from the Req signal received by the arbiter 103a.
  • the arbiter 103a arbitrates the plurality of Req signals output from these pixels 101.
  • the arbiter 103a first receives a Req signal from the first pixel 101 and then receives a Req signal from the second pixel 101, the Req signal of the first pixel 101 is output to the latch unit 104a, and then , the Req signal of the second pixel 101 is output to the latch section 104a. That is, the Req signal of the first pixel 101 is preferentially output to the latch unit 104a, and the Req signal of the second pixel 101 is output to the latch unit 104a after a waiting time. This also applies to the arbiters 103b to 103d.
  • Signal lines 107a to 107d are arranged outside the pixel array region 102.
  • Signal lines 107a to 107d belong to groups a to d, respectively, and electrically connect arbiters 103a to 103d and latch sections 104a to 104d. Req signals output from arbiters 103a to 103d are transferred to latch units 104a to 104d via signal lines 107a to 107d, respectively.
  • Readout line 106 The readout lines 106a to 106d are arranged inside and outside the pixel array region 102, and are electrically connected to the latch parts 104a to 104d, respectively. Inside the pixel array region 102, readout lines 106a to 106d extend in the Y direction and are spaced apart from each other in the X direction. The readout lines 106a to 106d in this embodiment are used to read out pixel values from each pixel 101.
  • the solid-state imaging device of this embodiment includes 12 signal lines 105a to 105d for 12 rows of pixels 101, and 48 readout lines 106a to 106d for 12 columns of pixels 101.
  • the reason why the number of readout lines 106a to 106d is 48 instead of 12 is because the number of groups a to d is four.
  • the solid-state imaging device of this embodiment includes 12 readout lines 106a, 12 readout lines 106b, 12 readout lines 106c, and 12 readout lines 106d.
  • FIG. 3 shows only 12 of the 48 readout lines 106a to 106d to avoid overly complicating the drawing, and the remaining 36 readout lines 106a to 106d are shown in FIG. It is omitted.
  • Each of the readout lines 106a to 106d is arranged at a position overlapping one of the columns in the pixel array region 102 in the Z direction, and is electrically connected to the three pixels 101 in this column.
  • the readout line 106a shown at the far left in FIG. 3 overlaps with the second column from the left in FIG. 3, and as shown by the black dot in FIG. electrically connected to.
  • This readout line 106a is further electrically connected to the fifth and ninth pixels 101 from the top in this column, but the black dots are not shown.
  • This readout line 106a may be arranged in the +Z direction of these pixels 101, or may be arranged in the -Z direction of these pixels 101. This also applies to the other read lines 106a to 106d.
  • the readout lines 106a to 106d belong to groups a to d, respectively. Pixels 101 belonging to groups a to d are electrically connected to latch sections 104a to 104d via readout lines 106a to 106d, respectively. For example, the three readout lines 106a shown in FIG. 3 and the nine pixels 101 electrically connected to these readout lines 106a belong to group a, and are electrically connected to the latch section 104a. There is. This also applies to the other readout lines 106a to 106d and the pixels 101.
  • first and second readout lines 106a from the right in FIG. 3 are shown shorter than the third readout line 106a from the right in FIG. 3 to avoid making the drawing excessively complicated. Actually, it has the same length as the third readout line 106a from the right in FIG. That is, all three readout lines 106a extend to the top row in FIG. 3. This also applies to the other read lines 106a to 106d. For example, the three readout lines 106b shown in FIG. 3 all extend to the second row from the top in FIG.
  • Each column in the pixel array area 102 of this embodiment overlaps with four readout lines 106a to 106d in the Z direction because the number of groups a to d is four. Therefore, the width of each pixel 101 in the X direction in this embodiment is set to be longer than the total width of the four readout lines 106a to 106d in the X direction. This makes it possible to arrange these readout lines 106a to 106d at positions overlapping one column of pixels 101.
  • the latch units 104a to 104d belong to groups a to d, respectively, and read pixel values from the pixels 101 of groups a to d.
  • the latch sections 104a to 104d of this embodiment are arranged in the -Y direction of the pixel array region 102, and are arranged in series with the arbiters 103a to 103d, respectively, with respect to the pixel array region 102. Furthermore, just as the arbiters 103a to 103d are lined up in order in the -Y direction, the latch parts 104a to 104d are also lined up in order in the -Y direction. In FIG.
  • the pixel array region 102 and the latch sections 104a to 104d are spaced apart from each other in the Y direction.
  • the latch unit 104a when the latch unit 104a receives a Req signal of a certain pixel 101 in group a from the arbiter 103a, it outputs an Ack (acknowledge) signal of that pixel 101 to the arbiter 103a via the signal line 107a.
  • the Ack signal output from the latch unit 104a is a signal that approves resetting the charge stored in the capacitor of the pixel 101, and corresponds to a signal that approves reading out the pixel value of the pixel 101.
  • This Ack signal may be, for example, a simple binary signal, or may include information regarding the address of the pixel 101 (eg, the X and Y coordinates of the pixel 101). This also applies to the latch sections 104b to 104d.
  • the arbiter 103a when the arbiter 103a receives the Ack signal of a certain pixel 101 in group a from the latch unit 104a, it outputs the Ack signal of that pixel 101 to that pixel 101 via the signal line 105a.
  • the Ack signal output from the arbiter 103a may be the same or different from the Ack signal received by the arbiter 103a.
  • the charge stored in the capacitor of that pixel 101 is reset. Further, the pixel value of the pixel 101 is transferred to the latch section 104a via the readout line 106a and stored in the latch section 104a. In this way, the latch unit 104a can read the pixel value from the pixel 101 corresponding to the Req signal by outputting the Ack signal in response to the Req signal. This also applies to the latch sections 104b to 104d.
  • the pixel value output from the pixel 101 of group a to the latch unit 104a is, for example, the amount of change in brightness when an event fires in that pixel 101. When an on event fires, the amount of change in brightness takes a positive value, and when an off event fires, the amount of change in brightness takes a negative value.
  • the pixel value output to the latch unit 104a may be the brightness itself when the event fires.
  • the latch unit 104a outputs, for example, the X coordinate, Y coordinate, and pixel value of the pixel 101, as well as a time stamp to be described later, to the outside of the solid-state imaging device as information regarding each event. This also applies to the latch sections 104b to 104d.
  • FIG. 4 is a block diagram showing the configuration of a solid-state imaging device as a comparative example of the first embodiment.
  • the solid-state imaging device of this comparative example includes a pixel array region 102 including a plurality of pixels 101, an arbiter 103, a latch section 104, a plurality of signal lines 105, a plurality of readout lines 106, and a signal line 107. While the solid-state imaging device of the first embodiment has a configuration including four groups a to d of pixels 101, the solid-state imaging device of this comparative example has a configuration including only one group of pixels 101.
  • the 144 pixels 101 in the pixel array area 102 of this comparative example belong to one group. Therefore, when events fire simultaneously in a plurality of pixels 101 within the pixel array area 102, event arbitration always occurs. Therefore, it becomes difficult to process events quickly.
  • each pixel 101 in the pixel array area 102 of the first embodiment belongs to one of four groups a to d. Therefore, even if events fire simultaneously in a plurality of pixels 101 in the pixel array area 102, event arbitration will not occur if these pixels 101 belong to different groups.
  • event arbitration will not occur if these pixels 101 belong to different groups.
  • by dividing the pixels 101 in the pixel array area 102 into a plurality of groups and providing the arbiter 103 and latch unit 104 for each group it is possible to quickly process events. becomes. For example, by reducing the number of event arbitrations, it is possible to process events quickly.
  • FIG. 5 is a diagram for explaining the operation of the solid-state imaging device of the first embodiment.
  • a in FIG. 5 shows the trajectory of the black ball B moving in space.
  • a in FIG. 5 further shows the position of the ball B at times T1, T2, and T3.
  • FIG. 5 show examples of frames (images) F1, F2, and F3 obtained by photographing the ball B using an image sensor at times T1, T2, and T3, respectively. Since frame F1 was photographed at time T1, the position of ball B shown in B in FIG. 5 is the position of ball B at time T1 in A in FIG. This also applies to frame F2 and frame F3.
  • E in FIG. 5 shows an example of frame F2' obtained by capturing an image of ball B at time T2 using the solid-state imaging device (EVS) of this embodiment.
  • Region R1 indicates the location where ball B was present at time T1
  • region R2 indicates the location where ball B arrived at time T2.
  • Region R1 is represented, for example, as “white” on frame F2' because ball B has changed from a "present state” to a "not present state” and from a dark state to a light state.
  • region R2 is represented, for example, as “black” on frame F2' because ball B has changed from a "not present state” to a "present state” and from a light state to a dark state.
  • the other regions are represented, for example, as "gray” on frame F2'.
  • FIG. 6 is a graph for comparing the operation of the solid-state imaging device of the first embodiment and the operation of the solid-state imaging device of the comparative example of the first embodiment.
  • a in FIG. 6 shows the relationship between error and the number of events for a large number of events that fire in the solid-state imaging device of the comparative example (FIG. 4).
  • the horizontal axis shows the time at which a timestamp is assigned to an event, assuming that the time at which the event occurs is 0. This time therefore shows the error between the timing at which the event occurs and the timing at which a timestamp is assigned to the event.
  • the timestamp is assigned, for example, in latch unit 104 after the event occurs.
  • the vertical axis shows the number of events corresponding to each time.
  • a in FIG. 6 shows that as the number of events that fire simultaneously increases, the relationship between the error and the number of events changes from curve C1 to curve C2, and from curve C2 to curve C3.
  • all the pixels 101 belong to the same group, so when the number of events that fire simultaneously increases, a large number of arbitrations occur, resulting in an increase in the number of events with large errors. Furthermore, the maximum value of the error also increases, and the processing delay increases.
  • Curves Ca to Cd show the relationship between the error and the number of events for the pixels 101 of groups a to d, respectively.
  • the pixels 101 of this embodiment are divided into four groups a to d. Therefore, even if the number of events that fire simultaneously increases, the number of events with large errors in this embodiment does not increase as rapidly as the number in the comparative example. Therefore, according to this embodiment, it is possible to suppress the problems in the comparative example.
  • FIG. 7 is a block diagram showing a first configuration example of the solid-state imaging device of the first embodiment.
  • the solid-state imaging device shown in FIG. 7 includes a plurality of time stamp units 111a to 111d in addition to the components shown in FIG.
  • the time stamp sections 111a to 111d are arranged within the latch sections 104a to 104d, respectively.
  • the timestamp unit 111a adds a timestamp to each event fired in the pixel 101 belonging to group a. For example, when the latch unit 104a receives a Req signal of a certain pixel 101 belonging to group a from the arbiter 103a, the timestamp unit 111a uses this Req signal as a trigger to add a timestamp to an event corresponding to this Req signal. . This time stamp is stored in the time stamp section 111a. Thereafter, the latch unit 104a outputs the X coordinate, Y coordinate, and pixel value of the pixel 101, as well as the time stamp given to this event, to the outside of the solid-state imaging device as information regarding this event. This also applies to the time stamp sections 111b to 111d.
  • the solid-state imaging device shown in FIG. 7 includes a plurality of time stamp sections 111a to 111d, and these time stamp sections 111a to 111d each respond to an event fired in a pixel 101 belonging to groups a to d. Add a timestamp.
  • the time stamp units 111a to 111d operate based on a common clock signal.
  • the timestamp represents the time at which the timestamp was added to the event.
  • FIG. 8 is a block diagram showing a second configuration example of the solid-state imaging device of the first embodiment.
  • the solid-state imaging device shown in FIG. 8 includes multiple time stamp units 112a-112d in addition to the components shown in FIG. 3.
  • the time stamp units 112a-112d are arranged between the pixel array region 102 and the arbiters 103a-103d, respectively.
  • the time stamp units 112a-112d are arranged on the signal lines 105a-105d, respectively, so the solid-state imaging device shown in FIG. 8 includes 12 time stamp units 112a-112d.
  • Each of the time stamp units 112a-112d is also referred to as a "time stamp unit 112" as appropriate.
  • Each time stamp section 112a adds a time stamp to each event fired in the pixel 101 electrically connected to the same signal line 105a as each time stamp section 112a. For example, when the timestamp unit 112a receives a Req signal output from a certain pixel 101 belonging to group a to the arbiter 103a, the timestamp unit 112a uses this Req signal as a trigger to perform an event corresponding to this Req signal. Add a timestamp. This time stamp is stored in the time stamp section 112a. Thereafter, the latch unit 104a outputs the X coordinate, Y coordinate, and pixel value of the pixel 101, as well as the time stamp given to this event, to the outside of the solid-state imaging device as information regarding this event.
  • the arbiter 103a when the arbiter 103a receives an Ack signal corresponding to this event from the latch section 104a, the arbiter 103a uses this Ack signal as a trigger to read the timestamp of this event from one of the timestamp sections 112a, and sets the read time stamp.
  • the stamp is sent to the latch unit 104a.
  • the latch unit 104a outputs this time stamp to the outside of the solid-state imaging device. This also applies to the time stamp sections 112b to 112d.
  • the solid-state imaging device shown in FIG. 8 includes a plurality of time stamp sections 112a to 112d, and these time stamp sections 112a to 112d respond to events fired in pixels 101 belonging to groups a to d, respectively. Add a timestamp.
  • time stamp sections 112a to 112d if the operations of the time stamp sections 112a to 112d are not synchronized, there is a possibility that time stamps given by different time stamp sections 112 cannot be compared. Therefore, it is desirable that the time stamp units 112a to 112d operate based on a common clock signal, similarly to the time stamp units 111a to 111d.
  • the time stamp sections 112a to 112d shown in FIG. 8 are arranged at a step closer to the pixel array area 102 than the time stamp sections 111a to 111d shown in FIG. Therefore, according to the configuration shown in FIG. 8, compared to the configuration shown in FIG. 7, it is possible to assign a timestamp closer to the true value to each event.
  • FIG. 9 is a circuit diagram showing an example of the configuration of the arbiter 103a in the first embodiment.
  • the arbiter 103a shown in FIG. 9 shows an interface 121 for eight signal lines 105a, and seven arbiter circuits 122 to 128 forming a tournament at the subsequent stage of the interface 121.
  • Each of the arbiter circuits 122 to 125 is electrically connected to two signal lines 105a, and arbitrates Req signals from these signal lines 105a.
  • the arbiter circuit 126 arbitrates between the Req signal output from the arbiter circuit 122 as a result of arbitration and the Req signal output from the arbiter circuit 123 as a result of arbitration.
  • the arbiter circuit 127 arbitrates between the Req signal output from the arbiter circuit 124 as a result of arbitration and the Req signal output from the arbiter circuit 125 as a result of arbitration.
  • the arbiter circuit 128 arbitrates between the Req signal output from the arbiter circuit 126 as a result of arbitration and the Req signal output from the arbiter circuit 127 as a result of arbitration.
  • the arbiter 103a outputs the Req signal output from the arbiter circuit 128 as a result of arbitration to the signal line 107a.
  • each of the arbiters 103b to 103d can be configured similarly to the arbiter 103a shown in FIG. 9.
  • FIG. 10 is a circuit diagram showing a first configuration example of the time stamp circuit of the first embodiment.
  • FIG. 10 illustrates two time stamp sections 112a and 112b among the twelve time stamp sections 112a to 112d (FIG. 8), and shows the other ten time stamp sections 112a to 112d. is omitted.
  • each time stamp section 112 is composed of a ripple counter.
  • Each ripple counter receives a Req signal from a corresponding signal line 105, and also receives a clock signal (CLK) common to all ripple counters.
  • CLK clock signal
  • FIG. 11 is a circuit diagram showing a second configuration example of the time stamp circuit of the first embodiment.
  • FIG. 11 also illustrates two time stamp sections 112a and 112b among the twelve time stamp sections 112a to 112d (FIG. 8), and shows the other ten time stamp sections 112a to 112d. is omitted.
  • each time stamp unit 112 receives the Req signal from the corresponding signal line 105.
  • FIG. 11 further shows a Gray code generator 131, a Gray code counter 132, and a memory 133 included in the solid-state imaging device of this embodiment.
  • the upper bits of each timestamp are given by the global timestamp part, and the lower bits of each timestamp are given by the local timestamp part.
  • the operations of the global time stamp section and the local time stamp section are controlled by a Gray code generator 131 to which a clock signal (CLK) is input.
  • CLK clock signal
  • the global timestamp unit generates a timestamp (upper bits) for all pixels 101.
  • the global timestamp section includes a Gray code counter 132 corresponding to an upper bit timestamp section and a timestamp memory 133.
  • the local time stamp section generates time stamps (lower bits) using time stamp sections 112a to 112d corresponding to groups a to d.
  • the pixels 101 of this embodiment are divided into a plurality of groups, and the arbiter 103, latch unit 104, time stamp 111 (or 112), etc. are prepared for each group. Therefore, according to this embodiment, it is possible to quickly process events. For example, by reducing the number of event arbitrations, it is possible to process events quickly.
  • FIG. 12 is a block diagram showing the configuration of a solid-state imaging device according to the second embodiment.
  • the solid-state imaging device of this embodiment has a configuration in which the pixel array region 102 of the solid-state imaging device of the first embodiment is divided into two partial regions 102-1 and 102-2.
  • the partial regions 102-1 and 102-2 in this embodiment are spaced apart from each other in the X direction. This kind of division is called left-right division.
  • the partial areas 102-1 and 102-2 of this embodiment are examples of the first and second areas of the present disclosure.
  • each of the partial areas 102-1 and 102-2 in this embodiment is similar to the configuration of the pixel array area 102 in the first embodiment.
  • the solid-state imaging device of this embodiment includes four arbiters 103a to 103d, four latch sections 104a to 104d, a plurality of signal lines 105a to 105d, and a plurality of readout lines 106a to 106d for the partial region 102-1. , a plurality of signal lines 107a to 107d, and a plurality of time stamp sections 112a to 112d (or 111a to 111d). This also applies to the partial area 102-2.
  • the arbiters 103a to 103d of the partial area 102-1 are arranged in the -X direction of the partial area 102-1, and the arbiters 103a to 103d of the partial area 102-2 are arranged in the +X direction of the partial area 102-1. It is located.
  • FIG. 13 is a block diagram showing the configuration of a solid-state imaging device according to the third embodiment.
  • the solid-state imaging device of this embodiment has a configuration in which the pixel array region 102 of the solid-state imaging device of the first embodiment is divided into two partial regions 102-1 and 102-2.
  • the partial regions 102-1 and 102-2 in this embodiment are spaced apart from each other in the Y direction. This kind of division is called upper and lower division.
  • the partial areas 102-1 and 102-2 of this embodiment are examples of the third and fourth areas of the present disclosure.
  • each of the partial areas 102-1 and 102-2 in this embodiment is similar to the configuration of the pixel array area 102 in the first embodiment.
  • the solid-state imaging device of this embodiment includes two arbiters 103a to 103b, two latch sections 104a to 104b, a plurality of signal lines 105a to 105b, and a plurality of readout lines 106a to 106b for the partial area 102-1. , a plurality of signal lines 107a to 107b, and a plurality of time stamp sections 112a to 112b (or 111a to 111b).
  • the partial area 102-2 includes two arbiters 103c to 103d instead of the two arbiters 103a to 103b.
  • the latch parts 104a to 104b of the partial area 102-1 are arranged in the +Y direction of the partial area 102-1, and the latch parts 104c to 104d of the partial area 102-2 are arranged in the -Y direction of the partial area 102-1. placed in the direction.
  • FIG. 14 is a block diagram showing the configuration of a solid-state imaging device according to the fourth embodiment.
  • the solid-state imaging device of this embodiment has a configuration in which the pixel array region 102 of the solid-state imaging device of the first embodiment is divided into four partial regions 102-1 to 102-4.
  • the partial regions 102-1 to 102-4 in this embodiment are spaced apart from each other in the X direction and the Y direction.
  • Two of the partial regions 102-1 to 102-4 of this embodiment are examples of the first and second regions of the present disclosure, or examples of the third and fourth regions of the present disclosure.
  • the partial areas 102-1 to 102-4 of this embodiment have the same structure as the partial areas 102-1 to 102-2 of the second embodiment and the partial areas 102-1 to 102-2 of the third embodiment. It has a configuration that combines the following. Therefore, the solid-state imaging device of this embodiment includes two arbiters 103a to 103b, two latch sections 104a to 104b, a plurality of signal lines 105a to 105b, and a plurality of readout lines 106a for the partial region 102-1. 106b, a plurality of signal lines 107a and 107b, and a plurality of time stamp sections 112a and 112b (or may be 111a and 111b). This also applies to partial areas 102-2 to 102-4. The detailed differences between the partial area 102-1 and other partial areas are the same as those described in the second and third embodiments.
  • the solid-state imaging devices of the second to fourth embodiments may include the time stamp circuit described with reference to FIG. 10 or 11 or the arbiter 103 described with reference to FIG. 12.
  • the solid-state imaging devices of the first to fourth embodiments are provided and used in a vehicle 1, they may also be used in other ways.
  • the solid-state imaging devices of these embodiments may be provided and used in optical equipment such as a camera, or in information processing devices such as a PC (Personal Computer) or a smartphone.
  • a pixel array area including a plurality of pixels for detecting an event, each of the plurality of pixels belonging to one of the first to Nth (N is an integer of 2 or more) groups;
  • the first to Nth arbiters are respectively provided for the pixels of the first to Nth groups, and the Kth (K is an integer that satisfies 1 ⁇ K ⁇ N) arbiter receives signals from the plurality of pixels of the Kth group.
  • a first to Nth arbiter that receives the plurality of output request signals and outputs a request signal corresponding to one of the plurality of pixels of the Kth group;
  • the first to Nth latch units are respectively provided for the first to Nth groups of pixels, and the Kth latch unit extracts a pixel value from a pixel corresponding to the request signal output from the Kth arbiter.
  • a first to Nth latch unit that reads out the A solid-state imaging device comprising:
  • the pixel array region includes a plurality of signal lines extending in the first direction and spaced apart from each other in the second direction, Each of the plurality of signal lines belongs to one of the first to Nth groups, Each of the first to Nth groups of signal lines transfers a request signal output from the first to Nth group of pixels to the first to Nth arbiter;
  • the solid-state imaging device according to (2) The solid-state imaging device according to (2).
  • Each of the first to Nth groups includes two or more signal lines, Each signal line of the Kth group is adjacent to a signal line other than the Kth group in the second direction.
  • the pixel array region includes a plurality of readout lines extending in the second direction and spaced apart from each other in the first direction, Each of the plurality of readout lines belongs to one of the first to Nth groups, The first to Nth groups of readout lines each transfer pixel values output from the first to Nth groups of pixels to the first to Nth latch units,
  • the solid-state imaging device according to (2) The solid-state imaging device according to (2).
  • the K-th latch unit reads the pixel value from the pixel corresponding to the request signal output from the K-th arbiter by outputting an acknowledge signal in response to the request signal output from the K-th arbiter.
  • the solid-state imaging device according to item 1).
  • the solid-state imaging device according to (1), further comprising a first to Nth timestamp section that adds a timestamp to each event detected by the first to Nth groups of pixels.
  • each of the first to Nth time stamp units applies the time stamp using a request signal output from the first to Nth groups of pixels as a trigger.
  • each of the first to N-th arbiters reads out the time stamps from the first to N-th time stamp sections using an acknowledge signal output from the first to N-th latch sections as a trigger. solid-state imaging device.
  • the pixel array area includes a first area and a second area
  • the first to Nth arbiters include a first to Nth arbiter for the first region and a first to Nth arbiter for the second region
  • the first to Nth latch portions include first to Nth latch portions for the second region, and first to Nth latch portions for the second region.
  • the first to Nth arbiters are spaced apart from the pixel array region in a first direction,
  • the first to Nth latch portions are spaced apart from the pixel array region in a second direction, the first region and the second region are spaced apart from each other in the first direction;
  • the pixel array area includes a third area and a fourth area, A portion of the first to Nth latch portions are arranged near the third region, Another part of the first to Nth latch parts is arranged near the fourth region,
  • the first to Nth arbiters are spaced apart from the pixel array region in a first direction,
  • the first to Nth latch portions are spaced apart from the pixel array region in a second direction, the third region and the fourth region are spaced apart from each other in the second direction;

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

［課題］イベントを迅速に処理することが可能な固体撮像装置を提供する。 ［解決手段］本開示の固体撮像装置は、イベントを検出する複数の画素を含み、前記複数の画素の各々は、第１から第Ｎ（Ｎは２以上の整数）グループのいずれかに属する、画素アレイ領域と、前記第１から第Ｎグループの画素用にそれぞれ設けられた第１から第Ｎアービタであって、第Ｋ（Ｋは１≦Ｋ≦Ｎを満たす整数）アービタは、第Ｋグループの複数の画素から出力された複数のリクエスト信号を受信し、前記第Ｋグループの前記複数の画素のいずれかに対応するリクエスト信号を出力する、第１から第Ｎアービタと、前記第１から第Ｎグループの画素用にそれぞれ設けられた第１から第Ｎラッチ部であって、第Ｋラッチ部は、前記第Ｋアービタから出力された前記リクエスト信号に対応する画素から画素値を読み出す、第１から第Ｎラッチ部とを備える。

Description

固体撮像装置
　本開示は、固体撮像装置に関する。
　イメージセンサが、被写体を含む画像を取得するためのセンサであるのに対し、イベントセンサ（ＥＶＳ：Event-based Vision Sensor）は、被写体の変化を検出するためのセンサである。イベントセンサは、センシング対象を「画像」から「被写体の変化」に限定することで、イメージセンサに比べてフレームレートを高く設定することができる。イベントセンサは例えば、イメージセンサと同様に、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの固体撮像装置により実現される。
特開２０２０－１３６８１１号公報
　アービタ式のＥＶＳは、イベントが発火した順番にイベントを処理していく。よって、複数のイベントが同時に発火すると、これらのイベントの調停中に処理の待ち時間が発生する。
　この場合、イベントが発生したタイミングと、イベントにタイムスタンプが付与されるタイミングとの間に、待ち時間に起因する誤差が生じる。また、同時に発火したイベントの個数が多くなると、待ち時間による処理の遅延が拡大し、上記の誤差が拡大する。上記の誤差は、動被写体の形状が不正確になる原因となるなど、ＥＶＳのアプリケーションにおける情報処理の精度に大きく影響する。
　そこで、本開示は、イベントを迅速に処理することが可能な固体撮像装置を提供する。
　本開示の第１の側面の固体撮像装置は、イベントを検出する複数の画素を含み、前記複数の画素の各々は、第１から第Ｎ（Ｎは２以上の整数）グループのいずれかに属する、画素アレイ領域と、前記第１から第Ｎグループの画素用にそれぞれ設けられた第１から第Ｎアービタであって、第Ｋ（Ｋは１≦Ｋ≦Ｎを満たす整数）アービタは、第Ｋグループの複数の画素から出力された複数のリクエスト信号を受信し、前記第Ｋグループの前記複数の画素のいずれかに対応するリクエスト信号を出力する、第１から第Ｎアービタと、前記第１から第Ｎグループの画素用にそれぞれ設けられた第１から第Ｎラッチ部であって、第Ｋラッチ部は、前記第Ｋアービタから出力された前記リクエスト信号に対応する画素から画素値を読み出す、第１から第Ｎラッチ部とを備える。これにより例えば、イベントの調停に起因する処理の待ち時間を削減することが可能となるなど、イベントを迅速に処理することが可能となる。
　また、この第１の側面において、前記画素アレイ領域内の前記複数の画素は、第１方向および第２方向に沿って２次元アレイ状に配置されていてもよい。これにより例えば、２次元アレイ状に配置された画素によりイベントを検出して、これを迅速に処理することが可能となる。
　また、この第１の側面において、前記画素アレイ領域は、前記第１方向に延び前記第２方向に互いに離間された複数の信号線を含み、前記複数の信号線の各々は、前記第１から第Ｎグループのいずれかに属し、前記第１から第Ｎグループの信号線はそれぞれ、前記第１から第Ｎグループの画素から出力されたリクエスト信号を、前記第１から第Ｎアービタに転送してもよい。これにより例えば、画素等と同様に信号線もグループ化することで、イベントを迅速に処理することが可能となる。
　また、この第１の側面において、前記第１から第Ｎグループの各々は、２本以上の信号線を含み、前記第Ｋグループの各信号線は、前記第Ｋグループ以外の信号線と前記第２方向に隣接していてもよい。これにより例えば、同じグループの画素が近くにまとまって配置されることを回避することが可能となる。
　また、この第１の側面において、前記画素アレイ領域は、前記第２方向に延び前記第１方向に互いに離間された複数の読み出し線を含み、前記複数の読み出し線の各々は、前記第１から第Ｎグループのいずれかに属し、前記第１から第Ｎグループの読み出し線はそれぞれ、前記第１から第Ｎグループの画素から出力された画素値を、前記第１から第Ｎラッチ部に転送してもよい。これにより例えば、画素等と同様に読み出し線もグループ化することで、イベントを迅速に処理することが可能となる。
　また、この第１の側面において、前記第１から第Ｎアービタは、前記画素アレイ領域の前記第１方向に配置されていてもよい。これにより例えば、信号線と接続しやすい場所にアービタを配置することが可能となる。
　また、この第１の側面において、前記第１から第Ｎアービタは、前記画素アレイ領域に対し、互いに並列に配置されていてもよい。これにより例えば、第１から第Ｎアービタの各々を、画素アレイ領域の付近に配置することが可能となる。
　また、この第１の側面において、前記第１から第Ｎラッチ部は、前記画素アレイ領域の前記第２方向に配置されていてもよい。これにより例えば、読み出し線と接続しやすい場所にラッチ部を配置することが可能となる。
　また、この第１の側面において、前記第１から第Ｎラッチ部はそれぞれ、前記画素アレイ領域に対し、前記第１から第Ｎアービタと直列に配置されていてもよい。これにより例えば、第１から第Ｎラッチ部をそれぞれ、第１から第Ｎアービタと対応させることが可能となる。
　また、この第１の側面において、前記第Ｋラッチ部は、前記第Ｋアービタから出力された前記リクエスト信号に対するアクノリッジ信号を出力することで、前記第Ｋアービタから出力された前記リクエスト信号に対応する画素から前記画素値を読み出してもよい。これにより例えば、アクノリッジ信号によりラッチ部が画素の動作を制御することが可能となる。
　また、この第１の側面の固体撮像装置は、前記第１から第Ｎグループの画素により検出されたイベントにそれぞれタイムスタンプを付与する第１から第Ｎタイムスタンプ部をさらに備えていてもよい。これにより例えば、イベントを画素値を座標だけでなく時間で特定することが可能となる。
　また、この第１の側面において、前記第１から第Ｎタイムスタンプ部は、共通のクロック信号に基づいて動作してもよい。これにより例えば、第１から第Ｎタイムスタンプ部の動作を同期させることが可能となる。
　また、この第１の側面において、前記第１から第Ｎタイムスタンプ部はそれぞれ、前記第１から第Ｎラッチ部内に配置されていてもよい。これにより例えば、タイムスタンプを含め、イベントに関する種々の情報をラッチ部で取り扱うことが可能となる。
　また、この第１の側面において、前記第１から第Ｎタイムスタンプ部はそれぞれ、前記画素アレイ領域と前記第１から第Ｎアービタとの間に配置されていてもよい。これにより例えば、イベントの発火場所である画素アレイ領域の付近でタイムスタンプを取り扱うことが可能となる。
　また、この第１の側面において、前記第１から第Ｎタイムスタンプ部はそれぞれ、前記第１から第Ｎグループの画素から出力されたリクエスト信号をトリガとして、前記タイムスタンプを付与してもよい。これにより例えば、イベントの発火から短時間でタイムスタンプを付与することが可能となる。
　また、この第１の側面において、前記第１から第Ｎのアービタはそれぞれ、前記第１から第Ｎラッチ部から出力されたアクノリッジ信号をトリガとして、前記第１から第Ｎタイムスタンプ部から前記タイムスタンプを読み出してもよい。これにより例えば、タイムスタンプの付与から短時間でタイムスタンプを読み出すことが可能となる。
　また、この第１の側面において、前記画素アレイ領域は、第１領域と第２領域とを含み、前記第１から第Ｎアービタは、前記第１領域用の第１から第Ｎアービタと、前記第２領域用の第１から第Ｎアービタとを含み、前記第１から第Ｎラッチ部は、前記第２領域用の第１から第Ｎラッチ部と、前記第２領域用の第１から第Ｎラッチ部とを含んでいてもよい。これにより例えば、画素アレイ領域を２つの領域に分割して管理することが可能となる。
　また、この第１の側面において、前前記第１から第Ｎアービタは、前記画素アレイ領域と第１方向に離間されており、前記第１から第Ｎラッチ部は、前記画素アレイ領域と第２方向に離間されており、前記第１領域と前記第２領域は、前記第１方向に互いに離間されていてもよい。これにより例えば、画素アレイ領域をいわゆる左右分割により分割することが可能となる。
　また、この第１の側面において、前記画素アレイ領域は、第３領域と第４領域とを含み、前記第１から第Ｎラッチ部の一部は、前記第３領域付近に配置されており、前記第１から第Ｎラッチ部の別の一部は、前記第４領域付近に配置されていてもよい。これにより例えば、画素アレイ領域を２つの領域に分割して管理することが可能となる。
　また、この第１の側面において、前記第１から第Ｎアービタは、前記画素アレイ領域と第１方向に離間されており、前記第１から第Ｎラッチ部は、前記画素アレイ領域と第２方向に離間されており、前記第３領域と前記第４領域は、前記第２方向に互いに離間されていてもよい。これにより例えば、画素アレイ領域をいわゆる上下分割により分割することが可能となる。
第１実施形態の車両１の構成を示すブロック図である。 第１実施形態の車両１のセンシング領域を示す平面図である。 第１実施形態の固体撮像装置の構成を示すブロック図である。 第１実施形態の比較例の固体撮像装置の構成を示すブロック図である。 第１実施形態の固体撮像装置の動作を説明するための図である。 第１実施形態の固体撮像装置の動作と、第１実施形態の比較例の固体撮像装置の動作とを比較するためのグラフである。 第１実施形態の固体撮像装置の第１の構成例を示すブロック図である。 第１実施形態の固体撮像装置の第２の構成例を示すブロック図である。 第１実施形態のアービタ１０３ａの構成例を示す回路図である。 第１実施形態のタイムスタンプ回路の第１の構成例を示す回路図である。 第１実施形態のタイムスタンプ回路の第２の構成例を示す回路図である。 第２実施形態の固体撮像装置の構成を示すブロック図である。 第３実施形態の固体撮像装置の構成を示すブロック図である。 第４実施形態の固体撮像装置の構成を示すブロック図である。
　以下、本開示の実施形態を、図面を参照して説明する。
　（第１実施形態）
　（１）第１実施形態の車両１
　図１は、第１実施形態の車両１の構成を示すブロック図である。図１は、移動装置制御システムの一例である車両制御システム１１の構成例を示している。
　車両制御システム１１は、車両１に設けられ、車両１の走行支援及び自動運転に関わる処理を行う。
　車両制御システム１１は、車両制御ＥＣＵ（Electronic Control Unit）２１、通信部２２、地図情報蓄積部２３、位置情報取得部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記憶部３１、走行支援・自動運転制御部３２、ＤＭＳ（Driver Monitoring System）３３、ＨＭＩ（Human Machine Interface）３４、及び、車両制御部３５を備える。
　車両制御ＥＣＵ２１、通信部２２、地図情報蓄積部２３、位置情報取得部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記憶部３１、走行支援・自動運転制御部３２、ドライバモニタリングシステム（ＤＭＳ）３３、ヒューマンマシーンインタフェース（ＨＭＩ）３４、及び、車両制御部３５は、通信ネットワーク４１を介して相互に通信可能に接続されている。通信ネットワーク４１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、ＦｌｅｘＲａｙ（登録商標）、イーサネット（登録商標）といったディジタル双方向通信の規格に準拠した車載通信ネットワークやバス等により構成される。通信ネットワーク４１は、伝送されるデータの種類によって使い分けられてもよい。例えば、車両制御に関するデータに対してＣＡＮが適用され、大容量データに対してイーサネットが適用されるようにしてもよい。なお、車両制御システム１１の各部は、通信ネットワーク４１を介さずに、例えば近距離無線通信（ＮＦＣ（Near Field Communication））やＢｌｕｅｔｏｏｔｈ（登録商標）といった比較的近距離での通信を想定した無線通信を用いて直接的に接続される場合もある。
　なお、以下、車両制御システム１１の各部が、通信ネットワーク４１を介して通信を行う場合、通信ネットワーク４１の記載を省略するものとする。例えば、車両制御ＥＣＵ２１と通信部２２が通信ネットワーク４１を介して通信を行う場合、単に車両制御ＥＣＵ２１と通信部２２とが通信を行うと記載する。
　［車両制御ＥＣＵ２１］
　車両制御ＥＣＵ２１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）といった各種のプロセッサにより構成される。車両制御ＥＣＵ２１は、車両制御システム１１全体又は一部の機能の制御を行う。
　［通信部２２］
　通信部２２は、車内及び車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、各種のデータの送受信を行う。このとき、通信部２２は、複数の通信方式を用いて通信を行うことができる。
　通信部２２が実行可能な車外との通信について、概略的に説明する。通信部２２は、例えば、５Ｇ（第５世代移動通信システム）、ＬＴＥ（Long Term Evolution）、ＤＳＲＣ（Dedicated Short Range Communications）等の無線通信方式により、基地局又はアクセスポイントを介して、外部ネットワーク上に存在するサーバ（以下、外部のサーバと呼ぶ）等と通信を行う。通信部２２が通信を行う外部ネットワークは、例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク等である。通信部２２が外部ネットワークに対して行う通信方式は、所定以上の通信速度、且つ、所定以上の距離間でディジタル双方向通信が可能な無線通信方式であれば、特に限定されない。
　また例えば、通信部２２は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末と通信を行うことができる。自車の近傍に存在する端末は、例えば、歩行者や自転車等の比較的低速で移動する移動体が装着する端末、店舗等に位置が固定されて設置される端末、又は、ＭＴＣ（Machine Type Communication）端末である。さらに、通信部２２は、Ｖ２Ｘ通信を行うこともできる。Ｖ２Ｘ通信とは、例えば、他の車両との間の車車間（Vehicle to Vehicle）通信、路側器等との間の路車間（Vehicle to Infrastructure）通信、家との間（Vehicle to Home）の通信、及び、歩行者が所持する端末等との間の歩車間（Vehicle to Pedestrian）通信等の、自車と他との通信をいう。
　通信部２２は、例えば、車両制御システム１１の動作を制御するソフトウエアを更新するためのプログラムを外部から受信することができる（Over The Air)。通信部２２は、さらに、地図情報、交通情報、車両１の周囲の情報等を外部から受信することができる。また例えば、通信部２２は、車両１に関する情報や、車両１の周囲の情報等を外部に送信することができる。通信部２２が外部に送信する車両１に関する情報としては、例えば、車両１の状態を示すデータ、認識部７３による認識結果等がある。さらに例えば、通信部２２は、ｅコール等の車両緊急通報システムに対応した通信を行う。
　例えば、通信部２２は、電波ビーコン、光ビーコン、ＦＭ多重放送等の道路交通情報通信システム（ＶＩＣＳ（Vehicle Information and Communication System）（登録商標））により送信される電磁波を受信する。
　通信部２２が実行可能な車内との通信について、概略的に説明する。通信部２２は、例えば無線通信を用いて、車内の各機器と通信を行うことができる。通信部２２は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、ＷＵＳＢ（Wireless USB）といった、無線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の機器と無線通信を行うことができる。これに限らず、通信部２２は、有線通信を用いて車内の各機器と通信を行うこともできる。例えば、通信部２２は、図示しない接続端子に接続されるケーブルを介した有線通信により、車内の各機器と通信を行うことができる。通信部２２は、例えば、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）、ＭＨＬ（Mobile High-definition Link）といった、有線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の各機器と通信を行うことができる。
　ここで、車内の機器とは、例えば、車内において通信ネットワーク４１に接続されていない機器を指す。車内の機器としては、例えば、運転者等の搭乗者が所持するモバイル機器やウェアラブル機器、車内に持ち込まれ一時的に設置される情報機器等が想定される。
　［地図情報蓄積部２３］
　地図情報蓄積部２３は、外部から取得した地図及び車両１で作成した地図の一方又は両方を蓄積する。例えば、地図情報蓄積部２３は、３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ等を蓄積する。
　高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップ等である。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の４層からなる地図であり、外部のサーバ等から車両１に提供される。ポイントクラウドマップは、ポイントクラウド（点群データ）により構成される地図である。ベクターマップは、例えば、車線や信号機の位置といった交通情報等をポイントクラウドマップに対応付け、ＡＤＡＳ（Advanced Driver Assistance System）やＡＤ（Autonomous Driving）に適合させた地図である。
　ポイントクラウドマップ及びベクターマップは、例えば、外部のサーバ等から提供されてもよいし、カメラ５１、レーダ５２、ＬｉＤＡＲ５３等によるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両１で作成され、地図情報蓄積部２３に蓄積されてもよい。また、外部のサーバ等から高精度地図が提供される場合、通信容量を削減するため、車両１がこれから走行する計画経路に関する、例えば数百メートル四方の地図データが外部のサーバ等から取得される。
　［位置情報取得部２４］
　位置情報取得部２４は、ＧＮＳＳ（Global Navigation Satellite System）衛星からＧＮＳＳ信号を受信し、車両１の位置情報を取得する。取得した位置情報は、走行支援・自動運転制御部３２に供給される。なお、位置情報取得部２４は、ＧＮＳＳ信号を用いた方式に限定されず、例えば、ビーコンを用いて位置情報を取得してもよい。
　［外部認識センサ２５］
　外部認識センサ２５は、車両１の外部の状況の認識に用いられる各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。外部認識センサ２５が備えるセンサの種類や数は任意である。
　例えば、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）５３、及び、超音波センサ５４を備える。これに限らず、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４のうち１種類以上のセンサを備える構成でもよい。カメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４の数は、現実的に車両１に設置可能な数であれば特に限定されない。また、外部認識センサ２５が備えるセンサの種類は、この例に限定されず、外部認識センサ２５は、他の種類のセンサを備えてもよい。外部認識センサ２５が備える各センサのセンシング領域の例は、後述する。
　なお、カメラ５１の撮影方式は、特に限定されない。例えば、測距が可能な撮影方式であるＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった各種の撮影方式のカメラを、必要に応じてカメラ５１に適用することができる。これに限らず、カメラ５１は、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。
　また、例えば、外部認識センサ２５は、車両１に対する環境を検出するための環境センサを備えることができる。環境センサは、天候、気象、明るさ等の環境を検出するためのセンサであって、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサ等の各種センサを含むことができる。
　さらに、例えば、外部認識センサ２５は、車両１の周囲の音や音源の位置の検出等に用いられるマイクロフォンを備える。
　［車内センサ２６］
　車内センサ２６は、車内の情報を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車内センサ２６が備える各種センサの種類や数は、現実的に車両１に設置可能な種類や数であれば特に限定されない。
　例えば、車内センサ２６は、カメラ、レーダ、着座センサ、ステアリングホイールセンサ、マイクロフォン、生体センサのうち１種類以上のセンサを備えることができる。車内センサ２６が備えるカメラとしては、例えば、ＴｏＦカメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった、測距可能な各種の撮影方式のカメラを用いることができる。これに限らず、車内センサ２６が備えるカメラは、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。車内センサ２６が備える生体センサは、例えば、シートやステアリングホイール等に設けられ、運転者等の搭乗者の各種の生体情報を検出する。
　［車両センサ２７］
　車両センサ２７は、車両１の状態を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車両センサ２７が備える各種センサの種類や数は、現実的に車両１に設置可能な種類や数であれば特に限定されない。
　例えば、車両センサ２７は、速度センサ、加速度センサ、角速度センサ（ジャイロセンサ）、及び、それらを統合した慣性計測装置（ＩＭＵ（Inertial Measurement Unit））を備える。例えば、車両センサ２７は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、及び、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ２７は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、及び、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ２７は、バッテリの残量及び温度を検出するバッテリセンサ、並びに、外部からの衝撃を検出する衝撃センサを備える。
　［記憶部３１］
　記憶部３１は、不揮発性の記憶媒体及び揮発性の記憶媒体のうち少なくとも一方を含み、データやプログラムを記憶する。記憶部３１は、例えばＥＥＰＲＯＭ(Electrically Erasable Programmable Read Only Memory)及びＲＡＭ(Random Access Memory)として用いられ、記憶媒体としては、ＨＤＤ（Hard Disc Drive）といった磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイスを適用することができる。記憶部３１は、車両制御システム１１の各部が用いる各種プログラムやデータを記憶する。例えば、記憶部３１は、ＥＤＲ（Event Data Recorder）やＤＳＳＡＤ（Data Storage System for Automated Driving）を備え、事故等のイベントの前後の車両１の情報や車内センサ２６によって取得された情報を記憶する。
　［走行支援・自動運転制御部３２］
　走行支援・自動運転制御部３２は、車両１の走行支援及び自動運転の制御を行う。例えば、走行支援・自動運転制御部３２は、分析部６１、行動計画部６２、及び、動作制御部６３を備える。
　分析部６１は、車両１及び周囲の状況の分析処理を行う。分析部６１は、自己位置推定部７１、センサフュージョン部７２、及び、認識部７３を備える。
　自己位置推定部７１は、外部認識センサ２５からのセンサデータ、及び、地図情報蓄積部２３に蓄積されている高精度地図に基づいて、車両１の自己位置を推定する。例えば、自己位置推定部７１は、外部認識センサ２５からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両１の自己位置を推定する。車両１の位置は、例えば、後輪対車軸の中心が基準とされる。
　ローカルマップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いて作成される３次元の高精度地図、占有格子地図（Occupancy Grid Map）等である。３次元の高精度地図は、例えば、上述したポイントクラウドマップ等である。占有格子地図は、車両１の周囲の３次元又は２次元の空間を所定の大きさのグリッド（格子）に分割し、グリッド単位で物体の占有状態を示す地図である。物体の占有状態は、例えば、物体の有無や存在確率により示される。ローカルマップは、例えば、認識部７３による車両１の外部の状況の検出処理及び認識処理にも用いられる。
　なお、自己位置推定部７１は、位置情報取得部２４により取得される位置情報、及び、車両センサ２７からのセンサデータに基づいて、車両１の自己位置を推定してもよい。
　センサフュージョン部７２は、複数の異なる種類のセンサデータ（例えば、カメラ５１から供給される画像データ、及び、レーダ５２から供給されるセンサデータ）を組み合わせて、新たな情報を得るセンサフュージョン処理を行う。異なる種類のセンサデータを組合せる方法としては、統合、融合、連合等がある。
　認識部７３は、車両１の外部の状況の検出を行う検出処理、及び、車両１の外部の状況の認識を行う認識処理を実行する。
　例えば、認識部７３は、外部認識センサ２５からの情報、自己位置推定部７１からの情報、センサフュージョン部７２からの情報等に基づいて、車両１の外部の状況の検出処理及び認識処理を行う。
　具体的には、例えば、認識部７３は、車両１の周囲の物体の検出処理及び認識処理等を行う。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動き等を検出する処理である。物体の認識処理とは、例えば、物体の種類等の属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複する場合がある。
　例えば、認識部７３は、レーダ５２又はＬｉＤＡＲ５３等によるセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両１の周囲の物体を検出する。これにより、車両１の周囲の物体の有無、大きさ、形状、位置が検出される。
　例えば、認識部７３は、クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両１の周囲の物体の動きを検出する。これにより、車両１の周囲の物体の速度及び進行方向（移動ベクトル）が検出される。
　例えば、認識部７３は、カメラ５１から供給される画像データに基づいて、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示等を検出又は認識する。また、認識部７３は、セマンティックセグメンテーション等の認識処理を行うことにより、車両１の周囲の物体の種類を認識してもよい。
　例えば、認識部７３は、地図情報蓄積部２３に蓄積されている地図、自己位置推定部７１による自己位置の推定結果、及び、認識部７３による車両１の周囲の物体の認識結果に基づいて、車両１の周囲の交通ルールの認識処理を行うことができる。認識部７３は、この処理により、信号機の位置及び状態、交通標識及び道路標示の内容、交通規制の内容、並びに、走行可能な車線等を認識することができる。
　例えば、認識部７３は、車両１の周囲の環境の認識処理を行うことができる。認識部７３が認識対象とする周囲の環境としては、天候、気温、湿度、明るさ、及び、路面の状態等が想定される。
　行動計画部６２は、車両１の行動計画を作成する。例えば、行動計画部６２は、経路計画、経路追従の処理を行うことにより、行動計画を作成する。
　なお、経路計画（Global path planning）とは、スタートからゴールまでの大まかな経路を計画する処理である。この経路計画には、軌道計画と言われ、計画した経路において、車両１の運動特性を考慮して、車両１の近傍で安全かつ滑らかに進行することが可能な軌道生成（Local path planning）を行う処理も含まれる。
　経路追従とは、経路計画により計画された経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。行動計画部６２は、例えば、この経路追従の処理の結果に基づき、車両１の目標速度と目標角速度を計算することができる。
　動作制御部６３は、行動計画部６２により作成された行動計画を実現するために、車両１の動作を制御する。
　例えば、動作制御部６３は、後述する車両制御部３５に含まれる、ステアリング制御部８１、ブレーキ制御部８２、及び、駆動制御部８３を制御して、軌道計画により計算された軌道を車両１が進行するように、加減速制御及び方向制御を行う。例えば、動作制御部６３は、衝突回避又は衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告等のＡＤＡＳの機能実現を目的とした協調制御を行う。例えば、動作制御部６３は、運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行う。
　［ＤＭＳ３３］
　ＤＭＳ３３は、車内センサ２６からのセンサデータ、及び、後述するＨＭＩ３４に入力される入力データ等に基づいて、運転者の認証処理、及び、運転者の状態の認識処理等を行う。認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等が想定される。
　なお、ＤＭＳ３３が、運転者以外の搭乗者の認証処理、及び、当該搭乗者の状態の認識処理を行うようにしてもよい。また、例えば、ＤＭＳ３３が、車内センサ２６からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭い等が想定される。
　［ＨＭＩ３４］
　ＨＭＩ３４は、各種のデータや指示等の入力と、各種のデータの運転者等への提示を行う。
　ＨＭＩ３４によるデータの入力について、概略的に説明する。ＨＭＩ３４は、人がデータを入力するための入力デバイスを備える。ＨＭＩ３４は、入力デバイスにより入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１１の各部に供給する。ＨＭＩ３４は、入力デバイスとして、例えばタッチパネル、ボタン、スイッチ、及び、レバーといった操作子を備える。これに限らず、ＨＭＩ３４は、音声やジェスチャ等により手動操作以外の方法で情報を入力可能な入力デバイスをさらに備えてもよい。さらに、ＨＭＩ３４は、例えば、赤外線又は電波を利用したリモートコントロール装置や、車両制御システム１１の操作に対応したモバイル機器又はウェアラブル機器等の外部接続機器を入力デバイスとして用いてもよい。
　ＨＭＩ３４によるデータの提示について、概略的に説明する。ＨＭＩ３４は、搭乗者又は車外に対する視覚情報、聴覚情報、及び、触覚情報の生成を行う。また、ＨＭＩ３４は、生成された各情報の出力、出力内容、出力タイミング及び出力方法等を制御する出力制御を行う。ＨＭＩ３４は、視覚情報として、例えば、操作画面、車両１の状態表示、警告表示、車両１の周囲の状況を示すモニタ画像等の画像や光により示される情報を生成及び出力する。また、ＨＭＩ３４は、聴覚情報として、例えば、音声ガイダンス、警告音、警告メッセージ等の音により示される情報を生成及び出力する。さらに、ＨＭＩ３４は、触覚情報として、例えば、力、振動、動き等により搭乗者の触覚に与えられる情報を生成及び出力する。
　ＨＭＩ３４が視覚情報を出力する出力デバイスとしては、例えば、自身が画像を表示することで視覚情報を提示する表示装置や、画像を投影することで視覚情報を提示するプロジェクタ装置を適用することができる。なお、表示装置は、通常のディスプレイを有する表示装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）機能を備えるウエアラブルデバイスといった、搭乗者の視界内に視覚情報を表示する装置であってもよい。また、ＨＭＩ３４は、車両１に設けられるナビゲーション装置、インストルメントパネル、ＣＭＳ（Camera Monitoring System）、電子ミラー、ランプ等が有する表示デバイスを、視覚情報を出力する出力デバイスとして用いることも可能である。
　ＨＭＩ３４が聴覚情報を出力する出力デバイスとしては、例えば、オーディオスピーカ、ヘッドホン、イヤホンを適用することができる。
　ＨＭＩ３４が触覚情報を出力する出力デバイスとしては、例えば、ハプティクス技術を用いたハプティクス素子を適用することができる。ハプティクス素子は、例えば、ステアリングホイール、シートといった、車両１の搭乗者が接触する部分に設けられる。
　［車両制御部３５］
　車両制御部３５は、車両１の各部の制御を行う。車両制御部３５は、ステアリング制御部８１、ブレーキ制御部８２、駆動制御部８３、ボディ系制御部８４、ライト制御部８５、及び、ホーン制御部８６を備える。
　ステアリング制御部８１は、車両１のステアリングシステムの状態の検出及び制御等を行う。ステアリングシステムは、例えば、ステアリングホイール等を備えるステアリング機構、電動パワーステアリング等を備える。ステアリング制御部８１は、例えば、ステアリングシステムの制御を行うステアリングＥＣＵ、ステアリングシステムの駆動を行うアクチュエータ等を備える。
　ブレーキ制御部８２は、車両１のブレーキシステムの状態の検出及び制御等を行う。ブレーキシステムは、例えば、ブレーキペダル等を含むブレーキ機構、ＡＢＳ（Antilock Brake System）、回生ブレーキ機構等を備える。ブレーキ制御部８２は、例えば、ブレーキシステムの制御を行うブレーキＥＣＵ、ブレーキシステムの駆動を行うアクチュエータ等を備える。
　駆動制御部８３は、車両１の駆動システムの状態の検出及び制御等を行う。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構等を備える。駆動制御部８３は、例えば、駆動システムの制御を行う駆動ＥＣＵ、駆動システムの駆動を行うアクチュエータ等を備える。
　ボディ系制御部８４は、車両１のボディ系システムの状態の検出及び制御等を行う。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバー等を備える。ボディ系制御部８４は、例えば、ボディ系システムの制御を行うボディ系ＥＣＵ、ボディ系システムの駆動を行うアクチュエータ等を備える。
　ライト制御部８５は、車両１の各種のライトの状態の検出及び制御等を行う。制御対象となるライトとしては、例えば、ヘッドライト、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクション、バンパーの表示等が想定される。ライト制御部８５は、ライトの制御を行うライトＥＣＵ、ライトの駆動を行うアクチュエータ等を備える。
　ホーン制御部８６は、車両１のカーホーンの状態の検出及び制御等を行う。ホーン制御部８６は、例えば、カーホーンの制御を行うホーンＥＣＵ、カーホーンの駆動を行うアクチュエータ等を備える。
　図２は、第１実施形態の車両１のセンシング領域を示す平面図である。図２は、図１の外部認識センサ２５のカメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４等によるセンシング領域の例を示している。なお、図２において、車両１を上面から見た様子が模式的に示され、左端側が車両１の前端（フロント）側であり、右端側が車両１の後端（リア）側となっている。
　［センシング領域１－１Ｆ，Ｂ］
　センシング領域１－１Ｆ及びセンシング領域１－１Ｂは、超音波センサ５４のセンシング領域の例を示している。センシング領域１－１Ｆは、複数の超音波センサ５４によって車両１の前端周辺をカバーしている。センシング領域１－１Ｂは、複数の超音波センサ５４によって車両１の後端周辺をカバーしている。
　センシング領域１－１Ｆ及びセンシング領域１－１Ｂにおけるセンシング結果は、例えば、車両１の駐車支援等に用いられる。
　［センシング領域１－２Ｆ，Ｂ，Ｌ，Ｒ］
　センシング領域１－２Ｆ乃至センシング領域１－２Ｂは、短距離又は中距離用のレーダ５２のセンシング領域の例を示している。センシング領域１－２Ｆは、車両１の前方において、センシング領域１－１Ｆより遠い位置までカバーしている。センシング領域１－２Ｂは、車両１の後方において、センシング領域１－１Ｂより遠い位置までカバーしている。センシング領域１－２Ｌは、車両１の左側面の後方の周辺をカバーしている。センシング領域１－２Ｒは、車両１の右側面の後方の周辺をカバーしている。
　センシング領域１－２Ｆにおけるセンシング結果は、例えば、車両１の前方に存在する車両や歩行者等の検出等に用いられる。センシング領域１－２Ｂにおけるセンシング結果は、例えば、車両１の後方の衝突防止機能等に用いられる。センシング領域１－２Ｌ及びセンシング領域１－２Ｒにおけるセンシング結果は、例えば、車両１の側方の死角における物体の検出等に用いられる。
　［センシング領域１－３Ｆ，Ｂ，Ｌ，Ｒ］
　センシング領域１－３Ｆ乃至センシング領域１－３Ｂは、カメラ５１によるセンシング領域の例を示している。センシング領域１－３Ｆは、車両１の前方において、センシング領域１－２Ｆより遠い位置までカバーしている。センシング領域１－３Ｂは、車両１の後方において、センシング領域１－２Ｂより遠い位置までカバーしている。センシング領域１－３Ｌは、車両１の左側面の周辺をカバーしている。センシング領域１－３Ｒは、車両１の右側面の周辺をカバーしている。
　センシング領域１－３Ｆにおけるセンシング結果は、例えば、信号機や交通標識の認識、車線逸脱防止支援システム、自動ヘッドライト制御システムに用いることができる。センシング領域１－３Ｂにおけるセンシング結果は、例えば、駐車支援、及び、サラウンドビューシステムに用いることができる。センシング領域１－３Ｌ及びセンシング領域１－３Ｒにおけるセンシング結果は、例えば、サラウンドビューシステムに用いることができる。
　［センシング領域１－４］
　センシング領域１－４は、ＬｉＤＡＲ５３のセンシング領域の例を示している。センシング領域１－４は、車両１の前方において、センシング領域１－３Ｆより遠い位置までカバーしている。一方、センシング領域１－４は、センシング領域１－３Ｆより左右方向の範囲が狭くなっている。
　センシング領域１－４におけるセンシング結果は、例えば、周辺車両等の物体検出に用いられる。
　［センシング領域１－５］
　センシング領域１－５は、長距離用のレーダ５２のセンシング領域の例を示している。センシング領域１－５は、車両１の前方において、センシング領域１－４より遠い位置までカバーしている。一方、センシング領域１－５は、センシング領域１－４より左右方向の範囲が狭くなっている。
　センシング領域１－５におけるセンシング結果は、例えば、ＡＣＣ（Adaptive Cruise Control）、緊急ブレーキ、衝突回避等に用いられる。
　なお、外部認識センサ２５が含むカメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４の各センサのセンシング領域は、図２以外に各種の構成をとってもよい。具体的には、超音波センサ５４が車両１の側方もセンシングするようにしてもよいし、ＬｉＤＡＲ５３が車両１の後方をセンシングするようにしてもよい。また、各センサの設置位置は、上述した各例に限定されない。また、各センサの数は、１つでもよいし、複数であってもよい。
　（２）第１実施形態の固体撮像装置
　図３は、第１実施形態の固体撮像装置の構成を示すブロック図である。
　本実施形態の固体撮像装置は、図１に示す車両１に設けられており、例えば、外部認識センサ２５に含まれている。本実施形態の固体撮像装置は、被写体の変化を検出するためのＥＶＳである。本実施形態の被写体の例は、車両１の前方に存在する人間、車両、障害物などである。
　本実施形態の固体撮像装置は、図３に示すように、複数の画素１０１を含む画素アレイ領域１０２と、複数のアービタ１０３ａ～１０３ｄと、複数のラッチ部１０４ａ～１０４ｄと、複数の信号線１０５ａ～１０５ｄと、複数の読み出し線１０６ａ～１０６ｄと、複数の信号線１０７ａ～１０７ｄとを備えている。アービタ１０３ａ～１０３ｄの各々は、適宜「アービタ１０３」とも呼び、ラッチ部１０４ａ～１０４ｄの各々は、適宜「ラッチ部１０４」とも呼ぶ。同様に、信号線１０５ａ～１０５ｄの各々、読み出し線１０６ａ～１０６ｄの各々、信号線１０７ａ～１０７ｄはそれぞれ、適宜「信号線１０５」「読み出し線１０６」「信号線１０７」とも呼ぶ。
　図３は、互いに垂直なＸ軸、Ｙ軸、およびＺ軸を示している。Ｘ方向およびＹ方向は横方向に相当し、Ｚ方向は縦方向に相当する。また、＋Ｚ方向は上方向に相当し、－Ｚ方向は下方向に相当する。なお、－Ｚ方向は、厳密に重力方向に一致していてもよいし、厳密には重力方向に一致していなくてもよい。±Ｘ方向は、本開示の第１方向の例であり、±Ｙ方向は、本開示の第２方向の例である。
　［画素１０１、画素アレイ領域１０２］
　上記複数の画素１０１は、画素アレイ領域１０２内でＸ方向およびＹ方向に沿って２次元アレイ状に配置されている。図３は、１４４個（＝１２×１２個）の画素１０１を示しているが、画素アレイ領域１０２内の画素１０１の個数は、その他の個数でもよい。Ｘ方向は、画素アレイ領域１０２の行方向（水平方向）に相当し、Ｙ方向は、画素アレイ領域１０２の列方向（垂直方向）に相当する。
　本実施形態の各画素１０１は、オンイベントやオフイベントなどのイベントを検出する機能を有する。オンイベントは、画素１０１の輝度が増加した場合において、輝度の変化量（増加量）の絶対値が閾値より大きい場合に発火する。オフイベントは、画素１０１の輝度が減少した場合において、輝度の変化量（減少量）の絶対値が閾値より大きい場合に発火する。例えば、オンイベントは、画素１０１に被写体が入ってきた際に発火し、オフイベントは、画素１０１から被写体が出ていった際に発火する。
　［信号線１０５］
　信号線１０５ａ～１０５ｄは、画素アレイ領域１０２の内部および外部にわたって配置されており、それぞれアービタ１０３ａ～１０３ｄと電気的に接続されている。画素アレイ領域１０２の内部では、信号線１０５ａ～１０５ｄが、Ｘ方向に延びており、Ｙ方向に互いに離間されている。図３は、信号線１０５ａ～１０５ｄを互いに区別するため、信号線１０５ａ、１０５ｂ、１０５ｃ、１０５ｄをそれぞれ「太い実線」「太い破線」「細い実線」「細い破線」で図示している（以下同様）。
　信号線１０５ａ～１０５ｄの各々は、１行分の１２個の画素１０１とＺ方向に重なる位置に配置されており、これらの画素１０１と電気的に接続されている。例えば、図３にて画素アレイ領域１０２の＋Ｙ方向の端に配置された１本の信号線１０５ａは、画素アレイ領域１０２の＋Ｙ方向の端に配置された１行分の１２個の画素１０１と電気的に接続されている。この信号線１０５ａは、これらの画素１０１の＋Ｚ方向に配置されていてもよいし、これらの画素１０１の－Ｚ方向に配置されていてもよい。これは、他の信号線１０５ａ～１０５ｄについても同様である。本実施形態の固体撮像装置は、１２行分の１４４個の画素１０１に対応して１２本の信号線１０５ａ～１０５ｄを備えており、具体的には、３本の信号線１０５ａと、３本の信号線１０５ｂと、３本の信号線１０５ｃと、３本の信号線１０５ｄとを備えている。
　信号線１０５ａ～１０５ｄはそれぞれ、グループａ～ｄに属している。同様に、信号線１０５ａ～１０５ｄと電気的に接続されている画素１０１もそれぞれ、グループａ～ｄに属している。グループａ～ｄに属する画素１０１はそれぞれ、信号線１０５ａ～１０５ｄを介して、アービタ１０３ａ～１０３ｄと電気的に接続されている。例えば、図３にて画素アレイ領域１０２の＋Ｙ方向の端に配置された１本の信号線１０５ａや１行の画素１０１は、グループａに属しており、アービタ１０３ａと電気的に接続されている。これは、他の信号線１０５ａ～１０５ｄや画素１０１についても同様である。グループａ～ｄは、本開示の第１から第Ｎ（Ｎは２以上の整数）グループの例である。このＮの値は、本実施形態では４であるが、その他の値でもよい。グループａ～ｄの各々は、本開示の第Ｋ（Ｋは１≦Ｋ≦Ｎを満たす整数）グループの例である。
　ある画素１０１でイベントが発火すると、その画素１０１からＲｅｑ（リクエスト）信号が出力される。Ｒｅｑ信号は、その画素１０１と電気的に接続されている信号線１０５へと出力される。よって、あるグループの画素１０１から出力されたＲｅｑ信号は、そのグループの信号線１０５を介して、そのグループのアービタ１０３に転送される。各画素１０１から出力されるＲｅｑ信号は、各画素１０１のキャパシタに蓄積されている電荷のリセットを要求する信号であり、各画素１０１の画素値の読み出しを要求する信号に相当する。このＲｅｑ信号は例えば、単なる２値信号でもよいし、各画素１０１のアドレスに関する情報（例：各画素１０１のＸ座標およびＹ座標）を含んでいてもよい。
　図３は、画素１０１の例である画素Ｐ１～Ｐ３を例示している。画素Ｐ１は、１本の信号線１０５ｃと電気的に接続されており、グループｃに属している。画素Ｐ２は、１本の信号線１０５ｄと電気的に接続されており、グループｄに属している。画素Ｐ３は、別の１本の信号線１０５ｃと電気的に接続されており、グループｃに属している。図３はさらに、画素Ｐ１～Ｐ３から出力された３つのＲｅｑ信号を例示している。画素Ｐ２から出力されたＲｅｑ信号は、アービタ１０３ｄに入力される。一方、画素Ｐ１、Ｐ３から出力されたＲｅｑ信号は、アービタ１０３ｃに入力され、アービタ１０３ｃにより調停されることなる。
　本実施形態の信号線１０５ａ～１０５ｄは、画素アレイ領域１０２内に交互に配置されている。例えば、各信号線１０５ｃは、Ｙ方向に信号線１０５ｂ、１０５ｄと隣接している。また、各信号線１０５ｄは、Ｙ方向に信号線１０５ｃ、１０５ａと隣接しているか、Ｙ方向に信号線１０５ｃのみと隣接している。このように、あるグループの信号線１０５は、Ｙ方向に別のグループの信号線１０５と隣接しており、Ｙ方向に同じグループの信号線１０５とは隣接していない。
　このような配置には例えば、イベント（Ｒｅｑ信号）の調停回数を低減できるという利点がある。一般に、複数のイベントが同時に発火する現象は、互いに近くに配置された複数の画素１０１で生じやすい。そのため、同じグループの信号線１０５同士を近くに配置すると、同じグループの画素１０１同士が近くに配置され、複数のイベントが同じグループの複数の画素１０１で同時に発火しやすくなる。その結果、これらのイベントの調停が必要となる。本実施形態によれば、信号線１０５ａ～１０５ｄを交互に配置することで、複数のイベントが同じグループの複数の画素１０１で同時に発火する回数を低減することが可能となり、イベントの調停回数を低減することが可能となる。
　［アービタ１０３］
　アービタ１０３ａ～１０３ｄはそれぞれ、グループａ～ｄに属しており、グループａ～ｄの画素１０１で発火したイベントを調停する。本実施形態のアービタ１０３ａ～１０３ｄは、画素アレイ領域１０２の－Ｘ方向に配置されており、画素アレイ領域１０２に対し互いに並列に配置されている。図３では、画素アレイ領域１０２と、アービタ１０３ａ～１０３ｄとが、Ｘ方向に互いに離間されている。アービタ１０３ａ～１０３ｄは、本開示の第１から第Ｎアービタの例である（ここではＮ＝４）。
　例えば、アービタ１０３ａは、グループａのある画素１０１から出力されたＲｅｑ信号を受信すると、その画素１０１のＲｅｑ信号を、信号線１０７ａを介してラッチ部１０４ａに出力する。アービタ１０３ａから出力されるＲｅｑ信号は、アービタ１０３ａが受信したＲｅｑ信号と同じ信号でも異なる信号でもよい。また、アービタ１０３ａは、複数のイベントがグループａの複数の画素１０１で同時に発火した場合、これらの画素１０１から出力された複数のＲｅｑ信号を調停する。具体的には、アービタ１０３ａがまず第１画素１０１からＲｅｑ信号を受信して次に第２画素１０１からＲｅｑ信号を受信した場合、第１画素１０１のＲｅｑ信号がラッチ部１０４ａに出力され、その後、第２画素１０１のＲｅｑ信号がラッチ部１０４ａに出力される。すなわち、第１画素１０１のＲｅｑ信号が優先的にラッチ部１０４ａに出力され、第２画素１０１のＲｅｑ信号は、待ち時間を経てラッチ部１０４ａに出力される。これは、アービタ１０３ｂ～１０３ｄについても同様である。
　［信号線１０７］
　信号線１０７ａ～１０７ｄは、画素アレイ領域１０２の外部に配置されている。信号線１０７ａ～１０７ｄはそれぞれ、グループａ～ｄに属しており、アービタ１０３ａ～１０３ｄとラッチ部１０４ａ～１０４ｄとを電気的に接続している。アービタ１０３ａ～１０３ｄから出力されたＲｅｑ信号はそれぞれ、信号線１０７ａ～１０７ｄを介してラッチ部１０４ａ～１０４ｄに転送される。
　［読み出し線１０６］
　読み出し線１０６ａ～１０６ｄは、画素アレイ領域１０２の内部および外部にわたって配置されており、それぞれラッチ部１０４ａ～１０４ｄと電気的に接続されている。画素アレイ領域１０２の内部では、読み出し線１０６ａ～１０６ｄが、Ｙ方向に延びており、Ｘ方向に互いに離間されている。本実施形態の読み出し線１０６ａ～１０６ｄは、各画素１０１から画素値を読み出すために使用される。
　本実施形態の固体撮像装置は、１２行分の画素１０１用に１２本の信号線１０５ａ～１０５ｄを備え、１２列分の画素１０１用に４８本の読み出し線１０６ａ～１０６ｄを備えている。読み出し線１０６ａ～１０６ｄの本数が１２本ではなく４８本なのは、グループａ～ｄの個数が４個であることに起因する。本実施形態の固体撮像装置は、１２本の読み出し線１０６ａと、１２本の読み出し線１０６ｂと、１２本の読み出し線１０６ｃと、１２本の読み出し線１０６ｄとを備えている。図３は、図面が過度に複雑になることを回避するため、４８本の読み出し線１０６ａ～１０６ｄのうちの１２本のみを図示しており、残りの３６本の読み出し線１０６ａ～１０６ｄの図示を省略している。
　読み出し線１０６ａ～１０６ｄの各々は、画素アレイ領域１０２内のいずれかの列とＺ方向に重なる位置に配置されており、この列内の３つの画素１０１と電気的に接続されている。例えば、図３の一番左に示す読み出し線１０６ａは、図３の左から２番目の列と重なっており、図３にて黒点で示すように、この列内の上から１番目の画素１０１と電気的に接続されている。この読み出し線１０６ａはさらに、この列内の上から５番目および９番目の画素１０１と電気的に接続されているが、黒点の図示は省略されている。この読み出し線１０６ａは、これらの画素１０１の＋Ｚ方向に配置されていてもよいし、これらの画素１０１の－Ｚ方向に配置されていてもよい。これは、他の読み出し線１０６ａ～１０６ｄについても同様である。
　読み出し線１０６ａ～１０６ｄはそれぞれ、グループａ～ｄに属している。グループａ～ｄに属する画素１０１はそれぞれ、読み出し線１０６ａ～１０６ｄを介して、ラッチ部１０４ａ～１０４ｄと電気的に接続されている。例えば、図３に示す３本の読み出し線１０６ａや、これらの読み出し線１０６ａと電気的に接続されている９つの画素１０１は、グループａに属しており、ラッチ部１０４ａと電気的に接続されている。これは、他の読み出し線１０６ａ～１０６ｄや画素１０１についても同様である。
　なお、図３の右から１番目および２番目の読み出し線１０６ａは、図面が過度に複雑になることを回避するため、図３の右から３番目の読み出し線１０６ａより短く図示されているが、実際は図３の右から３番目の読み出し線１０６ａと同じ長さを有している。すなわち、これら３本の読み出し線１０６ａは、いずれも図３の１番上の行まで延びている。これは、他の読み出し線１０６ａ～１０６ｄについても同様である。例えば、図３に示す３本の読み出し線１０６ｂは、いずれも図３の上から２番目の行まで延びている。
　本実施形態の画素アレイ領域１０２内の各列は、グループａ～ｄの個数が４個であることに起因して、４本の読み出し線１０６ａ～１０６ｄとＺ方向に重なっている。よって、本実施形態の各画素１０１のＸ方向の幅は、４本の読み出し線１０６ａ～１０６ｄのＸ方向の幅の合計値より長く設定されている。これにより、これらの読み出し線１０６ａ～１０６ｄを１列分の画素１０１と重なる位置に配置することが可能となる。
　［ラッチ部１０４］
　ラッチ部１０４ａ～１０４ｄはそれぞれ、グループａ～ｄに属しており、グループａ～ｄの画素１０１から画素値を読み出す。本実施形態のラッチ部１０４ａ～１０４ｄは、画素アレイ領域１０２の－Ｙ方向に配置されており、それぞれ画素アレイ領域１０２に対しアービタ１０３ａ～１０３ｄと直列に配置されている。また、アービタ１０３ａ～１０３ｄが－Ｙ方向に向かって順番に並んでいるのと同様に、ラッチ部１０４ａ～１０４ｄも－Ｙ方向に向かって順番に並んでいる。図３では、画素アレイ領域１０２と、ラッチ部１０４ａ～１０４ｄとが、Ｙ方向に互いに離間されている。ラッチ部１０４ａ～１０４ｄは、本開示の第１から第Ｎラッチ部の例である（ここではＮ＝４）。
　例えば、ラッチ部１０４ａは、グループａのある画素１０１のＲｅｑ信号をアービタ１０３ａから受信すると、その画素１０１のＡｃｋ（アクノリッジ）信号を信号線１０７ａを介してアービタ１０３ａに出力する。ラッチ部１０４ａから出力されるＡｃｋ信号は、その画素１０１のキャパシタに蓄積されている電荷のリセットを承認する信号であり、その画素１０１の画素値の読み出しを承認する信号に相当する。このＡｃｋ信号は例えば、単なる２値信号でもよいし、その画素１０１のアドレスに関する情報（例：その画素１０１のＸ座標およびＹ座標）を含んでいてもよい。これは、ラッチ部１０４ｂ～１０４ｄについても同様である。
　この場合、アービタ１０３ａは、グループａのある画素１０１のＡｃｋ信号をラッチ部１０４ａから受信すると、その画素１０１のＡｃｋ信号を、信号線１０５ａを介してその画素１０１に出力する。アービタ１０３ａから出力されるＡｃｋ信号は、アービタ１０３ａが受信したＡｃｋ信号と同じ信号でも異なる信号でもよい。その画素１０１がＡｃｋ信号を受信すると、その画素１０１のキャパシタに蓄積されている電荷がリセットされる。さらには、その画素１０１の画素値が、読み出し線１０６ａを介してラッチ部１０４ａに転送され、ラッチ部１０４ａ内に格納される。このように、ラッチ部１０４ａは、Ｒｅｑ信号に対するＡｃｋ信号を出力することで、Ｒｅｑ信号に対応する画素１０１から画素値を読み出すことができる。これは、ラッチ部１０４ｂ～１０４ｄについても同様である。
　グループａの画素１０１からラッチ部１０４ａに出力される画素値は例えば、その画素１０１でイベントが発火した際の輝度の変化量である。オンイベントが発火すると、輝度の変化量は正の値となり、オフイベントが発火すると、輝度の変化量は負の値となる。代わりに、ラッチ部１０４ａに出力される画素値は、イベントが発火した際の輝度そのものでもよい。ラッチ部１０４ａは例えば、各イベントに関する情報として、画素１０１のＸ座標、Ｙ座標、および画素値や、後述するタイムスタンプを、固体撮像装置の外部に出力する。これは、ラッチ部１０４ｂ～１０４ｄについても同様である。
　図４は、第１実施形態の比較例の固体撮像装置の構成を示すブロック図である。
　本比較例の固体撮像装置は、複数の画素１０１を含む画素アレイ領域１０２と、アービタ１０３と、ラッチ部１０４と、複数の信号線１０５と、複数の読み出し線１０６と、信号線１０７とを備えている。第１実施形態の固体撮像装置が、４つのグループａ～ｄの画素１０１を含む構成を有しているのに対し、本比較例の固体撮像装置は、１つのグループのみの画素１０１を含む構成を有している。
　本比較例の画素アレイ領域１０２内の１４４個の画素１０１は、１つのグループに属している。そのため、画素アレイ領域１０２内の複数の画素１０１でイベントが同時に発火すると、常にイベントの調停が起こる。よって、イベントを迅速に処理することが難しくなる。
　一方、第１実施形態の画素アレイ領域１０２内の各画素１０１は、４つのグループａ～ｄにいずれかに属している。そのため、画素アレイ領域１０２内の複数の画素１０１でイベントが同時に発火しても、これらの画素１０１が別のグループに属していれば、イベントの調停は起こらない。このように、本実施形態によれば、画素アレイ領域１０２内の画素１０１を複数のグループに分け、グループごとにアービタ１０３やラッチ部１０４を用意することで、イベントを迅速に処理することが可能となる。例えば、イベントの調停回数を低減することで、イベントを迅速に処理することが可能となる。
　図５は、第１実施形態の固体撮像装置の動作を説明するための図である。
　図５のＡは、空間内を黒いボールＢが移動する軌道を示している。図５のＡはさらに、時刻Ｔ１、Ｔ２、Ｔ３におけるボールＢの位置を示している。
　図５のＢ、Ｃ、Ｄはそれぞれ、イメージセンサにより時刻Ｔ１、Ｔ２、Ｔ３にボールＢを撮影して得られたフレーム（画像）Ｆ１、Ｆ２、Ｆ３の例を示している。フレームＦ１は時刻Ｔ１に撮影されたため、図５のＢに示すボールＢの位置は、図５のＡにおける時刻Ｔ１のボールＢの位置となっている。これは、フレームＦ２やフレームＦ３についても同様である。
　図５のＥは、本実施形態の固体撮像装置（ＥＶＳ）により時刻Ｔ２にボールＢを撮影して得られたフレームＦ２’の例を示している。領域Ｒ１は、時刻Ｔ１にボールＢが存在していた場所を示し、領域Ｒ２は、時刻Ｔ２にボールＢが到達した場所を示している。領域Ｒ１は、ボールＢが「ある状態」から「ない状態」に変化し、暗い状態から明るい状態に変化したため、フレームＦ２’上で例えば「白」で表される。一方、領域Ｒ２は、ボールＢが「ない状態」から「ある状態」に変化し、明るい状態から暗い状態に変化したため、フレームＦ２’上で例えば「黒」で表される。その他の領域は、フレームＦ２’上で例えば「灰色」で表される。
　図６は、第１実施形態の固体撮像装置の動作と、第１実施形態の比較例の固体撮像装置の動作とを比較するためのグラフである。
　図６のＡは、比較例（図４）の固体撮像装置内で発火した多数のイベントについて、誤差とイベント数との関係を示している。横軸は、イベントが発生した時刻を０とした場合における、イベントにタイムスタンプが付与される時刻を示している。よって、この時刻は、イベントが発生したタイミングと、イベントにタイムスタンプが付与されるタイミングとの間の誤差を示している。後述するように、タイムスタンプは例えば、イベントの発生後にラッチ部１０４内で付与される。縦軸は、個々の時刻に対応するイベント数を示している。
　図６のＡは、同時に発火するイベントの個数が増加すると、誤差とイベント数との関係が、曲線Ｃ１から曲線Ｃ２へと変化し、曲線Ｃ２から曲線Ｃ３へと変化することを示している。比較例では、すべての画素１０１が同じグループに属しているため、同時に発火するイベントの個数が増加すると、多数の調停が起こることで、誤差の大きいイベントの個数が増加してしまう。さらには、誤差の最大値も増加してしまい、処理の遅延が拡大してしまう。
　図６のＢは、第１実施形態（図３）の固体撮像装置内で発火した多数のイベントについて、誤差とイベント数との関係を示している。曲線Ｃａ～Ｃｄはそれぞれ、グループａ～ｄの画素１０１についての誤差とイベント数との関係を示している。
　本実施形態の画素１０１は、４つのグループａ～ｄに分けられている。そのため、同時に発火するイベントの個数が増加しても、本実施形態における誤差の大きいイベントの個数は、比較例における当該個数ほどは急激に増加しない。よって、本実施形態によれば、比較例における問題を抑制することが可能となる。
　図７は、第１実施形態の固体撮像装置の第１の構成例を示すブロック図である。
　図７に示す固体撮像装置は、図３に示す構成要素に加え、複数のタイムスタンプ部１１１ａ～１１１ｄを備えている。タイムスタンプ部１１１ａ～１１１ｄはそれぞれ、ラッチ部１０４ａ～１０４ｄ内に配置されている。タイムスタンプ部１１１ａ～１１１ｄは、第１から第Ｎタイムスタンプ部の例である（ここではＮ＝４）。タイムスタンプ部１１１ａ～１１１ｄの各々は、適宜「タイムスタンプ部１１１」とも呼ぶ。
　タイムスタンプ部１１１ａは、グループａに属する画素１０１で発火した各イベントにタイムスタンプを付与する。例えば、ラッチ部１０４ａが、グループａに属するある画素１０１のＲｅｑ信号をアービタ１０３ａから受信すると、タイムスタンプ部１１１ａは、このＲｅｑ信号をトリガとして、このＲｅｑ信号に対応するイベントにタイムスタンプを付与する。このタイムスタンプは、タイムスタンプ部１１１ａ内に格納される。その後、ラッチ部１０４ａは、このイベントに関する情報として、画素１０１のＸ座標、Ｙ座標、および画素値や、このイベントに付与されたタイムスタンプを、固体撮像装置の外部に出力する。これは、タイムスタンプ部１１１ｂ～１１１ｄについても同様である。
　このように、図７に示す固体撮像装置は、複数のタイムスタンプ部１１１ａ～１１１ｄを備えており、これらのタイムスタンプ部１１１ａ～１１１ｄがそれぞれ、グループａ～ｄに属する画素１０１で発火したイベントにタイムスタンプを付与する。この場合、タイムスタンプ部１１１ａ～１１１ｄの動作が同期されていないと、異なるタイムスタンプ部１１１により付与されたタイムスタンプ同士を比較できないおそれがある。よって、タイムスタンプ部１１１ａ～１１１ｄは、共通のクロック信号に基づいて動作することが望ましい。タイムスタンプは例えば、イベントにタイムスタンプが付与された時刻を表す。
　図８は、第１実施形態の固体撮像装置の第２の構成例を示すブロック図である。
　図８に示す固体撮像装置は、図３に示す構成要素に加え、複数のタイムスタンプ部１１２ａ～１１２ｄを備えている。タイムスタンプ部１１２ａ～１１２ｄはそれぞれ、画素アレイ領域１０２とアービタ１０３ａ～１０３ｄとの間に配置されている。タイムスタンプ部１１２ａ～１１２ｄはそれぞれ、信号線１０５ａ～１０５ｄ上に配置されていることから、図８に示す固体撮像装置は、１２個のタイムスタンプ部１１２ａ～１１２ｄを備えている。タイムスタンプ部１１２ａ～１１２ｄは、第１から第Ｎタイムスタンプ部の例である（ここではＮ＝４）。タイムスタンプ部１１２ａ～１１２ｄの各々は、適宜「タイムスタンプ部１１２」とも呼ぶ。
　各タイムスタンプ部１１２ａは、各タイムスタンプ部１１２ａと同じ信号線１０５ａに電気的に接続された画素１０１で発火した各イベントにタイムスタンプを付与する。例えば、タイムスタンプ部１１２ａが、グループａに属するある画素１０１からアービタ１０３ａへと出力されたＲｅｑ信号を受信すると、タイムスタンプ部１１２ａは、このＲｅｑ信号をトリガとして、このＲｅｑ信号に対応するイベントにタイムスタンプを付与する。このタイムスタンプは、タイムスタンプ部１１２ａ内に格納される。その後、ラッチ部１０４ａは、このイベントに関する情報として、画素１０１のＸ座標、Ｙ座標、および画素値や、このイベントに付与されたタイムスタンプを、固体撮像装置の外部に出力する。この場合、アービタ１０３ａは、このイベントに対応するＡｃｋ信号をラッチ部１０４ａから受信した際に、このＡｃｋ信号をトリガとして、このイベントのタイムスタンプをいずれかのタイムスタンプ部１１２ａから読み出し、読み出したタイムスタンプをラッチ部１０４ａに送信する。ラッチ部１０４ａは、このタイムスタンプを固体撮像装置の外部に出力する。これは、タイムスタンプ部１１２ｂ～１１２ｄについても同様である。
　このように、図８に示す固体撮像装置は、複数のタイムスタンプ部１１２ａ～１１２ｄを備えており、これらのタイムスタンプ部１１２ａ～１１２ｄがそれぞれ、グループａ～ｄに属する画素１０１で発火したイベントにタイムスタンプを付与する。この場合、タイムスタンプ部１１２ａ～１１２ｄの動作が同期されていないと、異なるタイムスタンプ部１１２により付与されたタイムスタンプ同士を比較できないおそれがある。よって、タイムスタンプ部１１２ａ～１１２ｄも、タイムスタンプ部１１１ａ～１１１ｄと同様に、共通のクロック信号に基づいて動作することが望ましい。
　図８に示すタイムスタンプ部１１２ａ～１１２ｄは、図７に示すタイムスタンプ部１１１ａ～１１１ｄに比べて、画素アレイ領域１０２の近くの段に配置されている。よって、図８に示す構成によれば、図７に示す構成に比べて、真値に近いタイムスタンプを各イベントに付与することが可能となる。
　図９は、第１実施形態のアービタ１０３ａの構成例を示す回路図である。
　図９に示すアービタ１０３ａは、８本の信号線１０５ａ用のインタフェース１２１と、インタフェース１２１の後段でトーナメントを構成する７つのアービタ回路１２２～１２８とを示している。
　アービタ回路１２２～１２５の各々は、２本の信号線１０５ａと電気的に接続されており、これらの信号線１０５ａからのＲｅｑ信号を調停する。アービタ回路１２６は、アービタ回路１２２から調停の結果として出力されたＲｅｑ信号と、アービタ回路１２３から調停の結果として出力されたＲｅｑ信号とを調停する。アービタ回路１２７は、アービタ回路１２４から調停の結果として出力されたＲｅｑ信号と、アービタ回路１２５から調停の結果として出力されたＲｅｑ信号とを調停する。アービタ回路１２８は、アービタ回路１２６から調停の結果として出力されたＲｅｑ信号と、アービタ回路１２７から調停の結果として出力されたＲｅｑ信号とを調停する。アービタ１０３ａは、アービタ回路１２８から調停の結果として出力されたＲｅｑ信号を、信号線１０７ａに出力する。
　なお、アービタ１０３ｂ～１０３ｄの各々も、図９に示すアービタ１０３ａと同様に構成することが可能である。
　（３）第１実施形態のタイムスタンプ回路
　図１０は、第１実施形態のタイムスタンプ回路の第１の構成例を示す回路図である。
　図１０は、前述の１２個のタイムスタンプ部１１２ａ～１１２ｄ（図８）のうちの２個のタイムスタンプ部１１２ａ、１１２ｂを図示しており、その他の１０個のタイムスタンプ部１１２ａ～１１２ｄの図示は省略している。図１０では、各タイムスタンプ部１１２が、リップルカウンタにより構成されている。各リップルカウンタは、対応する信号線１０５からＲｅｑ信号を受信し、さらには全リップルカウンタに共通のクロック信号（ＣＬＫ）を受信する。
　図１１は、第１実施形態のタイムスタンプ回路の第２の構成例を示す回路図である。
　図１１も、前述の１２個のタイムスタンプ部１１２ａ～１１２ｄ（図８）のうちの２個のタイムスタンプ部１１２ａ、１１２ｂを図示しており、その他の１０個のタイムスタンプ部１１２ａ～１１２ｄの図示は省略している。図１１では、各タイムスタンプ部１１２が、対応する信号線１０５からＲｅｑ信号を受信する。
　図１１はさらに、本実施形態の固体撮像装置に含まれるグレイコード生成器１３１、グレイコードカウンタ１３２、およびメモリ１３３を示している。図１１では、各タイムスタンプの上位ビットが、グローバルタイムスタンプ部により付与され、各タイムスタンプの下位ビットが、ローカルタイムスタンプ部により付与される。グローバルタイムスタンプ部およびローカルタイムスタンプ部の動作は、クロック信号（ＣＬＫ）が入力されるグレイコード生成器１３１により制御される。
　グローバルタイムスタンプ部は、すべての画素１０１を対象とするタイムスタンプ（上位ビット）を生成する。グローバルタイムスタンプ部は、上位ビットのタイムスタンプ部に相当するグレイコードカウンタ１３２と、タイムスタンプ用のメモリ１３３とを含んでいる。一方、ローカルタイムスタンプ部は、グループａ～ｄに対応するタイムスタンプ部１１２ａ～１１２ｄによりタイムスタンプ（下位ビット）を生成する。
　以上のように、本実施形態の画素１０１は複数のグループに分けられており、グループごとにアービタ１０３、ラッチ部１０４、タイムスタンプ１１１（または１１２）などが用意されている。よって、本実施形態によれば、イベントを迅速に処理することが可能となる。例えば、イベントの調停回数を低減することで、イベントを迅速に処理することが可能となる。
　（第２～第４実施形態）
　図１２は、第２実施形態の固体撮像装置の構成を示すブロック図である。
　本実施形態の固体撮像装置は、第１実施形態の固体撮像装置の画素アレイ領域１０２を２つの部分領域１０２－１、１０２－２に分割した構成を有している。本実施形態の部分領域１０２－１、１０２－２は、Ｘ方向に互いに離間されている。このような分割を左右分割と呼ぶ。本実施形態の部分領域１０２－１、１０２－２は、本開示の第１および第２領域の例である。
　本実施形態の部分領域１０２－１、１０２－２の各々の構成は、第１実施形態の画素アレイ領域１０２の構成と同様である。本実施形態の固体撮像装置は、部分領域１０２－１用に、４つのアービタ１０３ａ～１０３ｄと、４つのラッチ部１０４ａ～１０４ｄと、複数の信号線１０５ａ～１０５ｄと、複数の読み出し線１０６ａ～１０６ｄと、複数の信号線１０７ａ～１０７ｄと、複数のタイムスタンプ部１１２ａ～１１２ｄ（１１１ａ～１１１ｄでもよい）とを備えている。これは、部分領域１０２－２についても同様である。ただし、部分領域１０２－１のアービタ１０３ａ～１０３ｄは、部分領域１０２－１の－Ｘ方向に配置されており、部分領域１０２－２のアービタ１０３ａ～１０３ｄは、部分領域１０２－１の＋Ｘ方向に配置されている。
　図１３は、第３実施形態の固体撮像装置の構成を示すブロック図である。
　本実施形態の固体撮像装置は、第１実施形態の固体撮像装置の画素アレイ領域１０２を２つの部分領域１０２－１、１０２－２に分割した構成を有している。本実施形態の部分領域１０２－１、１０２－２は、Ｙ方向に互いに離間されている。このような分割を上下分割と呼ぶ。本実施形態の部分領域１０２－１、１０２－２は、本開示の第３および第４領域の例である。
　本実施形態の部分領域１０２－１、１０２－２の各々の構成は、第１実施形態の画素アレイ領域１０２の構成と同様である。本実施形態の固体撮像装置は、部分領域１０２－１用に、２つのアービタ１０３ａ～１０３ｂと、２つのラッチ部１０４ａ～１０４ｂと、複数の信号線１０５ａ～１０５ｂと、複数の読み出し線１０６ａ～１０６ｂと、複数の信号線１０７ａ～１０７ｂと、複数のタイムスタンプ部１１２ａ～１１２ｂ（１１１ａ～１１１ｂでもよい）とを備えている。これは、部分領域１０２－２についても同様である。ただし、部分領域１０２－２は、２つのアービタ１０３ａ～１０３ｂ等の代わりに２つのアービタ１０３ｃ～１０３ｄ等を備えている。また、部分領域１０２－１のラッチ部１０４ａ～１０４ｂは、部分領域１０２－１の＋Ｙ方向に配置されており、部分領域１０２－２のラッチ部１０４ｃ～１０４ｄは、部分領域１０２－１の－Ｙ方向に配置されている。
　図１４は、第４実施形態の固体撮像装置の構成を示すブロック図である。
　本実施形態の固体撮像装置は、第１実施形態の固体撮像装置の画素アレイ領域１０２を４つの部分領域１０２－１～１０２－４に分割した構成を有している。本実施形態の部分領域１０２－１～１０２－４は、Ｘ方向およびＹ方向に互いに離間されている。本実施形態の部分領域１０２－１～１０２－４のうちの２つは、本開示の第１および第２領域の例であるか、本開示の第３および第４領域の例である。
　本実施形態の部分領域１０２－１～１０２－４は、第２実施形態の部分領域１０２－１～１０２－２の構成と、第３実施形態の部分領域１０２－１～１０２－２の構成とを、組み合わせた構成を有している。よって、本実施形態の固体撮像装置は、部分領域１０２－１用に、２つのアービタ１０３ａ～１０３ｂと、２つのラッチ部１０４ａ～１０４ｂと、複数の信号線１０５ａ～１０５ｂと、複数の読み出し線１０６ａ～１０６ｂと、複数の信号線１０７ａ～１０７ｂと、複数のタイムスタンプ部１１２ａ～１１２ｂ（１１１ａ～１１１ｂでもよい）とを備えている。これは、部分領域１０２－２～１０２－４についても同様である。部分領域１０２－１とその他の部分領域との細かな相違点については、第２および第３実施形態で説明した内容と同様である。
　第２～第４実施形態によれば、第１実施形態と同様に、イベントを迅速に処理することが可能となる。第２～第４実施形態の固体撮像装置は、図１０または図１１を参照して説明したタイムスタンプ回路や、図１２を参照して説明したアービタ１０３を備えていてもよい。
　なお、第１～第４実施形態の固体撮像装置は、車両１に設けられて使用されているが、その他の態様で使用されてもよい。例えば、これらの実施形態の固体撮像装置は、カメラなどの光学機器に設けられて使用されてもよいし、ＰＣ（Personal Computer）やスマートフォンなどの情報処理装置に設けられて使用されてもよい。
　以上、本開示の実施形態について説明したが、これらの実施形態は、本開示の要旨を逸脱しない範囲内で、種々の変更を加えて実施してもよい。例えば、２つ以上の実施形態を組み合わせて実施してもよい。
　なお、本開示は、以下のような構成を取ることもできる。
　（１）
　イベントを検出する複数の画素を含み、前記複数の画素の各々は、第１から第Ｎ（Ｎは２以上の整数）グループのいずれかに属する、画素アレイ領域と、
　前記第１から第Ｎグループの画素用にそれぞれ設けられた第１から第Ｎアービタであって、第Ｋ（Ｋは１≦Ｋ≦Ｎを満たす整数）アービタは、第Ｋグループの複数の画素から出力された複数のリクエスト信号を受信し、前記第Ｋグループの前記複数の画素のいずれかに対応するリクエスト信号を出力する、第１から第Ｎアービタと、
　前記第１から第Ｎグループの画素用にそれぞれ設けられた第１から第Ｎラッチ部であって、第Ｋラッチ部は、前記第Ｋアービタから出力された前記リクエスト信号に対応する画素から画素値を読み出す、第１から第Ｎラッチ部と、
　を備える固体撮像装置。
　（２）
　前記画素アレイ領域内の前記複数の画素は、第１方向および第２方向に沿って２次元アレイ状に配置されている、（１）に記載の固体撮像装置。
　（３）
　前記画素アレイ領域は、前記第１方向に延び前記第２方向に互いに離間された複数の信号線を含み、
　前記複数の信号線の各々は、前記第１から第Ｎグループのいずれかに属し、
　前記第１から第Ｎグループの信号線はそれぞれ、前記第１から第Ｎグループの画素から出力されたリクエスト信号を、前記第１から第Ｎアービタに転送する、
　（２）に記載の固体撮像装置。
　（４）
　前記第１から第Ｎグループの各々は、２本以上の信号線を含み、
　前記第Ｋグループの各信号線は、前記第Ｋグループ以外の信号線と前記第２方向に隣接している、
　（３）に記載の固体撮像装置。
　（５）
　前記画素アレイ領域は、前記第２方向に延び前記第１方向に互いに離間された複数の読み出し線を含み、
　前記複数の読み出し線の各々は、前記第１から第Ｎグループのいずれかに属し、
　前記第１から第Ｎグループの読み出し線はそれぞれ、前記第１から第Ｎグループの画素から出力された画素値を、前記第１から第Ｎラッチ部に転送する、
　（２）に記載の固体撮像装置。
　（６）
　前記第１から第Ｎアービタは、前記画素アレイ領域の前記第１方向に配置されている、（２）に記載の固体撮像装置。
　（７）
　前記第１から第Ｎアービタは、前記画素アレイ領域に対し、互いに並列に配置されている、（１）に記載の固体撮像装置。
　（８）
　前記第１から第Ｎラッチ部は、前記画素アレイ領域の前記第２方向に配置されている、（２）に記載の固体撮像装置。
　（９）
　前記第１から第Ｎラッチ部はそれぞれ、前記画素アレイ領域に対し、前記第１から第Ｎアービタと直列に配置されている、（１）に記載の固体撮像装置。
　（１０）
　前記第Ｋラッチ部は、前記第Ｋアービタから出力された前記リクエスト信号に対するアクノリッジ信号を出力することで、前記第Ｋアービタから出力された前記リクエスト信号に対応する画素から前記画素値を読み出す、（１）に記載の固体撮像装置。
　（１１）
　前記第１から第Ｎグループの画素により検出されたイベントにそれぞれタイムスタンプを付与する第１から第Ｎタイムスタンプ部をさらに備える、（１）に記載の固体撮像装置。
　（１２）
　前記第１から第Ｎタイムスタンプ部は、共通のクロック信号に基づいて動作する、（１１）に記載の固体撮像装置。
　（１３）
　前記第１から第Ｎタイムスタンプ部はそれぞれ、前記第１から第Ｎラッチ部内に配置されている、（１１）に記載の固体撮像装置。
　（１４）
　前記第１から第Ｎタイムスタンプ部はそれぞれ、前記画素アレイ領域と前記第１から第Ｎアービタとの間に配置されている、（１１）に記載の固体撮像装置。
　（１５）
　前記第１から第Ｎタイムスタンプ部はそれぞれ、前記第１から第Ｎグループの画素から出力されたリクエスト信号をトリガとして、前記タイムスタンプを付与する、（１１）に記載の固体撮像装置。
　（１６）
　前記第１から第Ｎのアービタはそれぞれ、前記第１から第Ｎラッチ部から出力されたアクノリッジ信号をトリガとして、前記第１から第Ｎタイムスタンプ部から前記タイムスタンプを読み出す、（１５）に記載の固体撮像装置。
　（１７）
　前記画素アレイ領域は、第１領域と第２領域とを含み、
　前記第１から第Ｎアービタは、前記第１領域用の第１から第Ｎアービタと、前記第２領域用の第１から第Ｎアービタとを含み、
　前記第１から第Ｎラッチ部は、前記第２領域用の第１から第Ｎラッチ部と、前記第２領域用の第１から第Ｎラッチ部とを含む、
　（１）に記載の固体撮像装置。
　（１８）
　前記第１から第Ｎアービタは、前記画素アレイ領域と第１方向に離間されており、
　前記第１から第Ｎラッチ部は、前記画素アレイ領域と第２方向に離間されており、
　前記第１領域と前記第２領域は、前記第１方向に互いに離間されている、
　（１７）に記載の固体撮像装置。
　（１９）
　前記画素アレイ領域は、第３領域と第４領域とを含み、
　前記第１から第Ｎラッチ部の一部は、前記第３領域付近に配置されており、
　前記第１から第Ｎラッチ部の別の一部は、前記第４領域付近に配置されている、
　（１）に記載の固体撮像装置。
　（２０）
　前記第１から第Ｎアービタは、前記画素アレイ領域と第１方向に離間されており、
　前記第１から第Ｎラッチ部は、前記画素アレイ領域と第２方向に離間されており、
　前記第３領域と前記第４領域は、前記第２方向に互いに離間されている、
　（１９）に記載の固体撮像装置。
　１：車両、１１：車両制御システム、２１：車両制御ＥＣＵ、
　２２：通信部、２３：地図情報蓄積部、２４：位置情報取得部、
　２５：外部認識センサ、２６：車内センサ、２７：車両センサ、
　３１：記憶部、３２：走行支援・自動運転制御部、３３：ＤＭＳ、
　３４：ＨＭＩ、３５：車両制御部、４１：通信ネットワーク、
　５１：カメラ、５２：レーダ、５３：ＬｉＤＡＲ、５４：超音波センサ、
　６１：分析部、６２：行動計画部、６３：動作制御部、
　７１：自己位置推定部、７２：センサフュージョン部、７３：認識部、
　８１：ステアリング制御部、８２：ブレーキ制御部、８３：駆動制御部、
　８４：ボディ系制御部、８５：ライト制御部、８６：ホーン制御部、
　１０１：画素、１０２：画素アレイ領域、１０２－１～１０２－４：部分領域、
　１０３、１０３ａ～１０３ｄ：アービタ、１０４、１０４ａ～１０４ｄ：ラッチ部、
　１０５、１０５ａ～１０５ｄ：信号線、１０６、１０６ａ～１０６ｄ：読み出し線、
　１０７、１０７ａ～１０７ｄ：信号線、
　１１１ａ～１１１ｄ：タイムスタンプ部、１１２ａ～１１２ｄ：タイムスタンプ部、
　１２１：インタフェース、１２２：アービタ回路、
　１２３：アービタ回路、１２４：アービタ回路、１２５：アービタ回路、
　１２６：アービタ回路、１２７：アービタ回路、１２８：アービタ回路、
　１３１：グレイコード生成器、１３２：グレイコードカウンタ、１３３：メモリ

Claims (20)

  1. 　イベントを検出する複数の画素を含み、前記複数の画素の各々は、第１から第Ｎ（Ｎは２以上の整数）グループのいずれかに属する、画素アレイ領域と、
    　前記第１から第Ｎグループの画素用にそれぞれ設けられた第１から第Ｎアービタであって、第Ｋ（Ｋは１≦Ｋ≦Ｎを満たす整数）アービタは、第Ｋグループの複数の画素から出力された複数のリクエスト信号を受信し、前記第Ｋグループの前記複数の画素のいずれかに対応するリクエスト信号を出力する、第１から第Ｎアービタと、
    　前記第１から第Ｎグループの画素用にそれぞれ設けられた第１から第Ｎラッチ部であって、第Ｋラッチ部は、前記第Ｋアービタから出力された前記リクエスト信号に対応する画素から画素値を読み出す、第１から第Ｎラッチ部と、
    　を備える固体撮像装置。
  2. 　前記画素アレイ領域内の前記複数の画素は、第１方向および第２方向に沿って２次元アレイ状に配置されている、請求項１に記載の固体撮像装置。
  3. 　前記画素アレイ領域は、前記第１方向に延び前記第２方向に互いに離間された複数の信号線を含み、
    　前記複数の信号線の各々は、前記第１から第Ｎグループのいずれかに属し、
    　前記第１から第Ｎグループの信号線はそれぞれ、前記第１から第Ｎグループの画素から出力されたリクエスト信号を、前記第１から第Ｎアービタに転送する、
    　請求項２に記載の固体撮像装置。
  4. 　前記第１から第Ｎグループの各々は、２本以上の信号線を含み、
    　前記第Ｋグループの各信号線は、前記第Ｋグループ以外の信号線と前記第２方向に隣接している、
    　請求項３に記載の固体撮像装置。
  5. 　前記画素アレイ領域は、前記第２方向に延び前記第１方向に互いに離間された複数の読み出し線を含み、
    　前記複数の読み出し線の各々は、前記第１から第Ｎグループのいずれかに属し、
    　前記第１から第Ｎグループの読み出し線はそれぞれ、前記第１から第Ｎグループの画素から出力された画素値を、前記第１から第Ｎラッチ部に転送する、
    　請求項２に記載の固体撮像装置。
  6. 　前記第１から第Ｎアービタは、前記画素アレイ領域の前記第１方向に配置されている、請求項２に記載の固体撮像装置。
  7. 　前記第１から第Ｎアービタは、前記画素アレイ領域に対し、互いに並列に配置されている、請求項１に記載の固体撮像装置。
  8. 　前記第１から第Ｎラッチ部は、前記画素アレイ領域の前記第２方向に配置されている、請求項２に記載の固体撮像装置。
  9. 　前記第１から第Ｎラッチ部はそれぞれ、前記画素アレイ領域に対し、前記第１から第Ｎアービタと直列に配置されている、請求項１に記載の固体撮像装置。
  10. 　前記第Ｋラッチ部は、前記第Ｋアービタから出力された前記リクエスト信号に対するアクノリッジ信号を出力することで、前記第Ｋアービタから出力された前記リクエスト信号に対応する画素から前記画素値を読み出す、請求項１に記載の固体撮像装置。
  11. 　前記第１から第Ｎグループの画素により検出されたイベントにそれぞれタイムスタンプを付与する第１から第Ｎタイムスタンプ部をさらに備える、請求項１に記載の固体撮像装置。
  12. 　前記第１から第Ｎタイムスタンプ部は、共通のクロック信号に基づいて動作する、請求項１１に記載の固体撮像装置。
  13. 　前記第１から第Ｎタイムスタンプ部はそれぞれ、前記第１から第Ｎラッチ部内に配置されている、請求項１１に記載の固体撮像装置。
  14. 　前記第１から第Ｎタイムスタンプ部はそれぞれ、前記画素アレイ領域と前記第１から第Ｎアービタとの間に配置されている、請求項１１に記載の固体撮像装置。
  15. 　前記第１から第Ｎタイムスタンプ部はそれぞれ、前記第１から第Ｎグループの画素から出力されたリクエスト信号をトリガとして、前記タイムスタンプを付与する、請求項１１に記載の固体撮像装置。
  16. 　前記第１から第Ｎのアービタはそれぞれ、前記第１から第Ｎラッチ部から出力されたアクノリッジ信号をトリガとして、前記第１から第Ｎタイムスタンプ部から前記タイムスタンプを読み出す、請求項１５に記載の固体撮像装置。
  17. 　前記画素アレイ領域は、第１領域と第２領域とを含み、
    　前記第１から第Ｎアービタは、前記第１領域用の第１から第Ｎアービタと、前記第２領域用の第１から第Ｎアービタとを含み、
    　前記第１から第Ｎラッチ部は、前記第２領域用の第１から第Ｎラッチ部と、前記第２領域用の第１から第Ｎラッチ部とを含む、
    　請求項１に記載の固体撮像装置。
  18. 　前記第１から第Ｎアービタは、前記画素アレイ領域と第１方向に離間されており、
    　前記第１から第Ｎラッチ部は、前記画素アレイ領域と第２方向に離間されており、
    　前記第１領域と前記第２領域は、前記第１方向に互いに離間されている、
    　請求項１７に記載の固体撮像装置。
  19. 　前記画素アレイ領域は、第３領域と第４領域とを含み、
    　前記第１から第Ｎラッチ部の一部は、前記第３領域付近に配置されており、
    　前記第１から第Ｎラッチ部の別の一部は、前記第４領域付近に配置されている、
    　請求項１に記載の固体撮像装置。
  20. 　前記第１から第Ｎアービタは、前記画素アレイ領域と第１方向に離間されており、
    　前記第１から第Ｎラッチ部は、前記画素アレイ領域と第２方向に離間されており、
    　前記第３領域と前記第４領域は、前記第２方向に互いに離間されている、
    　請求項１９に記載の固体撮像装置。
PCT/JP2023/030862 2022-09-21 2023-08-28 固体撮像装置 WO2024062842A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-150463 2022-09-21
JP2022150463 2022-09-21

Publications (1)

Publication Number Publication Date
WO2024062842A1 true WO2024062842A1 (ja) 2024-03-28

Family

ID=90454131

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/030862 WO2024062842A1 (ja) 2022-09-21 2023-08-28 固体撮像装置

Country Status (1)

Country Link
WO (1) WO2024062842A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020129657A1 (ja) * 2018-12-19 2020-06-25 ソニーセミコンダクタソリューションズ株式会社 センサ及び制御方法
JP2022002355A (ja) * 2018-09-28 2022-01-06 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、固体撮像素子の制御方法および電子機器
WO2022009807A1 (ja) * 2020-07-10 2022-01-13 ソニーセミコンダクタソリューションズ株式会社 撮像素子および撮像方法
WO2022190788A1 (ja) * 2021-03-09 2022-09-15 ソニーグループ株式会社 センサ装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022002355A (ja) * 2018-09-28 2022-01-06 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、固体撮像素子の制御方法および電子機器
WO2020129657A1 (ja) * 2018-12-19 2020-06-25 ソニーセミコンダクタソリューションズ株式会社 センサ及び制御方法
WO2022009807A1 (ja) * 2020-07-10 2022-01-13 ソニーセミコンダクタソリューションズ株式会社 撮像素子および撮像方法
WO2022190788A1 (ja) * 2021-03-09 2022-09-15 ソニーグループ株式会社 センサ装置

Similar Documents

Publication Publication Date Title
JP7314798B2 (ja) 撮像装置、画像処理装置、及び、画像処理方法
WO2021060018A1 (ja) 信号処理装置、信号処理方法、プログラム、及び、移動装置
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2022075133A1 (ja) 撮像装置、情報処理装置、撮像システム及び撮像方法
WO2021024805A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2022153896A1 (ja) 撮像装置、画像処理方法及び画像処理プログラム
US20230289980A1 (en) Learning model generation method, information processing device, and information processing system
US20230245423A1 (en) Information processing apparatus, information processing method, and program
WO2024062842A1 (ja) 固体撮像装置
JP2022098397A (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2024106132A1 (ja) 固体撮像装置および情報処理システム
WO2024106196A1 (ja) 固体撮像装置および電子機器
WO2024024471A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2022075039A1 (ja) 情報処理装置、情報処理システム及び情報処理方法
WO2024062976A1 (ja) 情報処理装置及び情報処理方法
WO2022259621A1 (ja) 情報処理装置、情報処理方法、コンピュータプログラム
WO2022019117A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2023149089A1 (ja) 学習装置、学習方法及び学習プログラム
WO2023063145A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2023171401A1 (ja) 信号処理装置、信号処理方法、および記録媒体
WO2024009829A1 (ja) 情報処理装置、情報処理方法および車両制御システム
WO2023074419A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2024127912A1 (en) Solid-state imaging device and electronic apparatus
WO2024090195A1 (ja) 情報処理システム、通信方法、及び、移動体
WO2023007785A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23867966

Country of ref document: EP

Kind code of ref document: A1