WO2022196288A1 - 固体撮像装置、撮像装置、固体撮像装置の処理方法、固体撮像装置の処理プログラム、撮像装置の処理方法、及び、撮像装置の処理プログラム - Google Patents

固体撮像装置、撮像装置、固体撮像装置の処理方法、固体撮像装置の処理プログラム、撮像装置の処理方法、及び、撮像装置の処理プログラム Download PDF

Info

Publication number
WO2022196288A1
WO2022196288A1 PCT/JP2022/007836 JP2022007836W WO2022196288A1 WO 2022196288 A1 WO2022196288 A1 WO 2022196288A1 JP 2022007836 W JP2022007836 W JP 2022007836W WO 2022196288 A1 WO2022196288 A1 WO 2022196288A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal level
photoelectric conversion
imaging device
conversion unit
noise
Prior art date
Application number
PCT/JP2022/007836
Other languages
English (en)
French (fr)
Inventor
卓義 小曽根
勉 春田
寿伸 杉山
順一 坂本
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US18/549,464 priority Critical patent/US20240179429A1/en
Priority to JP2023506913A priority patent/JPWO2022196288A1/ja
Publication of WO2022196288A1 publication Critical patent/WO2022196288A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/672—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction between adjacent sensors or output registers for reading a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters

Definitions

  • the present disclosure relates to a solid-state imaging device, an imaging device, a processing method for the solid-state imaging device, a processing program for the solid-state imaging device, a processing method for the imaging device, and a processing program for the imaging device.
  • Patent Document 1 Various techniques have been proposed to improve the image quality of captured images (see Patent Document 1, for example).
  • WDR Wide Dynamic Range
  • SNR Signal to Noise Ratio
  • the present disclosure provides a solid-state imaging device capable of suppressing an SNR drop while ensuring WDR, an imaging device, a processing method of the solid-state imaging device, a processing program of the solid-state imaging device, a processing method of the imaging device, and an imaging device. Provide a processing program.
  • a solid-state imaging device includes a photoelectric conversion unit that generates electric charge according to the amount of received light, and a capacitor that is provided so as to share the charge generated by the photoelectric conversion unit with the photoelectric conversion unit and store the electric charge. and a noise signal level corresponding to noise generated in the capacitor due to temperature is subtracted from a pixel signal level corresponding to charges generated in the photoelectric conversion unit and accumulated in the photoelectric conversion unit and the capacitor. and a calculation unit.
  • An imaging device includes a photoelectric conversion unit that generates electric charge according to the amount of received light, and a capacitor that is provided so as to share and accumulate the electric charge generated by the photoelectric conversion unit with the photoelectric conversion unit.
  • a noise signal corresponding to noise generated in the capacitor due to temperature from a solid-state imaging device including a plurality of pixels and a pixel signal level corresponding to charges generated in the photoelectric conversion unit and accumulated in the photoelectric conversion unit and the capacitor. and a calculation unit for subtracting the level.
  • the solid-state imaging device includes a photoelectric conversion unit that generates electric charge according to the amount of received light, and the electric charge generated in the photoelectric conversion unit can be shared with the photoelectric conversion unit and accumulated. a plurality of pixels each including a capacitor provided in the capacitor, the processing method comprising: a pixel signal level corresponding to the charge generated in the photoelectric conversion unit and stored in the photoelectric conversion unit and the capacitor; subtracting a noise signal level that is responsive to noise occurring within.
  • the solid-state imaging device includes a photoelectric conversion unit that generates electric charge according to the amount of received light, and the electric charge generated in the photoelectric conversion unit can be shared with the photoelectric conversion unit and stored. a plurality of pixels, each including a capacitor provided in the capacitor, wherein the processing program converts the pixel signal level corresponding to the charge generated in the photoelectric conversion unit and accumulated in the photoelectric conversion unit and the capacitor to the capacitor Subtracting a noise signal level that is responsive to noise occurring within.
  • the imaging device includes a photoelectric conversion unit that generates electric charge according to the amount of received light, and is provided so that the electric charge generated by the photoelectric conversion unit can be shared with the photoelectric conversion unit and accumulated.
  • a solid-state imaging device including a plurality of pixels each including a capacitor, wherein the processing method converts a pixel signal level generated in a photoelectric conversion unit and corresponding to charges accumulated in the photoelectric conversion unit and the capacitor to a pixel signal level caused by temperature. and subtracting a noise signal level responsive to noise generated in the capacitor.
  • the imaging device is provided with a photoelectric conversion unit that generates electric charge according to the amount of received light, and the electric charge generated by the photoelectric conversion unit can be shared with the photoelectric conversion unit and accumulated.
  • a solid-state imaging device including a plurality of pixels each including a capacitor, wherein the processing program converts a pixel signal level corresponding to the charge generated in the photoelectric conversion unit and accumulated in the photoelectric conversion unit and the capacitor to a temperature-induced and subtracting the noise signal level corresponding to the noise generated in the capacitor.
  • FIG. 4 is a diagram showing an example of a sensing area
  • 1 is a block diagram showing a schematic configuration example of a solid-state imaging device
  • FIG. It is a figure which shows the example of the schematic structure of a pixel.
  • FIG. 4 is a diagram schematically showing SNR drop;
  • FIG. 4 is a diagram schematically showing SNR drop;
  • FIG. 4 is a diagram schematically showing SNR drop;
  • FIG. 4 is a diagram schematically showing SNR drop;
  • FIG. 3 is a diagram showing an example of functional blocks of a signal processing unit and a data storage unit;
  • FIG. 3 is a diagram showing an example of functional blocks of a signal processing unit and a data storage unit;
  • 4 is a diagram schematically showing suppression of SNR drop; It is a figure which shows the example of a schematic structure of an imaging device. It is a figure which shows the example of a schematic structure of an imaging device. 4 is a flowchart showing an example of processing executed in a solid-state imaging device or an imaging device; It is a figure which shows the example of the schematic structure of a pixel. 3 is a diagram showing an example of functional blocks of a signal processing unit (or column processing circuit) and a data storage unit; FIG. It is a figure which shows an exposure period typically. 4 is a flow chart showing an example of processing executed in a solid-state imaging device; It is a figure which shows the example of the schematic structure of a pixel.
  • FIG. 3 is a diagram showing an example of functional blocks of a signal processing unit (or column processing circuit) and a data storage unit; FIG. It is a figure which shows an exposure period typically.
  • 4 is a flow chart showing an example of processing executed in a solid-state imaging device; It is a figure which shows the example of the schematic structure of a pixel.
  • the disclosed technology is applied to a mobile device control system.
  • a mobile device control system is a vehicle control system, which will be described with reference to FIG.
  • FIG. 1 is a diagram showing an example of a schematic configuration of a vehicle control system.
  • the vehicle control system 11 is provided in the vehicle 1 and performs processing related to driving support and automatic driving of the vehicle 1 .
  • the vehicle control system 11 includes a vehicle control ECU (Electronic Control Unit) 21, a communication unit 22, a map information accumulation unit 23, a GNSS (Global Navigation Satellite System) reception unit 24, an external recognition sensor 25, an in-vehicle sensor 26, a vehicle sensor 27, It has a recording unit 28 , a driving support/automatic driving control unit 29 , a driver monitoring system (DMS) 30 , a human machine interface (HMI) 31 , and a vehicle control unit 32 .
  • a vehicle control ECU Electronic Control Unit
  • a communication unit 22 a communication unit 22
  • a map information accumulation unit 23 a GNSS (Global Navigation Satellite System) reception unit 24
  • an external recognition sensor 25
  • an in-vehicle sensor 26 a vehicle sensor 27, It has a recording unit 28 , a driving support/automatic driving control unit 29 , a driver monitoring system (DMS) 30 , a human machine interface (HMI) 31 , and a vehicle control unit 32 .
  • DMS driver monitoring system
  • the vehicle control ECU 21, communication unit 22, map information storage unit 23, GNSS reception unit 24, external recognition sensor 25, in-vehicle sensor 26, vehicle sensor 27, recording unit 28, driving support/automatic driving control unit 29, DMS 30, HMI 31, and , and the vehicle control unit 32 are communicably connected to each other via a communication network 41 .
  • the communication network 41 is, for example, a CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), FlexRay (registered trademark), Ethernet (registered trademark), and other digital two-way communication standards. It is composed of a communication network, a bus, and the like.
  • the communication network 41 may be used properly depending on the type of data to be communicated.
  • CAN is applied for data related to vehicle control
  • Ethernet is applied for large-capacity data.
  • each part of the vehicle control system 11 performs wireless communication assuming relatively short-range communication such as near field communication (NFC (Near Field Communication)) or Bluetooth (registered trademark) without going through the communication network 41. may be connected directly using NFC (Near Field Communication) or Bluetooth (registered trademark)
  • the vehicle control ECU 21 is composed of various processors such as a CPU (Central Processing Unit) and an MPU (Micro Processing Unit).
  • the vehicle control ECU 21 controls the entire or part of the vehicle control system 11 .
  • the communication unit 22 communicates with various devices inside and outside the vehicle, other vehicles, servers, base stations, etc., and transmits and receives various data. At this time, the communication unit 22 can perform communication using a plurality of communication methods.
  • the communication unit 22 is, for example, a wireless communication system such as 5G (5th generation mobile communication system), LTE (Long Term Evolution), DSRC (Dedicated Short Range Communications), via a base station or access point, on the external network communicates with a server (hereinafter referred to as an external server) located in the external network.
  • the external network with which the communication unit 22 communicates is, for example, the Internet, a cloud network, or a provider's own network.
  • the communication method for communicating with the external network by the communication unit 22 is not particularly limited as long as it is a wireless communication method that enables digital two-way communication at a predetermined communication speed or higher and at a predetermined distance or longer.
  • the communication unit 22 can communicate with terminals existing in the vicinity of the own vehicle using P2P (Peer To Peer) technology.
  • Terminals in the vicinity of one's own vehicle are, for example, terminals worn by pedestrians, bicycles, and other moving objects that move at relatively low speeds, terminals installed at fixed locations such as stores, or MTC (Machine Type Communication ) terminal.
  • the communication unit 22 can also perform V2X communication.
  • V2X communication is, for example, vehicle-to-vehicle communication with other vehicles, vehicle-to-infrastructure communication with roadside equipment, etc., vehicle-to-home communication , and communication between the vehicle and others, such as vehicle-to-pedestrian communication with a terminal or the like possessed by a pedestrian.
  • the communication unit 22 can receive from the outside a program for updating the software that controls the operation of the vehicle control system 11 (Over The Air).
  • the communication unit 22 can also receive map information, traffic information, information around the vehicle 1, and the like from the outside.
  • the communication unit 22 can transmit information about the vehicle 1, information about the surroundings of the vehicle 1, and the like to the outside.
  • the information about the vehicle 1 that the communication unit 22 transmits to the outside includes, for example, data indicating the state of the vehicle 1, recognition results by the recognition unit 73, and the like.
  • the communication unit 22 performs communication corresponding to a vehicle emergency call system such as e-call.
  • the communication with the inside of the vehicle that can be performed by the communication unit 22 will be described schematically.
  • the communication unit 22 can communicate with each device in the vehicle using, for example, wireless communication.
  • the communication unit 22 performs wireless communication with devices in the vehicle using a communication method such as wireless LAN, Bluetooth, NFC, and WUSB (Wireless USB) that enables digital two-way communication at a communication speed higher than a predetermined value. can be done.
  • the communication unit 22 can also communicate with each device in the vehicle using wired communication.
  • the communication unit 22 can communicate with each device in the vehicle by wired communication via a cable connected to a connection terminal (not shown).
  • the communication unit 22 performs digital two-way communication at a predetermined communication speed or higher through wired communication such as USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface) (registered trademark), and MHL (Mobile High-definition Link). can communicate with each device in the vehicle.
  • USB Universal Serial Bus
  • HDMI High-Definition Multimedia Interface
  • MHL Mobile High-definition Link
  • equipment in the vehicle refers to equipment that is not connected to the communication network 41 in the vehicle, for example.
  • in-vehicle devices include mobile devices and wearable devices possessed by passengers such as drivers, information devices that are brought into the vehicle and temporarily installed, and the like.
  • the communication unit 22 receives electromagnetic waves transmitted by a road traffic information communication system (VICS (Vehicle Information and Communication System) (registered trademark)) such as radio wave beacons, optical beacons, and FM multiplex broadcasting.
  • VICS Vehicle Information and Communication System
  • radio wave beacons such as radio wave beacons, optical beacons, and FM multiplex broadcasting.
  • the map information accumulation unit 23 accumulates one or both of the map obtained from the outside and the map created by the vehicle 1. For example, the map information accumulation unit 23 accumulates a three-dimensional high-precision map, a global map covering a wide area, and the like, which is lower in accuracy than the high-precision map.
  • High-precision maps are, for example, dynamic maps, point cloud maps, and vector maps.
  • the dynamic map is, for example, a map consisting of four layers of dynamic information, quasi-dynamic information, quasi-static information, and static information, and is provided to the vehicle 1 from an external server or the like.
  • a point cloud map is a map composed of a point cloud (point cloud data).
  • the vector map refers to a map adapted to ADAS (Advanced Driver Assistance System) in which traffic information such as lane and signal positions are associated with a point cloud map.
  • ADAS Advanced Driver Assistance System
  • the point cloud map and the vector map may be provided from an external server or the like, and based on the sensing results of the radar 52, LiDAR 53, etc., the vehicle 1 as a map for matching with a local map described later. It may be created and stored in the map information storage unit 23 . Further, when a high-precision map is provided from an external server or the like, in order to reduce the communication capacity, map data of, for example, several hundred meters square, regarding the planned route that the vehicle 1 will travel from now on, is acquired from the external server or the like. .
  • the GNSS receiver 24 receives GNSS signals from GNSS satellites and acquires position information of the vehicle 1 .
  • the received GNSS signal is supplied to the driving support/automatic driving control unit 29 .
  • the GNSS receiver 24 is not limited to the method using the GNSS signal, and may acquire the position information using, for example, a beacon.
  • the external recognition sensor 25 includes various sensors used for recognizing situations outside the vehicle 1 and supplies sensor data from each sensor to each part of the vehicle control system 11 .
  • the type and number of sensors included in the external recognition sensor 25 are arbitrary.
  • the external recognition sensor 25 includes a camera 51, a radar 52, a LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) 53, and an ultrasonic sensor 54.
  • the configuration is not limited to this, and the external recognition sensor 25 may be configured to include one or more types of sensors among the camera 51 , radar 52 , LiDAR 53 , and ultrasonic sensor 54 .
  • the numbers of cameras 51 , radars 52 , LiDARs 53 , and ultrasonic sensors 54 are not particularly limited as long as they are realistically installable in the vehicle 1 .
  • the type of sensor provided in the external recognition sensor 25 is not limited to this example, and the external recognition sensor 25 may be provided with other types of sensors. An example of the sensing area of each sensor included in the external recognition sensor 25 will be described later.
  • the shooting method of the camera 51 is not particularly limited as long as it is a shooting method that enables distance measurement.
  • the camera 51 may be a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, or any other type of camera as required.
  • the camera 51 is not limited to this, and may simply acquire a photographed image regardless of distance measurement.
  • the external recognition sensor 25 can include an environment sensor for detecting the environment with respect to the vehicle 1.
  • the environment sensor is a sensor for detecting the environment such as weather, climate, brightness, etc., and can include various sensors such as raindrop sensors, fog sensors, sunshine sensors, snow sensors, and illuminance sensors.
  • the external recognition sensor 25 includes a microphone used for detecting the sound around the vehicle 1 and the position of the sound source.
  • the in-vehicle sensor 26 includes various sensors for detecting information inside the vehicle, and supplies sensor data from each sensor to each part of the vehicle control system 11 .
  • the types and number of various sensors included in the in-vehicle sensor 26 are not particularly limited as long as they are realistically installable in the vehicle 1 .
  • the in-vehicle sensor 26 can include one or more sensors among cameras, radar, seating sensors, steering wheel sensors, microphones, and biosensors.
  • the camera provided in the in-vehicle sensor 26 for example, cameras of various shooting methods capable of distance measurement, such as a ToF camera, a stereo camera, a monocular camera, and an infrared camera, can be used.
  • the camera included in the in-vehicle sensor 26 is not limited to this, and may simply acquire a photographed image regardless of distance measurement.
  • the biosensors included in the in-vehicle sensor 26 are provided, for example, in seats, steering wheels, etc., and detect various biometric information of passengers such as the driver.
  • the vehicle sensor 27 includes various sensors for detecting the state of the vehicle 1, and supplies sensor data from each sensor to each section of the vehicle control system 11.
  • the types and number of various sensors included in the vehicle sensor 27 are not particularly limited as long as they can be installed in the vehicle 1 realistically.
  • the vehicle sensor 27 includes a speed sensor, an acceleration sensor, an angular velocity sensor (gyro sensor), and an inertial measurement unit (IMU (Inertial Measurement Unit)) integrating them.
  • the vehicle sensor 27 includes a steering angle sensor that detects the steering angle of the steering wheel, a yaw rate sensor, an accelerator sensor that detects the amount of operation of the accelerator pedal, and a brake sensor that detects the amount of operation of the brake pedal.
  • the vehicle sensor 27 includes a rotation sensor that detects the number of rotations of an engine or a motor, an air pressure sensor that detects tire air pressure, a slip rate sensor that detects a tire slip rate, and a wheel speed sensor that detects the rotational speed of a wheel.
  • a sensor is provided.
  • the vehicle sensor 27 includes a battery sensor that detects the remaining battery level and temperature, and an impact sensor that detects external impact.
  • the recording unit 28 includes at least one of a nonvolatile storage medium and a volatile storage medium, and stores data and programs.
  • the recording unit 28 is used, for example, as an EEPROM (Electrically Erasable Programmable Read Only Memory) and a RAM (Random Access Memory). And a magneto-optical storage device can be applied.
  • the recording unit 28 records various programs and data used by each unit of the vehicle control system 11 .
  • the recording unit 28 includes an EDR (Event Data Recorder) and a DSSAD (Data Storage System for Automated Driving), and records information on the vehicle 1 before and after an event such as an accident and biometric information acquired by the in-vehicle sensor 26. .
  • the driving support/automatic driving control unit 29 controls driving support and automatic driving of the vehicle 1 .
  • the driving support/automatic driving control unit 29 includes an analysis unit 61 , an action planning unit 62 and an operation control unit 63 .
  • the analysis unit 61 analyzes the vehicle 1 and its surroundings.
  • the analysis unit 61 includes a self-position estimation unit 71 , a sensor fusion unit 72 and a recognition unit 73 .
  • the self-position estimation unit 71 estimates the self-position of the vehicle 1 based on the sensor data from the external recognition sensor 25 and the high-precision map accumulated in the map information accumulation unit 23. For example, the self-position estimation unit 71 generates a local map based on sensor data from the external recognition sensor 25, and estimates the self-position of the vehicle 1 by matching the local map and the high-precision map.
  • the position of the vehicle 1 is based on, for example, the center of the rear wheel versus axle.
  • a local map is, for example, a three-dimensional high-precision map created using techniques such as SLAM (Simultaneous Localization and Mapping), an occupancy grid map, or the like.
  • the three-dimensional high-precision map is, for example, the point cloud map described above.
  • the occupancy grid map is a map that divides the three-dimensional or two-dimensional space around the vehicle 1 into grids (lattice) of a predetermined size and shows the occupancy state of objects in grid units.
  • the occupancy state of an object is indicated, for example, by the presence or absence of the object and the existence probability.
  • the local map is also used, for example, by the recognizing unit 73 for detection processing and recognition processing of the situation outside the vehicle 1 .
  • the self-position estimation unit 71 may estimate the self-position of the vehicle 1 based on the GNSS signal and sensor data from the vehicle sensor 27.
  • the sensor fusion unit 72 combines a plurality of different types of sensor data (for example, image data supplied from the camera 51 and sensor data supplied from the radar 52) to perform sensor fusion processing to obtain new information.
  • Methods for combining different types of sensor data include integration, fusion, federation, and the like.
  • the recognition unit 73 executes a detection process for detecting the situation outside the vehicle 1 and a recognition process for recognizing the situation outside the vehicle 1 .
  • the recognition unit 73 performs detection processing and recognition processing of the situation outside the vehicle 1 based on information from the external recognition sensor 25, information from the self-position estimation unit 71, information from the sensor fusion unit 72, and the like. .
  • the recognition unit 73 performs detection processing and recognition processing of objects around the vehicle 1 .
  • Object detection processing is, for example, processing for detecting the presence or absence, size, shape, position, movement, and the like of an object.
  • Object recognition processing is, for example, processing for recognizing an attribute such as the type of an object or identifying a specific object.
  • detection processing and recognition processing are not always clearly separated, and may overlap.
  • the recognition unit 73 detects objects around the vehicle 1 by clustering the point cloud based on sensor data from the LiDAR 53 or the radar 52 or the like for each cluster of point groups. As a result, presence/absence, size, shape, and position of objects around the vehicle 1 are detected.
  • the recognizing unit 73 detects the movement of objects around the vehicle 1 by performing tracking that follows the movement of the cluster of points classified by clustering. As a result, the speed and traveling direction (movement vector) of the object around the vehicle 1 are detected.
  • the recognition unit 73 detects or recognizes vehicles, people, bicycles, obstacles, structures, roads, traffic lights, traffic signs, road markings, etc. from the image data supplied from the camera 51 . Also, the types of objects around the vehicle 1 may be recognized by performing recognition processing such as semantic segmentation.
  • the recognition unit 73 based on the map accumulated in the map information accumulation unit 23, the estimation result of the self-position by the self-position estimation unit 71, and the recognition result of the object around the vehicle 1 by the recognition unit 73, Recognition processing of traffic rules around the vehicle 1 can be performed. Through this processing, the recognizing unit 73 can recognize the position and state of traffic signals, the content of traffic signs and road markings, the content of traffic restrictions, and the lanes in which the vehicle can travel.
  • the recognition unit 73 can perform recognition processing of the environment around the vehicle 1 .
  • the surrounding environment to be recognized by the recognition unit 73 includes the weather, temperature, humidity, brightness, road surface conditions, and the like.
  • the action plan section 62 creates an action plan for the vehicle 1.
  • the action planning unit 62 creates an action plan by performing route planning and route following processing.
  • trajectory planning is the process of planning a rough route from the start to the goal. This route planning is called a trajectory plan.
  • trajectory generation Local path planning
  • Path planning may be distinguished from long-term path planning and activation generation from short-term path planning or local path planning.
  • a safety priority path represents a concept similar to activation generation, short-term path planning, or local path planning.
  • Route following is the process of planning actions to safely and accurately travel the route planned by route planning within the planned time.
  • the action planning unit 62 can, for example, calculate the target speed and the target angular speed of the vehicle 1 based on the result of this route following processing.
  • the motion control unit 63 controls the motion of the vehicle 1 in order to implement the action plan created by the action planning unit 62.
  • the operation control unit 63 controls a steering control unit 81, a brake control unit 82, and a drive control unit 83 included in the vehicle control unit 32, which will be described later, so that the vehicle 1 can control the trajectory calculated by the trajectory plan. Acceleration/deceleration control and direction control are performed so as to advance.
  • the operation control unit 63 performs cooperative control aimed at realizing ADAS functions such as collision avoidance or shock mitigation, follow-up driving, vehicle speed maintenance driving, collision warning of own vehicle, and lane deviation warning of own vehicle.
  • the operation control unit 63 performs cooperative control aimed at automatic driving in which the vehicle autonomously travels without depending on the driver's operation.
  • the DMS 30 performs driver authentication processing, driver state recognition processing, etc., based on sensor data from the in-vehicle sensor 26 and input data input to the HMI 31, which will be described later.
  • the driver's condition to be recognized by the DMS 30 includes, for example, physical condition, wakefulness, concentration, fatigue, gaze direction, drunkenness, driving operation, posture, and the like.
  • the DMS 30 may perform authentication processing for passengers other than the driver and processing for recognizing the state of the passenger. Further, for example, the DMS 30 may perform recognition processing of the situation inside the vehicle based on the sensor data from the sensor 26 inside the vehicle. Conditions inside the vehicle to be recognized include temperature, humidity, brightness, smell, and the like, for example.
  • the HMI 31 inputs various data, instructions, etc., and presents various data to the driver.
  • the HMI 31 comprises an input device for human input of data.
  • the HMI 31 generates an input signal based on data, instructions, etc. input from an input device, and supplies the input signal to each section of the vehicle control system 11 .
  • the HMI 31 includes operators such as a touch panel, buttons, switches, and levers as input devices.
  • the HMI 31 is not limited to this, and may further include an input device capable of inputting information by a method other than manual operation using voice, gestures, or the like. Further, the HMI 31 may use, as an input device, a remote control device using infrared rays or radio waves, or an externally connected device such as a mobile device or wearable device corresponding to the operation of the vehicle control system 11 .
  • the presentation of data by HMI31 will be briefly explained.
  • the HMI 31 generates visual information, auditory information, and tactile information for the passenger or outside the vehicle.
  • the HMI 31 also performs output control for controlling the output, output content, output timing, output method, and the like of each of the generated information.
  • the HMI 31 generates and outputs visual information such as an operation screen, a status display of the vehicle 1, a warning display, an image such as a monitor image showing the situation around the vehicle 1, and information indicated by light.
  • the HMI 31 also generates and outputs information indicated by sounds such as voice guidance, warning sounds, warning messages, etc., as auditory information.
  • the HMI 31 generates and outputs, as tactile information, information given to the passenger's tactile sense by force, vibration, motion, or the like.
  • a display device that presents visual information by displaying an image by itself or a projector device that presents visual information by projecting an image can be applied.
  • the display device displays visual information within the passenger's field of view, such as a head-up display, a transmissive display, or a wearable device with an AR (Augmented Reality) function. It may be a device.
  • the HMI 31 can also use display devices such as a navigation device, an instrument panel, a CMS (Camera Monitoring System), an electronic mirror, and lamps provided in the vehicle 1 as output devices for outputting visual information.
  • Audio speakers, headphones, and earphones can be applied as output devices for the HMI 31 to output auditory information.
  • a haptic element using haptic technology can be applied as an output device for the HMI 31 to output tactile information.
  • a haptic element is provided at a portion of the vehicle 1 that is in contact with a passenger, such as a steering wheel or a seat.
  • the vehicle control unit 32 controls each unit of the vehicle 1.
  • the vehicle control section 32 includes a steering control section 81 , a brake control section 82 , a drive control section 83 , a body system control section 84 , a light control section 85 and a horn control section 86 .
  • the steering control unit 81 detects and controls the state of the steering system of the vehicle 1 .
  • the steering system includes, for example, a steering mechanism including a steering wheel, an electric power steering, and the like.
  • the steering control unit 81 includes, for example, a control unit such as an ECU that controls the steering system, an actuator that drives the steering system, and the like.
  • the brake control unit 82 detects and controls the state of the brake system of the vehicle 1 .
  • the brake system includes, for example, a brake mechanism including a brake pedal, an ABS (Antilock Brake System), a regenerative brake mechanism, and the like.
  • the brake control unit 82 includes, for example, a control unit such as an ECU that controls the brake system.
  • the drive control unit 83 detects and controls the state of the drive system of the vehicle 1 .
  • the drive system includes, for example, an accelerator pedal, a driving force generator for generating driving force such as an internal combustion engine or a driving motor, and a driving force transmission mechanism for transmitting the driving force to the wheels.
  • the drive control unit 83 includes, for example, a control unit such as an ECU that controls the drive system.
  • the body system control unit 84 detects and controls the state of the body system of the vehicle 1 .
  • the body system includes, for example, a keyless entry system, smart key system, power window device, power seat, air conditioner, air bag, seat belt, shift lever, and the like.
  • the body system control unit 84 includes, for example, a control unit such as an ECU that controls the body system.
  • the light control unit 85 detects and controls the states of various lights of the vehicle 1 .
  • Lights to be controlled include, for example, headlights, backlights, fog lights, turn signals, brake lights, projections, bumper displays, and the like.
  • the light control unit 85 includes a control unit such as an ECU for controlling lights.
  • the horn control unit 86 detects and controls the state of the car horn of the vehicle 1 .
  • the horn control unit 86 includes, for example, a control unit such as an ECU that controls the car horn.
  • FIG. 2 is a diagram showing an example of a sensing area.
  • the sensing area is sensed by the camera 51, the radar 52, the LiDAR 53, the ultrasonic sensor 54, etc. of the external recognition sensor 25 described above with reference to FIG. 1, for example. 2 schematically shows the vehicle 1 viewed from above, the left end side is the front end (front) side of the vehicle 1, and the right end side is the rear end (rear) side of the vehicle 1.
  • a sensing area 91F and a sensing area 91B show examples of sensing areas of the ultrasonic sensor 54.
  • the sensing area 91 ⁇ /b>F covers the periphery of the front end of the vehicle 1 with a plurality of ultrasonic sensors 54 .
  • the sensing area 91B covers the periphery of the rear end of the vehicle 1 with a plurality of ultrasonic sensors 54 .
  • the sensing results in the sensing area 91F and the sensing area 91B are used, for example, for parking assistance of the vehicle 1 and the like.
  • a sensing area 92F to a sensing area 92B show examples of sensing areas of the radar 52 for short or medium range.
  • the sensing area 92F covers the front of the vehicle 1 to a position farther than the sensing area 91F.
  • the sensing area 92B covers the rear of the vehicle 1 to a position farther than the sensing area 91B.
  • the sensing area 92L covers the rear periphery of the left side surface of the vehicle 1 .
  • the sensing area 92R covers the rear periphery of the right side surface of the vehicle 1 .
  • the sensing results in the sensing area 92F are used, for example, to detect vehicles, pedestrians, etc. existing in front of the vehicle 1.
  • the sensing result in the sensing area 92B is used for the rear collision prevention function of the vehicle 1, for example.
  • the sensing results in the sensing area 92L and the sensing area 92R are used, for example, for detecting an object in a blind spot on the side of the vehicle 1, or the like.
  • a sensing area 93F to a sensing area 93B show examples of sensing areas by the camera 51.
  • the sensing area 93F covers the front of the vehicle 1 to a position farther than the sensing area 92F.
  • the sensing area 93B covers the rear of the vehicle 1 to a position farther than the sensing area 92B.
  • the sensing area 93 ⁇ /b>L covers the periphery of the left side surface of the vehicle 1 .
  • the sensing area 93R covers the periphery of the right side surface of the vehicle 1 .
  • the sensing results in the sensing area 93F can be used, for example, for the recognition of traffic lights and traffic signs, the lane departure prevention support system, and the automatic headlight control system.
  • a sensing result in the sensing area 93B can be used, for example, for parking assistance and a surround view system.
  • Sensing results in the sensing area 93L and the sensing area 93R can be used, for example, in a surround view system.
  • a sensing area 94 shows an example of the sensing area of the LiDAR 53 .
  • the sensing area 94 covers the front of the vehicle 1 to a position farther than the sensing area 93F.
  • the sensing area 94 has a narrower lateral range than the sensing area 93F.
  • the sensing results in the sensing area 94 are used, for example, to detect objects such as surrounding vehicles.
  • a sensing area 95 shows an example of the sensing area of the long-range radar 52 .
  • the sensing area 95 covers the front of the vehicle 1 to a position farther than the sensing area 94 .
  • the sensing area 95 has a narrower range in the horizontal direction than the sensing area 94 .
  • the sensing results in the sensing area 95 are used, for example, for ACC (Adaptive Cruise Control), emergency braking, and collision avoidance.
  • ACC Adaptive Cruise Control
  • emergency braking emergency braking
  • collision avoidance collision avoidance
  • the sensing regions of the cameras 51, the radar 52, the LiDAR 53, and the ultrasonic sensors 54 included in the external recognition sensor 25 may have various configurations other than those shown in FIG. Specifically, the ultrasonic sensor 54 may also sense the sides of the vehicle 1 , and the LiDAR 53 may sense the rear of the vehicle 1 . Moreover, the installation position of each sensor is not limited to each example mentioned above. Also, the number of each sensor may be one or plural.
  • An imaging device such as the camera 51 described above may include a solid-state imaging device such as an image sensor.
  • the solid-state imaging device will be described in detail.
  • FIG. 3 is a block diagram showing a schematic configuration example of a solid-state imaging device.
  • the solid-state imaging device 100 is, for example, an image sensor manufactured by applying or partially using a CMOS process.
  • the solid-state imaging device 100 has, for example, a stacked structure in which a semiconductor chip having a pixel array section 101 formed thereon and a semiconductor chip having a peripheral circuit formed thereon are stacked.
  • Peripheral circuits may include, for example, a vertical drive circuit 102, a column processing circuit 103, a horizontal drive circuit 104, and a system controller 105.
  • the solid-state imaging device 100 further includes a signal processing section 108 and a data storage section 109 .
  • the signal processing unit 108 and the data storage unit 109 may be provided on the same semiconductor chip as the peripheral circuit, or may be provided on a separate semiconductor chip.
  • pixels 110 each having a photoelectric conversion portion (photoelectric conversion element) for generating and accumulating electric charges according to the amount of received light are arranged in a two-dimensional grid in the row and column directions, that is, in a matrix. It has a configuration arranged in a shape.
  • the row direction refers to the arrangement direction of pixels in a pixel row (horizontal direction in the drawing)
  • the column direction refers to the arrangement direction of pixels in a pixel column (vertical direction in the drawing).
  • the pixel drive lines LD are wired along the row direction for each pixel row, and the vertical signal lines VSL are wired along the column direction for each pixel column with respect to the matrix-like pixel array.
  • the pixel drive line LD transmits a drive signal for driving when reading a signal from a pixel.
  • the pixel drive lines LD are shown as wirings one by one, but the number of the pixel drive lines LD is not limited to one each.
  • One end of the pixel drive line LD is connected to an output terminal corresponding to each row of the vertical drive circuit 102 .
  • the vertical drive circuit 102 is composed of a shift register, an address decoder, etc., and drives each pixel of the pixel array section 101 simultaneously or in units of rows. That is, the vertical drive circuit 102 constitutes a drive section that controls the operation of each pixel in the pixel array section 101 together with a system control section 105 that controls the vertical drive circuit 102 .
  • the vertical drive circuit 102 generally has two scanning systems, a readout scanning system and a discharge scanning system, although the specific configuration thereof is not shown.
  • the readout scanning system sequentially selectively scans the pixels 110 of the pixel array section 101 in units of rows in order to read out signals from the pixels.
  • a signal read out from the pixel 110 is an analog signal.
  • the sweep-scanning system performs sweep-scanning ahead of the read-out scanning by the exposure time for the read-out rows to be read-scanned by the read-out scanning system.
  • a so-called electronic shutter operation is performed by sweeping out (resetting) the unnecessary charges in this sweeping scanning system.
  • the electronic shutter operation refers to an operation of discarding the charge of the photoelectric conversion unit and the like and starting new exposure (starting charge accumulation).
  • the signal read out by the readout operation by the readout scanning system corresponds to the amount of light received after the immediately preceding readout operation or the electronic shutter operation.
  • a period from the readout timing of the previous readout operation or the sweep timing of the electronic shutter operation to the readout timing of the current readout operation is a charge accumulation period (also referred to as an exposure period) in the pixel 110 .
  • An example of the length of one frame exposure period (exposure time) is about 16.7 msec (corresponding to 60 fps).
  • a signal output from each pixel 110 in a pixel row selectively scanned by the vertical drive circuit 102 is input to the column processing circuit 103 via each vertical signal line VSL for each pixel column.
  • the column processing circuit 103 performs predetermined signal processing on the signal output from each pixel in the selected row via the vertical signal line VSL for each pixel column of the pixel array unit 101, and converts the signal after the signal processing (for example, a signal after AD conversion) is temporarily held (held in a line memory).
  • the column processing circuit 103 may perform noise removal processing, such as CDS (Correlated Double Sampling) processing and DDS (Double Data Sampling) processing.
  • CDS Correlated Double Sampling
  • DDS Double Data Sampling
  • the CDS processing removes pixel-specific noise such as reset noise and variations in threshold value of amplification transistors in pixels.
  • the column processing circuit 103 also has an AD (analog-digital) conversion function, for example, and converts (the level of) an analog signal read from the photoelectric conversion unit into a digital signal and outputs the digital signal.
  • AD analog-digital
  • the horizontal driving circuit 104 is composed of shift registers, address decoders, etc., and sequentially selects readout circuits (hereinafter referred to as pixel circuits) corresponding to the pixel columns of the column processing circuit 103 .
  • pixel circuits readout circuits
  • the system control unit 105 is composed of a timing generator that generates various timing signals. and other drive control.
  • the signal processing unit 108 has at least an arithmetic processing function, and performs various signal processing such as arithmetic processing on signals output from the column processing circuit 103 .
  • the data storage unit 109 temporarily stores data required for signal processing in the signal processing unit 108 .
  • the data storage unit 109 may be configured including, for example, a non-volatile memory.
  • Image data output from the signal processing unit 108 (which may be pixel signals to be described later) is subjected to predetermined processing in, for example, the driving support/automatic driving control unit 29 in the vehicle control system 11 in which the solid-state imaging device 100 is mounted. It may be executed or transmitted to the outside via the communication unit 22 .
  • FIG. 4 is a diagram showing an example of a schematic configuration of a pixel.
  • the illustrated pixel 110 includes a photoelectric conversion unit SP, a capacitor C, a transfer transistor FCG, a floating diffusion FD, a reset transistor RST, an amplification transistor AMP, and a selection transistor SEL.
  • the photoelectric conversion unit SP generates and accumulates electric charges according to the amount of received light.
  • the photoelectric conversion unit SP is a photodiode whose anode is connected to the ground GND and whose cathode is connected to the transfer transistor FCG.
  • the capacitor C is a capacitor (floating capacitor) electrically connected to the photoelectric conversion unit SP so that the charge generated in the photoelectric conversion unit SP can be shared with the photoelectric conversion unit SP and accumulated.
  • the capacitor C is directly connected to the photoelectric conversion part SP.
  • the transfer transistor FCG is connected between the photoelectric conversion unit SP and capacitor C and the floating diffusion FD, and transfers the charge accumulated in the photoelectric conversion unit SP and capacitor C to the floating diffusion FD. Charge transfer is controlled by a signal supplied from the vertical drive circuit 102 (FIG. 3) to the gate of the transfer transistor FCG.
  • the floating diffusion FD accumulates charges transferred from the photoelectric conversion unit SP and the capacitor C via the transfer transistor FCG.
  • a floating diffusion FD is, for example, a floating diffusion region formed in a semiconductor substrate.
  • a voltage corresponding to the charges accumulated in the floating diffusion FD is applied to the gate of the amplification transistor AMP.
  • the reset transistor RST is connected between the floating diffusion FD and the power supply VDD, and resets the floating diffusion FD.
  • the photoelectric conversion unit SP and capacitor C are also reset via the transfer transistor FCG and reset transistor RST.
  • the resetting of the floating diffusion FD is controlled by a signal supplied from the vertical drive circuit 102 (FIG. 3) to the gate of the reset transistor RST.
  • the resetting of the photoelectric conversion unit SP and the capacitor C is controlled by a signal supplied from the vertical drive circuit 102 (FIG. 3) to the gate of the transfer transistor FCG and a signal supplied to the gate of the reset transistor RST.
  • the amplification transistor AMP outputs a voltage level corresponding to the charge accumulated in the floating diffusion FD.
  • the selection transistor SEL is connected between the amplification transistor AMP and the vertical signal line VSL, and causes the output voltage (signal) of the amplification transistor AMP to appear on the vertical signal line VSL. Appearance of the signal on the vertical signal line VSL is controlled by a signal supplied from the vertical drive circuit 102 (FIG. 3) to the gate of the select transistor SEL.
  • a signal appearing on the vertical signal line VSL is input to the column processing circuit 103 as described above with reference to FIG.
  • the noise reduces the SNR.
  • a signal level corresponding to charges generated in the photoelectric conversion unit SP and accumulated in the photoelectric conversion unit SP and the capacitor C is called a "pixel signal level”.
  • a signal level corresponding to noise generated in the capacitor C due to temperature (due to temperature rise) is referred to as a "noise signal level.”
  • SNR is the ratio (difference) between the pixel signal level and the noise signal level. As described above, as the temperature rises, the noise level increases, resulting in a decrease in SNR, or SNR drop.
  • FIG. 5 schematically shows the pixel image signal level (pixel image data) based on the pixel signal level and the noise image signal level (noise image data) based on the noise signal level when the black level is used as a reference.
  • the level of the pixel image signal is the level obtained by adding the level of the noise image signal to the level of the original pixel image signal (superimposed with noise).
  • FIG. 6 schematically shows the relationship between temperature and SNR. The SNR decreases as the temperature increases. For example, the SNR at temperature T2 will be lower than the SNR at temperature T1 (which is lower than temperature T2).
  • FIG. 7 schematically shows captured images at temperatures T1 and T2.
  • FIG. 8 schematically shows the relationship between illuminance and SNR. Especially in the low illuminance region, the SNR becomes low at temperature T2, which is higher than temperature T1, and the effect of the SNR drop becomes apparent.
  • the SNR drop is suppressed by subtracting the noise signal level from the pixel signal level.
  • the noise signal level of each of the plurality of pixels 110 can be treated as fixed pattern noise FPN (Fixed Pattern Noise).
  • FPN Fixed Pattern Noise
  • the fixed pattern noise FPN is determined at the design stage, the manufacturing stage, etc. of the solid-state imaging device 100, and thus can be acquired as data in advance.
  • the noise signal level has a correlation with the exposure time. For example, the longer the exposure time, the higher the noise signal level. Also, the noise signal level has a correlation with the temperature of the solid-state imaging device 100 , more specifically with the temperature of the pixel array section 101 . For example, as temperature increases, the level of fixed pattern noise FPN increases.
  • the noise signal level is calculated based on the actual exposure time and temperature, and the data of the fixed pattern noise FPN that has been converted into data in advance, and the calculated noise signal is calculated from the pixel signal level. level is subtracted.
  • the subtraction process is performed inside the solid-state imaging device 100 .
  • the subtraction process is realized by cooperation of the signal processing unit 108 and the data storage unit 109, etc., which will be described below, for example.
  • FIG. 9 is a diagram showing an example of functional blocks of the signal processing unit and the data storage unit.
  • the data storage unit 109 and the signal processing unit 108 will be explained in order.
  • the data storage unit 109 stores in advance FPN data 109a and a program 109b as information used for subtraction processing.
  • the FPN data 109 a is data of fixed pattern noise FPN, is obtained in advance before shipment of the solid-state imaging device 100 , and is stored in the data storage unit 109 .
  • the program 109b is a program for causing the computer, more specifically the signal processing section 108, to perform subtraction processing.
  • the signal processing unit 108 includes an acquisition unit 108a and a calculation unit 108b.
  • the acquisition unit 108a acquires the exposure time and temperature.
  • the exposure time may be, for example, a predetermined time, or may be ascertained by the system control unit 105 and acquired by the acquisition unit 108a.
  • the temperature is detected by, for example, a temperature sensor (not shown) and acquired by the acquisition unit 108a.
  • the temperature may be the temperature of the solid-state imaging device 100, the temperature of the pixel array section 101, or the like.
  • the calculation unit 108b calculates the noise signal level using the exposure time and temperature acquired by the acquisition unit 108a and the FPN data 109a.
  • the noise signal level can be calculated using a given algorithm for calculating the noise signal level based on the exposure time, temperature, and FPN data 109a, or referring to table data.
  • the calculation unit 108b subtracts the calculated noise signal level from the pixel signal level.
  • the FPN data 109a is data indicating the noise signal level of each of the plurality of pixels 110, it can also be treated as noise image data (noise image signal level) based on the noise signal level.
  • the calculation unit 108b calculates noise image data based on the noise signal level using the exposure time, temperature, and FPN data 109a.
  • the calculation unit 108b subtracts the calculated noise image data from the pixel image data (pixel image signal level) based on the pixel signal level.
  • the SNR drop can be suppressed by the above subtraction processing.
  • FIG. 10 is a diagram schematically showing SNR drop suppression.
  • the noise appearing in the image is reduced and the image quality is improved as compared with the captured image at the temperature T2 shown in FIG. 7 described above.
  • the solid-state imaging device 100 is mounted on the external recognition sensor 25 of the vehicle 1 as a component of the camera 51, the recognition accuracy by the external recognition sensor 25 can be improved.
  • the subtraction process may be executed outside the solid-state imaging device 100.
  • an imaging device including the solid-state imaging device 100 for example, the camera 51 in FIG. 1 may have a function of subtraction processing. Some examples of such imaging devices are described with reference to FIGS. 11 and 12. FIG.
  • FIG. 11 and 12 are diagrams showing an example of a schematic configuration of an imaging device.
  • the imaging device exemplified in FIG. 11 is the camera 51 previously described with reference to FIG.
  • the camera 51 includes a solid-state imaging device 100, a processing section 51a, and a storage section 51b.
  • the processing unit 51a includes an acquisition unit 108a and a calculation unit 108b.
  • the storage unit 51b stores in advance the FPN data 109a and the program 109b. Acquisition unit 108a, calculation unit 108b, FPN data 109a, and program 109b are as described above, so description thereof will not be repeated.
  • the program 109b here is a program for causing a computer, more specifically, a processor (not shown) installed in the camera 51, etc., to execute the processing of the processing unit 51a.
  • the functions of the processing unit 51a described above may be provided outside the camera 51.
  • the information (FPN data 109 a and program 109 b ) stored in the storage unit 51 b described above may be stored outside the camera 51 .
  • the vehicle control ECU 21 previously described with reference to FIG. 1 includes an acquisition section 108a and a calculation section 108b.
  • the recording unit 28 preliminarily stores the FPN data 109a and the program 109b. That is, the camera 51, the vehicle control ECU 21, and the recording unit 28 cooperate to form an imaging device.
  • the program 109b here is a program for causing the computer, more specifically the vehicle control ECU 21, to execute the processing of the acquisition unit 108a and the calculation unit 108b.
  • FIG. 13 is a flow chart showing an example of processing executed in the solid-state imaging device or the imaging device (processing method of the solid-state imaging device, processing method of the imaging device). The details of each process are as described above, so the description will not be repeated.
  • step S1 the exposure time and temperature are acquired.
  • the acquisition unit 108a acquires the exposure time and the detected temperature.
  • the noise signal level is calculated.
  • the calculation unit 108b calculates the noise signal level using the exposure time and temperature obtained in step S1 and the FPN data 109a.
  • step S3 the noise signal level is subtracted from the pixel signal level.
  • the calculation unit 108b subtracts the noise signal level calculated in step S2 from the pixel signal level.
  • the subtraction process may be a process of subtracting noise image data from pixel image data.
  • the SNR drop is suppressed by the first technique as described above.
  • the noise signal level corresponding to the noise actually generated in the capacitor C (the noise signal level based on the generated noise) is subtracted from the pixel signal level.
  • FIG. 14 is a diagram showing an example of a schematic configuration of a pixel.
  • the illustrated pixel 110A differs from the pixel 110 (FIG. 4) in that it further includes a switch SW and a reset transistor RST2.
  • the switch SW is a switch transistor connected between the photoelectric conversion unit SP and the capacitor C. ON and OFF (conducting state and non-conducting state) of the switch SW is controlled by a signal supplied to the gate of the switch SW from the vertical drive circuit 102 (FIG. 3).
  • the reset transistor RST2 is connected between the photoelectric conversion unit SP and the power supply VDD, and resets the photoelectric conversion unit SP. Reset of the photoelectric conversion unit SP is controlled by a signal supplied from the vertical drive circuit 102 (FIG. 3) to the gate of the reset transistor RST2.
  • the exposure period includes a phosphorescent exposure period and a non-phosphorescent exposure period.
  • the switch SW is controlled to be ON or OFF.
  • the switch SW is controlled to be OFF.
  • the switch SW is controlled to be ON during the phosphorescent exposure period, a pixel signal level corresponding to the charge generated in the photoelectric conversion unit SP and accumulated in the photoelectric conversion unit SP and the capacitor C is obtained by the exposure during that period.
  • the switch SW is controlled to be OFF during the phosphorescent exposure period, the charge generated in the photoelectric conversion unit SP and overflowed from the photoelectric conversion unit SP due to the exposure during that period corresponds to the charge accumulated in the capacitor C.
  • a signal level is obtained. Such signal levels can also be pixel signal levels.
  • a noise signal level corresponding to the noise generated in the capacitor C due to the temperature is obtained by exposure during the non-storage exposure period. The obtained noise signal level is subtracted from the obtained pixel signal level.
  • FIG. 15 is a diagram showing an example of functional blocks of a signal processing unit (or column processing circuit) and a data storage unit.
  • the signal processing unit 108A includes a calculation unit 108Ab as a functional block related to subtraction processing.
  • the calculation unit 108Ab subtracts the noise signal level obtained by the exposure during the non-phosphorescent exposure period from the pixel signal level obtained by the exposure during the phosphorescent exposure period.
  • the calculation unit 108Ab may subtract the noise signal level after AD conversion from the pixel signal level after AD conversion.
  • the calculation unit 108Ab may subtract the noise image data based on the noise signal level from the pixel image data based on the pixel signal level.
  • the length of the phosphorescent exposure period and the non-phosphorescent exposure period may be different.
  • the length of the non-phosphorescent exposure period may be shorter than the length of the phosphorescent exposure period. Examples of lengths of such phosphorescent exposure periods and non-phosphorescent exposure periods are about 11 msec and about 5.5 msec.
  • the calculation unit 108Ab may calculate the noise signal level for the phosphorescent exposure period and subtract the calculated noise signal level from the pixel signal level.
  • the calculation unit 108Ab multiplies the noise signal level obtained by exposure during the non-phosphorescent exposure period by (length of the phosphorescent exposure period)/(length of the non-phosphorescent exposure period) to obtain the pixel signal level. may be subtracted from the multiplied noise signal level.
  • the subtraction process may be performed only on some of the pixels 110, for example, the pixels 110 in the low-illuminance area. This is because, as described above with reference to FIG. 8, the effect of the SNR drop becomes conspicuous especially in the low illuminance region. Note that in the pixel 110 in the high-illuminance region, part of the charge of the photoelectric conversion unit SP leaks to the capacitor C even when the switch SW is OFF, which may make it difficult to obtain an appropriate noise signal level. can also
  • the program 109Ab of the data storage unit 109A is a program for causing the computer, more specifically the signal processing unit 108A, to execute the processing of the calculation unit 108Ab.
  • the column processing circuit 103A may have the function of the arithmetic unit 108Ab.
  • the reading of the exposure and pixel signal levels during the phosphorescent exposure period and the reading of the exposure and noise signal levels during the non-phosphorescent exposure period are DOL (Digital Over Lap). It may be done under drive.
  • the column processing circuit 103A AD-converts the pixel signal level and the noise signal level for each pixel row, and subtracts the AD-converted noise signal level from the AD-converted pixel signal level for each pixel row. good.
  • the column processing circuit 103A converts the AD-converted noise signal level from the pixel signal level stored in the line memory. may be subtracted. This makes it possible to save the memory capacity required for holding the pixel signal level.
  • the process of multiplying the noise signal level obtained by exposure during the non-phosphorescent exposure period by (length of the phosphorescent exposure period)/(length of the non-phosphorescent exposure period) is also performed in the column processing circuit 103A. can be broken At this time, only the lower bits of the noise signal level may be AD-converted in order to expedite the AD conversion process. This is because the noise signal level is lower than the pixel signal level in most cases. Simplified processing using bit shifting also enables high-speed and small-area operations.
  • FIG. 16 is a diagram schematically showing the exposure period.
  • the exposure period includes a phosphorescent exposure period and a non-phosphorescent exposure period in this order. It is assumed that the photoelectric conversion unit SP and the capacitor C are initially reset.
  • the switch SW is controlled to be ON during the phosphorescent exposure period.
  • the switch SW is controlled to be OFF during the phosphorescent exposure period.
  • the phosphorescent exposure period starts.
  • the reset transistor RST2 is controlled to be OFF.
  • the switch SW is controlled to be ON.
  • the photoelectric conversion unit SP generates electric charge corresponding to the amount of received light. The generated charge is accumulated in the photoelectric conversion part SP and the capacitor C.
  • the switch SW is controlled to be OFF. Charge generated in the photoelectric conversion unit SP and overflowing from the photoelectric conversion unit SP is accumulated in the capacitor C. As shown in FIG.
  • the phosphorescent exposure period ends.
  • a pixel signal level obtained by exposure during the phosphorescent exposure period is AD-converted.
  • the non-phosphorescence exposure period starts.
  • the reset transistor RST2 is controlled to be ON.
  • the switch SW is controlled to be OFF. Noise is generated in capacitor C due to temperature.
  • the non-luminous exposure period ends.
  • a noise signal level obtained by exposure in the non-phosphorescence exposure period is AD-converted. After that, the next exposure period starts.
  • FIG. 17 is a flow chart showing an example of processing executed in the solid-state imaging device (processing method of the solid-state imaging device). Since the specific processing is as described above, detailed description will not be repeated here.
  • step S11 the pixel signal level is obtained by exposure during the phosphorescent exposure period.
  • step S12 the noise signal level is obtained by exposure during the non-phosphorescence exposure period.
  • step S13 the noise signal level is subtracted from the pixel signal level.
  • the calculation unit 108Ab subtracts the noise signal level obtained in previous step S12 from the pixel signal level obtained in previous step S11.
  • the subtraction process may be a process of subtracting noise image data from pixel image data.
  • the SNR drop is also suppressed by the second technique as described above.
  • the reset transistor RST2 may be used to release electric charge.
  • the configuration of the pixel 110A and the first method described above may be combined.
  • the FPN data 109a can be obtained by turning on the reset transistor RST2 and turning off the switch SW.
  • the subtraction process using the FPN data 109a is as described above.
  • the subtraction process is the subtraction of the fixed pattern noise FPN, even when motion-compensated temporal filtering (MCTF) is performed on the frame image data, the noise is appropriately reduced and the SNR drop is reduced. is suppressed.
  • MCTF motion-compensated temporal filtering
  • the third technique subtracts the noise signal level from the pixel signal level in a simpler manner than the second technique in some respects.
  • FIG. 18 is a diagram showing an example of a schematic configuration of a pixel.
  • the illustrated pixel 110B differs from the pixel 110A (FIG. 14) in that it does not include the reset transistor RST2.
  • the exposure period includes the first period and the second period in this order.
  • the switch SW is controlled to be OFF.
  • the switch SW is controlled to be ON. Exposure during the first period provides a noise signal level corresponding to the noise generated in the capacitor C due to temperature. A pixel signal level corresponding to charges generated in the photoelectric conversion unit SP and accumulated in the photoelectric conversion unit SP and the capacitor C is obtained by exposure during the total period of the first period and the second period. The obtained noise signal level is subtracted from the obtained pixel signal level.
  • FIG. 19 is a diagram showing an example of functional blocks of a signal processing unit (or column processing circuit) and a data storage unit.
  • the signal processing unit 108B includes a calculation unit 108Bb as a functional block related to subtraction processing. Based on the noise signal level obtained by the exposure in the first period, the calculation unit 108Bb calculates the noise signal level for the total period of the first period and the second period, and the exposure in the total period The calculated noise signal level is subtracted from the obtained pixel signal level. Specifically, the calculation unit 108Bb multiplies the noise signal level obtained by the exposure in the first period by (length of the total period)/(length of the first period), and converts the pixel signal level into , subtract the noise signal level after multiplication.
  • the arithmetic unit 108Bb may subtract the AD-converted noise signal level from the AD-converted pixel signal level. Further, the calculation unit 108Bb may subtract noise image data based on the noise signal level from pixel image data based on the pixel signal level.
  • the data storage unit 109B stores a program 109Bb as information on noise cancellation processing.
  • the program 109Bb is a program for causing the computer, more specifically the signal processing section 108B, to execute the processing of the calculation section 108Bb.
  • the column processing circuit 103B may have the function of the arithmetic section 108Bb.
  • FIG. 20 is a diagram schematically showing exposure periods.
  • a solid line schematically indicates the charge amount of each of the photoelectric conversion unit SP and the capacitor C.
  • FIG. It is assumed that the photoelectric conversion unit SP and the capacitor C are initially reset.
  • the first period starts.
  • the switch SW is controlled to be OFF.
  • the photoelectric conversion unit SP generates electric charge corresponding to the amount of received light. The generated charge is accumulated in the photoelectric conversion portion SP. On the other hand, noise occurs in the capacitor C due to temperature.
  • a noise signal level obtained by exposure in the first period is AD-converted.
  • the second period begins.
  • the switch SW is controlled to be ON.
  • the charge that has been generated and accumulated in the photoelectric conversion unit SP so far is accumulated in the capacitor C as well.
  • the photoelectric conversion part SP continues to generate charges. The generated charge is accumulated in the photoelectric conversion part SP and the capacitor C. As shown in FIG.
  • the length of the first period (time t21 to time t22) is set so as to end before the charge accumulation in the photoelectric conversion unit SP is saturated.
  • the length of such a first period may be a predetermined length based on design data, experimental data, or the like, for example.
  • the length of the first period may be fixed, or may be dynamically set according to, for example, the illuminance at the time of exposure.
  • the second period ends.
  • a pixel signal level obtained by exposure in the total period of the first period and the second period is AD-converted.
  • the next exposure period starts thereafter.
  • the calculation unit 108Bb multiplies the noise signal level obtained by the exposure in the first period by (total period length)/(first period), Calculate the noise signal level of The calculated noise signal level is the noise signal level at time t23 when it is assumed that the noise signal level in the first period (time t21 to time t22) is extended to time t23 as indicated by the dashed line in FIG. level.
  • the calculation unit 108Bb subtracts the calculated noise signal level from the pixel signal level.
  • FIG. 21 is a flow chart showing an example of processing executed in the solid-state imaging device (processing method of the solid-state imaging device). Since the specific processing is as described above, detailed description will not be repeated here.
  • step S21 the noise signal level due to the exposure in the first period is obtained.
  • step S22 the pixel signal level due to exposure during the total period of the first period and the second period is obtained.
  • step S23 the noise signal level converted to the total period is calculated.
  • the calculation unit 108Bb multiplies the noise signal level obtained in the previous step S21 by (length of total period)/(length of first period).
  • step S24 the noise signal level is subtracted from the pixel signal level.
  • the calculation unit 108Bb subtracts the noise signal level calculated in step S23 from the pixel signal level obtained in step S22.
  • the subtraction process may be a process of subtracting noise image data from pixel image data.
  • the SNR drop is also suppressed by the third method as described above.
  • the third method reading of the reset level (time t21 in FIG. 20) is enough.
  • the process is simplified by eliminating the need to read the reset level twice (time t11 and time t12 in FIG. 16) as in the second method.
  • one pixel 110 includes one photoelectric conversion unit SP.
  • one pixel 110 may include a plurality of photoelectric conversion units SP. In that case, a part of the pixel circuit may be shared among the plurality of photoelectric conversion units SP.
  • FIG. 22 is a diagram showing an example of a schematic configuration of a pixel.
  • the photoelectric conversion unit SP described so far is illustrated as a photoelectric conversion unit SP2.
  • the illustrated pixel 110C differs from the pixel 110B (FIG. 18) in that it further includes a photoelectric conversion unit SP1, a transfer transistor TGL, and a transfer transistor FDG.
  • the photoelectric conversion unit SP1 generates and accumulates electric charges according to the amount of received light.
  • the photoelectric conversion unit SP1 is also a photodiode like the photoelectric conversion unit SP2.
  • the anode of the photoelectric conversion part SP1 is connected to the ground GND.
  • the cathode is connected to the transfer transistor TGL.
  • a capacitor is not connected to the photoelectric conversion unit SP1.
  • the photoelectric conversion unit SP1 has saturation characteristics different from those of the photoelectric conversion unit SP2 and the capacitor C.
  • the transfer transistor TGL is connected between the photoelectric conversion unit SP1 and the floating diffusion FD, and transfers the charges accumulated in the photoelectric conversion unit SP1 to the floating diffusion FD. Charge transfer is controlled by a signal supplied from the vertical drive circuit 102 (FIG. 3) to the gate of the transfer transistor TGL.
  • the transfer transistor FDG is connected between the transfer transistor FCG and the floating diffusion FD, and cooperates with the transfer transistor FCG to transfer the charges accumulated in the photoelectric conversion part SP2 and the capacitor C to the floating diffusion FD. Charge transfer is controlled by signals supplied from the vertical drive circuit 102 (FIG. 3) to the gates of the transfer transistors FCG and FDG.
  • the charge accumulated in the photoelectric conversion unit SP2 and/or the capacitor C and the charge accumulated in the photoelectric conversion unit SP1 are transferred to the floating diffusion FD at different timings, and the corresponding signals are read out.
  • the exposure times of the photoelectric conversion unit SP2 and the photoelectric conversion unit SP1 may be set individually. For example, by reducing the capacitance of the photoelectric conversion unit SP1 or shortening the exposure period, the sensitivity at low illuminance can be improved more than the photoelectric conversion unit SP2 and the capacitor C. By combining and using the signals obtained by the photoelectric conversion units SP2 and SP1 having different saturation characteristics, it is possible to achieve further WDR.
  • the previously described pixel 110 (FIG. 4) and pixel 110A (FIG. 14) may also be modified to include the photoelectric conversion unit SP1. Also, one pixel 110 may include three or more photoelectric conversion units with different saturation characteristics.
  • the camera 51 of the vehicle 1 has been described as an application example of the solid-state imaging device 100 .
  • the solid-state imaging device 100 may be used for various purposes other than this. Examples of other uses are mobile objects such as robots, IOT devices, and the like.
  • the solid-state imaging device 100 includes a plurality of pixels 110, etc. and a portion 108b and the like.
  • Each of the plurality of pixels 110 and the like includes a photoelectric conversion unit SP that generates electric charge according to the amount of received light, and a capacitor that is provided so as to share the charge generated in the photoelectric conversion unit SP with the photoelectric conversion unit SP and accumulate the electric charge. Including C.
  • the calculation unit 108b and the like convert a pixel signal level corresponding to the charge generated in the photoelectric conversion unit SP and accumulated in the photoelectric conversion unit SP and the capacitor C into a noise signal corresponding to noise generated in the capacitor C due to temperature. Subtract the level (step S3, step S13, step S24).
  • the charge generated in the photoelectric conversion unit SP is accumulated not only in the photoelectric conversion unit SP but also in the capacitor C, so that the charge saturation can be suppressed and the WDR can be ensured. Moreover, since the noise signal level corresponding to the noise generated in the capacitor C due to the temperature is subtracted from the pixel signal level, it is possible to suppress the SNR drop. Therefore, it becomes possible to suppress the SNR drop while ensuring the WDR.
  • the solid-state imaging device 100 includes a storage unit (data storage unit 109), and the calculation unit 108b calculates the noise signal level using the exposure time, temperature, and fixed pattern noise data (FPN data 109a) stored in the storage unit (data storage unit 109). (step S2), and the calculated noise signal level may be subtracted from the pixel signal level (step S3). For example, the SNR drop can be suppressed by such a subtraction process (first technique).
  • the fixed pattern noise data (FPN data 109a) is noise image data based on the noise signal level of each of the plurality of pixels 110. and fixed pattern noise data (FPN data 109a) stored in the storage unit (data storage unit 109) to calculate noise image data based on the noise signal level, and from the pixel image data based on the pixel signal level, The calculated noise image data may be subtracted. In this way, subtraction processing can also be performed at the image data level.
  • each of the plurality of pixels 110A includes a switch SW connected between the photoelectric conversion unit SP and the capacitor C, and the exposure period of the plurality of pixels 110A is , a phosphorescent exposure period (time t11 to time t12) in which the switch SW is controlled to the conductive state (ON) or non-conductive state (OFF), and a non-phosphorescent exposure period ( from time t12 to time t13), and the calculation unit 108Ab calculates, from the pixel signal level obtained by exposure during the phosphorescent exposure period (time t11 to time t12), during the non-phosphorescence exposure period (time t12 to time t13) (Steps S11 to S13), and the calculation unit 108Ab may subtract the AD-converted noise signal level from the AD-converted pixel signal level. For example, such a subtraction process (second method) can also suppress the SNR drop.
  • the calculation unit 108Ab based on the noise signal level obtained by the exposure during the non-phosphorescence exposure period (time t12 to time t13), determines the The noise signal level for t12) may be calculated, and the calculated noise signal level may be subtracted from the pixel signal level obtained by exposure during the phosphorescent exposure period (time t11 to time t12).
  • the length of the phosphorescent exposure period (time t11 to time t12) and the length of the non-phosphorescent exposure period (time t12 to time t13) are different, it is possible to perform an appropriate subtraction process.
  • the calculation unit 108Ab may subtract noise image data based on the noise signal level from pixel image data based on the pixel signal level. In this way, subtraction processing can also be performed at the image data level.
  • the plurality of pixels 110A are arranged in an array, the pixel signal level and noise signal level are AD-converted for each pixel row, and the arithmetic unit 108Ab The noise signal level after AD conversion may be subtracted from the pixel signal level after AD conversion for each row.
  • Such DOL driving can save the memory capacity required for holding the pixel signal level.
  • each of the plurality of pixels 110B includes a switch SW connected between the photoelectric conversion unit SP and the capacitor C, and the exposure period of the plurality of pixels 110B is , a first period (time t21 to time t22) during which the switch SW is controlled to be non-conductive (OFF), and a second period (time t22 to time t23) during which the switch SW is controlled to be conductive (ON).
  • the calculation unit 108Bb calculates the first period (time t21 to time t22) and the The noise signal level for the total period (time t21 to time t23) of period 2 (time t22 to time t23) is calculated, and from the pixel signal level obtained by exposure during the total period (time t21 to time t23), The calculated noise signal level may be subtracted. For example, such a subtraction process (third technique) can also suppress the SNR drop.
  • An imaging device (camera 51, etc.) described with reference to FIGS.
  • An imaging device includes a photoelectric conversion unit SP that generates electric charge according to the amount of received light, and a capacitor that is provided so that the electric charge generated in the photoelectric conversion unit SP can be shared with the photoelectric conversion unit SP and accumulated. C, and the pixel signal level according to the charge generated in the photoelectric conversion unit SP and accumulated in the photoelectric conversion unit SP and the capacitor C, the capacitor C and a calculation unit 108b for subtracting a noise signal level corresponding to noise generated in C. Even with such an imaging device (such as the camera 51), it is possible to suppress the SNR drop while ensuring the WDR, as described above.
  • the imaging device stores in advance fixed pattern noise data (FPN data 109a) indicating the noise signal level of each of the plurality of pixels 110.
  • FPN data 109a fixed pattern noise data
  • a storage unit storage unit 51b, etc.
  • the calculation unit 108b calculates noise using the exposure time, temperature, and fixed pattern noise data (FPN data 109a) stored in the storage unit (storage unit 51b, etc.).
  • a signal level may be calculated and the calculated noise signal level may be subtracted from the pixel signal level. For example, the SNR drop can be suppressed by such a subtraction process (first method).
  • the fixed pattern noise data (FPN data 109a) is noise image data based on the noise signal level of each of the plurality of pixels 110
  • the calculation unit 108b calculates the exposure time and the temperature and fixed pattern noise data (FPN data 109a) stored in a storage unit (camera 51, etc.) to calculate noise image data based on the noise signal level, and obtain pixel image data based on the pixel signal level.
  • the calculated noise image data may be subtracted from . In this way, subtraction processing can also be performed at the image data level.
  • the processing method of the solid-state imaging device 100 described with reference to FIGS. 3, 4, 13, 14, 17, 18, 21 and 22 is also one of the embodiments.
  • the solid-state imaging device 100 can accumulate the charges generated by the photoelectric conversion unit SP, which generates electric charges corresponding to the amount of received light, and shares the electric charges generated by the photoelectric conversion unit SP with the photoelectric conversion unit SP.
  • step S3, S13, S24 subtracting the noise signal level corresponding to the noise generated in the capacitor C due to the temperature. Even with such a processing method of the solid-state imaging device 100, it is possible to suppress the SNR drop while ensuring the WDR, as described above.
  • the processing programs (program 109b, etc.) of the solid-state imaging device 100 are also is one.
  • the solid-state imaging device 100 In the processing program (program 109b, etc.) of the solid-state imaging device 100, the solid-state imaging device 100 generates a charge corresponding to the amount of received light, and shares the charge generated in the photoelectric conversion unit with the photoelectric conversion unit SP.
  • a processing program (program 109b, etc.) is generated in the photoelectric conversion unit SP and stored in the photoelectric conversion unit SP and the capacitor C.
  • the computer is caused to subtract the noise signal level corresponding to the noise generated in the capacitor C due to the temperature from the pixel signal level corresponding to the charged charge (steps S3, S13 and S24).
  • the imaging device includes a photoelectric conversion unit SP that generates electric charges according to the amount of light received, and the electric charges generated in the photoelectric conversion unit SP. and a solid-state imaging device 100 including a plurality of pixels 110 each including a capacitor C provided so as to be able to share and store the charge generated in the photoelectric conversion unit SP and stored in the photoelectric conversion unit SP and the capacitor C. Subtracting a noise signal level corresponding to noise generated in the capacitor C due to temperature from a pixel signal level corresponding to the accumulated charge (step S3). Even with such a processing method of the imaging device (camera 51, etc.), it is possible to suppress the SNR drop while ensuring the WDR, as described above.
  • the imaging device (camera 51, etc.) generates a photoelectric conversion unit SP that generates electric charge according to the amount of received light, and converts the electric charge generated in the photoelectric conversion unit SP.
  • the solid-state imaging device 100 includes a plurality of pixels 110 each including a capacitor C provided so as to share and store with the photoelectric conversion unit SP, and a processing program (program 109b) is generated in the photoelectric conversion unit SP.
  • a processing program (such as the program 109b) of such an imaging device (such as the camera 51) also makes it possible to suppress the SNR drop while ensuring the WDR, as described above.
  • the present technology can also take the following configuration.
  • (2) a storage unit storing in advance fixed pattern noise data indicating the noise signal level of each of the plurality of pixels;
  • the calculation unit calculates the noise signal level using the exposure time, temperature, and fixed pattern noise data stored in the storage unit, and calculates the calculated noise signal level from the pixel signal level. to subtract, (1)
  • (3) The fixed pattern noise data is noise image data based on the noise signal level of each of the plurality of pixels,
  • the calculation unit calculates noise image data based on the noise signal level using the exposure time, temperature, and fixed pattern noise data stored in the storage unit, and calculates pixel image data based on the pixel signal level. Subtracting the calculated noise image data from (2) The solid-state imaging device according to (2).
  • each of the plurality of pixels includes a switch connected between the photoelectric conversion unit and the capacitor;
  • the exposure period of the plurality of pixels is a phosphorescent exposure period in which the switch is controlled to be in a conducting state or a non-conducting state; a non-luminous exposure period in which the switch is controlled to be in a non-conducting state; including
  • the computing unit subtracts the noise signal level obtained by exposure during the non-phosphorescent exposure period from the pixel signal level obtained by exposure during the phosphorescent exposure period,
  • the calculation unit subtracts the noise signal level after AD conversion from the pixel signal level after AD conversion.
  • the computing unit calculates the noise signal level for the phosphorescent exposure period based on the noise signal level obtained by the exposure during the non-phosphorescent exposure period, and calculates the noise signal level for the phosphorescent exposure period. subtracting the calculated noise signal level from the pixel signal level; The solid-state imaging device according to (4). (6) The calculation unit subtracts noise image data based on the noise signal level from pixel image data based on the pixel signal level. The solid-state imaging device according to (4) or (5). (7) The plurality of pixels are arranged in an array, the pixel signal level and the noise signal level are AD-converted for each pixel row; The computing unit subtracts the noise signal level after AD conversion from the pixel signal level after AD conversion for each pixel row.
  • each of the plurality of pixels includes a switch connected between the photoelectric conversion unit and the capacitor;
  • the exposure period of the plurality of pixels is a first time period during which the switch is controlled to be non-conducting; a second period in which the switch is controlled to be conductive; in that order,
  • the calculation unit calculates the noise signal level for a total period of the first period and the second period based on the noise signal level obtained by exposure in the first period, subtracting the calculated noise signal level from the pixel signal level obtained by exposing for a total period; (1)
  • the solid-state imaging device (1).
  • a solid state including a plurality of pixels each including a photoelectric conversion unit that generates electric charge according to the amount of received light, and a capacitor that is provided so as to store the electric charge generated by the photoelectric conversion unit in a shared manner with the photoelectric conversion unit.
  • an imaging device A computing unit for subtracting a noise signal level corresponding to noise generated in the capacitor due to temperature from a pixel signal level corresponding to charges generated in the photoelectric conversion unit and accumulated in the photoelectric conversion unit and the capacitor.
  • (10) a storage unit storing in advance fixed pattern noise data indicating the noise signal level of each of the plurality of pixels;
  • the calculation unit calculates the noise signal level using the exposure time, temperature, and fixed pattern noise data stored in the storage unit, and calculates the calculated noise signal level from the pixel signal level. to subtract,
  • the fixed pattern noise data is noise image data based on the noise signal level of each of the plurality of pixels,
  • the calculation unit calculates noise image data based on the noise signal level using the exposure time, temperature, and fixed pattern noise data stored in the storage unit, and calculates pixel image data based on the pixel signal level. Subtracting the calculated noise image data from (10) The imaging device according to (10).
  • a processing method for a solid-state imaging device comprising: The solid-state imaging device is a plurality of pixels each including a photoelectric conversion unit that generates an electric charge corresponding to the amount of received light; and a capacitor that is provided so as to store the electric charge generated by the photoelectric conversion unit in a shared manner with the photoelectric conversion unit; with The processing method is subtracting a noise signal level corresponding to noise generated in the capacitor due to temperature from a pixel signal level corresponding to charges generated in the photoelectric conversion unit and accumulated in the photoelectric conversion unit and the capacitor; including, A processing method for a solid-state imaging device.
  • a processing program for a solid-state imaging device is a plurality of pixels each including a photoelectric conversion unit that generates an electric charge corresponding to the amount of received light; and a capacitor that is provided so as to store the electric charge generated by the photoelectric conversion unit in a shared manner with the photoelectric conversion unit; with The processing program is subtracting a noise signal level corresponding to noise generated in the capacitor due to temperature from a pixel signal level corresponding to charges generated in the photoelectric conversion unit and accumulated in the photoelectric conversion unit and the capacitor; cause the computer to run A processing program for a solid-state imaging device.
  • a processing method for an imaging device comprising:
  • the imaging device is A solid state including a plurality of pixels each including a photoelectric conversion unit that generates electric charge according to the amount of received light, and a capacitor that is provided so as to store the electric charge generated by the photoelectric conversion unit in a shared manner with the photoelectric conversion unit.
  • imaging device, with The processing method is subtracting a noise signal level corresponding to noise generated in the capacitor due to temperature from a pixel signal level corresponding to charges generated in the photoelectric conversion unit and accumulated in the photoelectric conversion unit and the capacitor; including, A processing method of an imaging device.
  • a processing program for an imaging device is A solid state including a plurality of pixels each including a photoelectric conversion unit that generates electric charge according to the amount of received light, and a capacitor that is provided so as to store the electric charge generated by the photoelectric conversion unit in a shared manner with the photoelectric conversion unit.
  • imaging device, with The processing program is subtracting a noise signal level corresponding to noise generated in the capacitor due to temperature from a pixel signal level corresponding to charges generated in the photoelectric conversion unit and accumulated in the photoelectric conversion unit and the capacitor; cause the computer to run A processing program for an imaging device.
  • vehicle control ECU 28 recording unit (storage unit) 51 camera (imaging device) 51a processing unit 51b storage unit 100 solid-state imaging device 101 pixel array unit 102 vertical drive circuit 103 column processing circuit 104 horizontal drive circuit 105 system control unit 108 signal processing unit 108a acquisition unit 108b calculation unit 109 data storage unit (storage unit) 109a FPN data 109b Program SP Photoelectric converter SW Switch C Capacitor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

固体撮像装置（１００）は、受光光量に応じた電荷を発生する光電変換部（ＳＰ）、及び、光電変換部（ＳＰ）で発生した電荷を光電変換部（ＳＰ）と分担して蓄積できるように設けられたキャパシタ（Ｃ）を各々が含む複数の画素（１１０）と、光電変換部（ＳＰ）で発生し光電変換部（ＳＰ）及びキャパシタ（Ｃ）に蓄積された電荷に応じた画素信号レベルから、温度に起因してキャパシタ（Ｃ）内で発生するノイズに応じたノイズ信号レベルを減算する演算部（１０８ｂ）と、を備える。

Description

固体撮像装置、撮像装置、固体撮像装置の処理方法、固体撮像装置の処理プログラム、撮像装置の処理方法、及び、撮像装置の処理プログラム
　本開示は、固体撮像装置、撮像装置、固体撮像装置の処理方法、固体撮像装置の処理プログラム、撮像装置の処理方法、及び、撮像装置の処理プログラムに関する。
　撮像画像の画質を向上させるためのさまざまな技術が提案されている（例えば特許文献１を参照）。
特開２０１１－２２３４７７号公報
　車両、ロボット等のような移動体の自立化、ＩＯＴ（Internet　Of　Things）等の普及に伴い、画質向上への要望が高まっている。画質向上のための検討すべき事項の１つに、広ダイナミックレンジ（ＷＤＲ：Wide　Dynamic　Range）化がある。例えばフォトダイオード等の光電変換部の飽和抑制は有効である。飽和抑制の手法として、光電変換部に電気的に接続されたキャパシタにも電荷を蓄積することが考えられる。ただし、温度に起因してキャパシタ内にノイズが発生し、ＳＮＲ（Signal　to　Noise　Ratio）が低下するというＳＮＲドロップの問題がある。
　本開示は、ＷＤＲを確保しつつＳＮＲドロップを抑制することが可能な固体撮像装置、撮像装置、固体撮像装置の処理方法、固体撮像装置の処理プログラム、撮像装置の処理方法、及び、撮像装置の処理プログラムを提供する。
　一側面に係る固体撮像装置は、受光光量に応じた電荷を発生する光電変換部、及び、光電変換部で発生した電荷を光電変換部と分担して蓄積できるように設けられたキャパシタを各々が含む複数の画素と、光電変換部で発生し光電変換部及びキャパシタに蓄積された電荷に応じた画素信号レベルから、温度に起因してキャパシタ内で発生するノイズに応じたノイズ信号レベルを減算する演算部と、を備える。
　一側面に係る撮像装置は、受光光量に応じた電荷を発生する光電変換部、及び、光電変換部で発生した電荷を光電変換部と分担して蓄積できるように設けられたキャパシタを各々が含む複数の画素を含む固体撮像装置と、光電変換部で発生し光電変換部及びキャパシタに蓄積された電荷に応じた画素信号レベルから、温度に起因してキャパシタ内で発生するノイズに応じたノイズ信号レベルを減算する演算部と、を備える。
　一側面に係る固体撮像装置の処理方法において、固体撮像装置は、受光光量に応じた電荷を発生する光電変換部、及び、光電変換部で発生した電荷を光電変換部と分担して蓄積できるように設けられたキャパシタを各々が含む複数の画素、を備え、処理方法は、光電変換部で発生し光電変換部及びキャパシタに蓄積された電荷に応じた画素信号レベルから、温度に起因してキャパシタ内で発生するノイズに応じたノイズ信号レベルを減算すること、を含む。
　一側面に係る固体撮像装置の処理プログラムにおいて、固体撮像装置は、受光光量に応じた電荷を発生する光電変換部、及び、光電変換部で発生した電荷を光電変換部と分担して蓄積できるように設けられたキャパシタを各々が含む複数の画素、を備え、処理プログラムは、光電変換部で発生し光電変換部及びキャパシタに蓄積された電荷に応じた画素信号レベルから、温度に起因してキャパシタ内で発生するノイズに応じたノイズ信号レベルを減算すること、をコンピュータに実行させる。
　一側面に係る撮像装置の処理方法において、撮像装置は、受光光量に応じた電荷を発生する光電変換部、及び、光電変換部で発生した電荷を光電変換部と分担して蓄積できるように設けられたキャパシタを各々が含む複数の画素を含む固体撮像装置、を備え、処理方法は、光電変換部で発生し光電変換部及びキャパシタに蓄積された電荷に応じた画素信号レベルから、温度に起因してキャパシタ内で発生するノイズに応じたノイズ信号レベルを減算すること、を含む。
　一側面に係る撮像装置の処理プログラムにおいて、撮像装置は、受光光量に応じた電荷を発生する光電変換部、及び、光電変換部で発生した電荷を光電変換部と分担して蓄積できるように設けられたキャパシタを各々が含む複数の画素を含む固体撮像装置、を備え、処理プログラムは、光電変換部で発生し光電変換部及びキャパシタに蓄積された電荷に応じた画素信号レベルから、温度に起因してキャパシタ内で発生するノイズに応じたノイズ信号レベルを減算すること、をコンピュータに実行させる。
車両制御システムの概略構成の例を示す図である。 センシング領域の例を示す図である。 固体撮像装置の概略構成例を示すブロック図である。 画素の概略構成の例を示す図である。 ＳＮＲドロップを模式的に示す図である。 ＳＮＲドロップを模式的に示す図である。 ＳＮＲドロップを模式的に示す図である。 ＳＮＲドロップを模式的に示す図である。 信号処理部及びデータ格納部の機能ブロックの例を示す図である。 ＳＮＲドロップの抑制を模式的に示す図である。 撮像装置の概略構成の例を示す図である。 撮像装置の概略構成の例を示す図である。 固体撮像装置又は撮像装置において実行される処理の例を示すフローチャートである。 画素の概略構成の例を示す図である。 信号処理部（若しくはカラム処理回路）及びデータ格納部の機能ブロックの例を示す図である。 露光期間を模式的に示す図である。 固体撮像装置において実行される処理の例を示すフローチャートである。 画素の概略構成の例を示す図である。 信号処理部（若しくはカラム処理回路）及びデータ格納部の機能ブロックの例を示す図である。 露光期間を模式的に示す図である。 固体撮像装置において実行される処理の例を示すフローチャートである。 画素の概略構成の例を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の要素には同一の符号を付することにより重複する説明を省略する。
　以下に示す項目順序に従って本開示を説明する。
　　１．実施形態
　　　１．１　車両制御システムの構成例
　　　１．２　固体撮像装置の構成例
　　　１．３　ＳＮＲドロップ
　　　１．４　第１の手法
　　　１．５　第２の手法
　　　１．６　第３の手法
　　２．変形例
　　３．効果の例
１．実施形態
　一実施形態において、開示される技術は、移動装置制御システムに適用される。移動装置制御システムの例は、車両制御システムであり、これについて、図１を参照して説明する。
１．１　車両制御システムの構成例
　図１は、車両制御システムの概略構成の例を示す図である。車両制御システム１１は、車両１に設けられ、車両１の走行支援及び自動運転に関わる処理を行う。
　車両制御システム１１は、車両制御ＥＣＵ（Electronic　Control　Unit）２１、通信部２２、地図情報蓄積部２３、ＧＮＳＳ（Global　Navigation　Satellite　System）受信部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記録部２８、走行支援・自動運転制御部２９、ドライバモニタリングシステム（Driver　Monitoring　System：ＤＭＳ）３０、ヒューマンマシーンインタフェース（Human　Machine　Interface：ＨＭＩ）３１、及び、車両制御部３２を備える。
　車両制御ＥＣＵ２１、通信部２２、地図情報蓄積部２３、ＧＮＳＳ受信部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記録部２８、走行支援・自動運転制御部２９、ＤＭＳ３０、ＨＭＩ３１、及び、車両制御部３２は、通信ネットワーク４１を介して相互に通信可能に接続されている。通信ネットワーク４１は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）、ＦｌｅｘＲａｙ（登録商標）、イーサネット（登録商標）といったデジタル双方向通信の規格に準拠した車載通信ネットワークやバス等により構成される。通信ネットワーク４１は、通信されるデータの種類によって使い分けられても良く、例えば、車両制御に関するデータであればＣＡＮが適用され、大容量データであればイーサネットが適用される。なお、車両制御システム１１の各部は、通信ネットワーク４１を介さずに、例えば近距離無線通信（ＮＦＣ（Near　Field　Communication））やＢｌｕｅｔｏｏｔｈ（登録商標）といった比較的近距離での通信を想定した無線通信を用いて直接的に接続される場合もある。
　なお、以下、車両制御システム１１の各部が、通信ネットワーク４１を介して通信を行う場合、通信ネットワーク４１の記載を省略するものとする。例えば、車両制御ＥＣＵ２１と通信部２２が通信ネットワーク４１を介して通信を行う場合、単に車両制御ＥＣＵ２１と通信部２２とが通信を行うと記載する。
　車両制御ＥＣＵ２１は、例えば、ＣＰＵ（Central　Processing　Unit）、ＭＰＵ（Micro　Processing　Unit）といった各種プロセッサにより構成される。車両制御ＥＣＵ２１は、車両制御システム１１全体もしくは一部の機能の制御を行う。
　通信部２２は、車内及び車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、各種のデータの送受信を行う。このとき、通信部２２は、複数の通信方式を用いて通信を行うことができる。
　通信部２２が実行可能な車外との通信について、概略的に説明する。通信部２２は、例えば、５Ｇ（第５世代移動通信システム）、ＬＴＥ（Long　Term　Evolution）、ＤＳＲＣ（Dedicated　Short　Range　Communications）等の無線通信方式により、基地局又はアクセスポイントを介して、外部ネットワーク上に存在するサーバ（以下、外部のサーバと呼ぶ）等と通信を行う。通信部２２が通信を行う外部ネットワークは、例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク等である。通信部２２による外部ネットワークに対して通信を行う通信方式は、所定以上の通信速度、且つ、所定以上の距離間でデジタル双方向通信が可能な無線通信方式であれば、特に限定されない。
　また例えば、通信部２２は、Ｐ２Ｐ（Peer　To　Peer）技術を用いて、自車の近傍に存在する端末と通信を行うことができる。自車の近傍に存在する端末は、例えば、歩行者や自転車など比較的低速で移動する移動体が装着する端末、店舗などに位置が固定されて設置される端末、あるいは、ＭＴＣ（Machine　Type　Communication）端末である。さらに、通信部２２は、Ｖ２Ｘ通信を行うこともできる。Ｖ２Ｘ通信とは、例えば、他の車両との間の車車間（Vehicle　to　Vehicle）通信、路側器等との間の路車間（Vehicle　to　Infrastructure）通信、家との間（Vehicle　to　Home）の通信、及び、歩行者が所持する端末等との間の歩車間（Vehicle　to　Pedestrian）通信等の、自車と他との通信をいう。
　通信部２２は、例えば、車両制御システム１１の動作を制御するソフトウエアを更新するためのプログラムを外部から受信することができる（Over　The　Air)。通信部２２は、さらに、地図情報、交通情報、車両１の周囲の情報等を外部から受信することができる。また例えば、通信部２２は、車両１に関する情報や、車両１の周囲の情報等を外部に送信することができる。通信部２２が外部に送信する車両１に関する情報としては、例えば、車両１の状態を示すデータ、認識部７３による認識結果等がある。さらに例えば、通信部２２は、ｅコール等の車両緊急通報システムに対応した通信を行う。
　通信部２２が実行可能な車内との通信について、概略的に説明する。通信部２２は、例えば無線通信を用いて、車内の各機器と通信を行うことができる。通信部２２は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、ＷＵＳＢ（Wireless　USB）といった、無線通信により所定以上の通信速度でデジタル双方向通信が可能な通信方式により、車内の機器と無線通信を行うことができる。これに限らず、通信部２２は、有線通信を用いて車内の各機器と通信を行うこともできる。例えば、通信部２２は、図示しない接続端子に接続されるケーブルを介した有線通信により、車内の各機器と通信を行うことができる。通信部２２は、例えば、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（High-Definition　Multimedia　Interface）（登録商標）、ＭＨＬ（Mobile　High-definition　Link）といった、有線通信により所定以上の通信速度でデジタル双方向通信が可能な通信方式により、車内の各機器と通信を行うことができる。
　ここで、車内の機器とは、例えば、車内において通信ネットワーク４１に接続されていない機器を指す。車内の機器としては、例えば、運転者等の搭乗者が所持するモバイル機器やウェアラブル機器、車内に持ち込まれ一時的に設置される情報機器等が想定される。
　例えば、通信部２２は、電波ビーコン、光ビーコン、ＦＭ多重放送等の道路交通情報通信システム（ＶＩＣＳ（Vehicle　Information　and　Communication　System）（登録商標））により送信される電磁波を受信する。
　地図情報蓄積部２３は、外部から取得した地図及び車両１で作成した地図の一方又は両方を蓄積する。例えば、地図情報蓄積部２３は、３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ等を蓄積する。
　高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップなどである。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の４層からなる地図であり、外部のサーバ等から車両１に提供される。ポイントクラウドマップは、ポイントクラウド（点群データ）により構成される地図である。ここで、ベクターマップは、車線や信号の位置といった交通情報などをポイントクラウドマップに対応付けた、ＡＤＡＳ（Advanced　Driver　Assistance　System）に適合させた地図を指すものとする。
　ポイントクラウドマップ及びベクターマップは、例えば、外部のサーバ等から提供されてもよいし、レーダ５２、ＬｉＤＡＲ５３等によるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両１で作成され、地図情報蓄積部２３に蓄積されてもよい。また、外部のサーバ等から高精度地図が提供される場合、通信容量を削減するため、車両１がこれから走行する計画経路に関する、例えば数百メートル四方の地図データが外部のサーバ等から取得される。
　ＧＮＳＳ受信部２４は、ＧＮＳＳ衛星からＧＮＳＳ信号を受信し、車両１の位置情報を取得する。受信したＧＮＳＳ信号は、走行支援・自動運転制御部２９に供給される。尚、ＧＮＳＳ受信部２４は、ＧＮＳＳ信号を用いた方式に限定されず、例えば、ビーコンを用いて位置情報を取得しても良い。
　外部認識センサ２５は、車両１の外部の状況の認識に用いられる各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。外部認識センサ２５が備えるセンサの種類や数は任意である。
　例えば、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）５３、及び、超音波センサ５４を備える。これに限らず、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４のうち１種類以上のセンサを備える構成でもよい。カメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４の数は、現実的に車両１に設置可能な数であれば特に限定されない。また、外部認識センサ２５が備えるセンサの種類は、この例に限定されず、外部認識センサ２５は、他の種類のセンサを備えてもよい。外部認識センサ２５が備える各センサのセンシング領域の例は、後述する。
　なお、カメラ５１の撮影方式は、測距が可能な撮影方式であれば特に限定されない。例えば、カメラ５１は、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった各種の撮影方式のカメラを、必要に応じて適用することができる。これに限らず、カメラ５１は、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。
　また、例えば、外部認識センサ２５は、車両１に対する環境を検出するための環境センサを備えることができる。環境センサは、天候、気象、明るさ等の環境を検出するためのセンサであって、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサ等の各種センサを含むことができる。
　さらに、例えば、外部認識センサ２５は、車両１の周囲の音や音源の位置の検出等に用いられるマイクロフォンを備える。
　車内センサ２６は、車内の情報を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車内センサ２６が備える各種センサの種類や数は、現実的に車両１に設置可能な数であれば特に限定されない。
　例えば、車内センサ２６は、カメラ、レーダ、着座センサ、ステアリングホイールセンサ、マイクロフォン、生体センサのうち１種類以上のセンサを備えることができる。車内センサ２６が備えるカメラとしては、例えば、ＴｏＦカメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった、測距可能な各種の撮影方式のカメラを用いることができる。これに限らず、車内センサ２６が備えるカメラは、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。車内センサ２６が備える生体センサは、例えば、シートやステリングホイール等に設けられ、運転者等の搭乗者の各種の生体情報を検出する。
　車両センサ２７は、車両１の状態を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車両センサ２７が備える各種センサの種類や数は、現実的に車両１に設置可能な数であれば特に限定されない。
　例えば、車両センサ２７は、速度センサ、加速度センサ、角速度センサ（ジャイロセンサ）、及び、それらを統合した慣性計測装置（ＩＭＵ（Inertial　Measurement　Unit））を備える。例えば、車両センサ２７は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、及び、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ２７は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、及び、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ２７は、バッテリの残量及び温度を検出するバッテリセンサ、及び、外部からの衝撃を検出する衝撃センサを備える。
　記録部２８は、不揮発性の記憶媒体および揮発性の記憶媒体のうち少なくとも一方を含み、データやプログラムを記憶する。記録部２８は、例えばＥＥＰＲＯＭ(Electrically　Erasable　Programmable　Read　Only　Memory)およびＲＡＭ(Random　Access　Memory)として用いられ、記憶媒体としては、ＨＤＤ（Hard　Disc　Drive）といった磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイスを適用することができる。記録部２８は、車両制御システム１１の各部が用いる各種プログラムやデータを記録する。例えば、記録部２８は、ＥＤＲ（Event　Data　Recorder）やＤＳＳＡＤ（Data　Storage　System　for　Automated　Driving）を備え、事故等のイベントの前後の車両１の情報や車内センサ２６によって取得された生体情報を記録する。
　走行支援・自動運転制御部２９は、車両１の走行支援及び自動運転の制御を行う。例えば、走行支援・自動運転制御部２９は、分析部６１、行動計画部６２、及び、動作制御部６３を備える。
　分析部６１は、車両１及び周囲の状況の分析処理を行う。分析部６１は、自己位置推定部７１、センサフュージョン部７２、及び、認識部７３を備える。
　自己位置推定部７１は、外部認識センサ２５からのセンサデータ、及び、地図情報蓄積部２３に蓄積されている高精度地図に基づいて、車両１の自己位置を推定する。例えば、自己位置推定部７１は、外部認識センサ２５からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両１の自己位置を推定する。車両１の位置は、例えば、後輪対車軸の中心が基準とされる。
　ローカルマップは、例えば、ＳＬＡＭ（Simultaneous　Localization　and　Mapping）等の技術を用いて作成される３次元の高精度地図、占有格子地図（Occupancy　Grid　Map）等である。３次元の高精度地図は、例えば、上述したポイントクラウドマップ等である。占有格子地図は、車両１の周囲の３次元又は２次元の空間を所定の大きさのグリッド（格子）に分割し、グリッド単位で物体の占有状態を示す地図である。物体の占有状態は、例えば、物体の有無や存在確率により示される。ローカルマップは、例えば、認識部７３による車両１の外部の状況の検出処理及び認識処理にも用いられる。
　なお、自己位置推定部７１は、ＧＮＳＳ信号、及び、車両センサ２７からのセンサデータに基づいて、車両１の自己位置を推定してもよい。
　センサフュージョン部７２は、複数の異なる種類のセンサデータ（例えば、カメラ５１から供給される画像データ、及び、レーダ５２から供給されるセンサデータ）を組み合わせて、新たな情報を得るセンサフュージョン処理を行う。異なる種類のセンサデータを組合せる方法としては、統合、融合、連合等がある。
　認識部７３は、車両１の外部の状況の検出を行う検出処理と、車両１の外部の状況の認識を行う認識処理と、を実行する。
　例えば、認識部７３は、外部認識センサ２５からの情報、自己位置推定部７１からの情報、センサフュージョン部７２からの情報等に基づいて、車両１の外部の状況の検出処理及び認識処理を行う。
　具体的には、例えば、認識部７３は、車両１の周囲の物体の検出処理及び認識処理等を行う。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動き等を検出する処理である。物体の認識処理とは、例えば、物体の種類等の属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複する場合がある。
　例えば、認識部７３は、ＬｉＤＡＲ５３又はレーダ５２等によるセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両１の周囲の物体を検出する。これにより、車両１の周囲の物体の有無、大きさ、形状、位置が検出される。
　例えば、認識部７３は、クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両１の周囲の物体の動きを検出する。これにより、車両１の周囲の物体の速度及び進行方向（移動ベクトル）が検出される。
　例えば、認識部７３は、カメラ５１から供給される画像データに対して、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示などを検出又は認識する。また、セマンティックセグメンテーション等の認識処理を行うことにより、車両１の周囲の物体の種類を認識してもよい。
　例えば、認識部７３は、地図情報蓄積部２３に蓄積されている地図、自己位置推定部７１による自己位置の推定結果、及び、認識部７３による車両１の周囲の物体の認識結果に基づいて、車両１の周囲の交通ルールの認識処理を行うことができる。認識部７３は、この処理により、信号の位置及び状態、交通標識及び道路標示の内容、交通規制の内容、並びに、走行可能な車線などを認識することができる。
　例えば、認識部７３は、車両１の周囲の環境の認識処理を行うことができる。認識部７３が認識対象とする周囲の環境としては、天候、気温、湿度、明るさ、及び、路面の状態等が想定される。
　行動計画部６２は、車両１の行動計画を作成する。例えば、行動計画部６２は、経路計画、経路追従の処理を行うことにより、行動計画を作成する。
　なお、経路計画（Global　path　planning）とは、スタートからゴールまでの大まかな経路を計画する処理である。この経路計画には、軌道計画と言われ、経路計画で計画された経路において、車両１の運動特性を考慮して、車両１の近傍で安全かつ滑らかに進行することが可能な軌道生成（Local　path　planning）の処理も含まれる。経路計画を長期経路計画、および起動生成を短期経路計画、又は局所経路計画と区別してもよい。安全優先経路は、起動生成、短期経路計画、又は局所経路計画と同様の概念を表す。
　経路追従とは、経路計画により計画した経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。行動計画部６２は、例えば、この経路追従の処理の結果に基づき、車両１の目標速度と目標角速度を計算することができる。
　動作制御部６３は、行動計画部６２により作成された行動計画を実現するために、車両１の動作を制御する。
　例えば、動作制御部６３は、後述する車両制御部３２に含まれる、ステアリング制御部８１、ブレーキ制御部８２、及び、駆動制御部８３を制御して、軌道計画により計算された軌道を車両１が進行するように、加減速制御及び方向制御を行う。例えば、動作制御部６３は、衝突回避あるいは衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告等のＡＤＡＳの機能実現を目的とした協調制御を行う。例えば、動作制御部６３は、運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行う。
　ＤＭＳ３０は、車内センサ２６からのセンサデータ、及び、後述するＨＭＩ３１に入力される入力データ等に基づいて、運転者の認証処理、及び、運転者の状態の認識処理等を行う。この場合にＤＭＳ３０の認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等が想定される。
　なお、ＤＭＳ３０が、運転者以外の搭乗者の認証処理、及び、当該搭乗者の状態の認識処理を行うようにしてもよい。また、例えば、ＤＭＳ３０が、車内センサ２６からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭い等が想定される。
　ＨＭＩ３１は、各種のデータや指示等の入力と、各種のデータの運転者などへの提示を行う。
　ＨＭＩ３１によるデータの入力について、概略的に説明する。ＨＭＩ３１は、人がデータを入力するための入力デバイスを備える。ＨＭＩ３１は、入力デバイスにより入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１１の各部に供給する。ＨＭＩ３１は、入力デバイスとして、例えばタッチパネル、ボタン、スイッチ、及び、レバーといった操作子を備える。これに限らず、ＨＭＩ３１は、音声やジェスチャ等により手動操作以外の方法で情報を入力可能な入力デバイスをさらに備えてもよい。さらに、ＨＭＩ３１は、例えば、赤外線あるいは電波を利用したリモートコントロール装置や、車両制御システム１１の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器を入力デバイスとして用いてもよい。
　ＨＭＩ３１によるデータの提示について、概略的に説明する。ＨＭＩ３１は、搭乗者又は車外に対する視覚情報、聴覚情報、及び、触覚情報の生成を行う。また、ＨＭＩ３１は、生成されたこれら各情報の出力、出力内容、出力タイミングおよび出力方法等を制御する出力制御を行う。ＨＭＩ３１は、視覚情報として、例えば、操作画面、車両１の状態表示、警告表示、車両１の周囲の状況を示すモニタ画像等の画像や光により示される情報を生成および出力する。また、ＨＭＩ３１は、聴覚情報として、例えば、音声ガイダンス、警告音、警告メッセージ等の音により示される情報を生成および出力する。さらに、ＨＭＩ３１は、触覚情報として、例えば、力、振動、動き等により搭乗者の触覚に与えられる情報を生成および出力する。
　ＨＭＩ３１が視覚情報を出力する出力デバイスとしては、例えば、自身が画像を表示することで視覚情報を提示する表示装置や、画像を投影することで視覚情報を提示するプロジェクタ装置を適用することができる。なお、表示装置は、通常のディスプレイを有する表示装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented　Reality）機能を備えるウエアラブルデバイスといった、搭乗者の視界内に視覚情報を表示する装置であってもよい。また、ＨＭＩ３１は、車両１に設けられるナビゲーション装置、インストルメントパネル、ＣＭＳ（Camera　Monitoring　System）、電子ミラー、ランプなどが有する表示デバイスを、視覚情報を出力する出力デバイスとして用いることも可能である。
　ＨＭＩ３１が聴覚情報を出力する出力デバイスとしては、例えば、オーディオスピーカ、ヘッドホン、イヤホンを適用することができる。
　ＨＭＩ３１が触覚情報を出力する出力デバイスとしては、例えば、ハプティクス技術を用いたハプティクス素子を適用することができる。ハプティクス素子は、例えば、ステアリングホイール、シートといった、車両１の搭乗者が接触する部分に設けられる。
　車両制御部３２は、車両１の各部の制御を行う。車両制御部３２は、ステアリング制御部８１、ブレーキ制御部８２、駆動制御部８３、ボディ系制御部８４、ライト制御部８５、及び、ホーン制御部８６を備える。
　ステアリング制御部８１は、車両１のステアリングシステムの状態の検出及び制御等を行う。ステアリングシステムは、例えば、ステアリングホイール等を備えるステアリング機構、電動パワーステアリング等を備える。ステアリング制御部８１は、例えば、ステアリングシステムの制御を行うＥＣＵ等の制御ユニット、ステアリングシステムの駆動を行うアクチュエータ等を備える。
　ブレーキ制御部８２は、車両１のブレーキシステムの状態の検出及び制御等を行う。ブレーキシステムは、例えば、ブレーキペダル等を含むブレーキ機構、ＡＢＳ（Antilock　Brake　System）、回生ブレーキ機構等を備える。ブレーキ制御部８２は、例えば、ブレーキシステムの制御を行うＥＣＵ等の制御ユニット等を備える。
　駆動制御部８３は、車両１の駆動システムの状態の検出及び制御等を行う。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構等を備える。駆動制御部８３は、例えば、駆動システムの制御を行うＥＣＵ等の制御ユニット等を備える。
　ボディ系制御部８４は、車両１のボディ系システムの状態の検出及び制御等を行う。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバー等を備える。ボディ系制御部８４は、例えば、ボディ系システムの制御を行うＥＣＵ等の制御ユニット等を備える。
　ライト制御部８５は、車両１の各種のライトの状態の検出及び制御等を行う。制御対象となるライトとしては、例えば、ヘッドライト、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクション、バンパーの表示等が想定される。ライト制御部８５は、ライトの制御を行うＥＣＵ等の制御ユニット等を備える。
　ホーン制御部８６は、車両１のカーホーンの状態の検出及び制御等を行う。ホーン制御部８６は、例えば、カーホーンの制御を行うＥＣＵ等の制御ユニット等を備える。
　図２は、センシング領域の例を示す図である。センシング領域は、例えば先に図１を参照して説明した外部認識センサ２５のカメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４等によってセンシングされる。なお、図２において、車両１を上面から見た様子が模式的に示され、左端側が車両１の前端（フロント）側であり、右端側が車両１の後端（リア）側となっている。
　センシング領域９１Ｆ及びセンシング領域９１Ｂは、超音波センサ５４のセンシング領域の例を示している。センシング領域９１Ｆは、複数の超音波センサ５４によって車両１の前端周辺をカバーしている。センシング領域９１Ｂは、複数の超音波センサ５４によって車両１の後端周辺をカバーしている。
　センシング領域９１Ｆ及びセンシング領域９１Ｂにおけるセンシング結果は、例えば、車両１の駐車支援等に用いられる。
　センシング領域９２Ｆ乃至センシング領域９２Ｂは、短距離又は中距離用のレーダ５２のセンシング領域の例を示している。センシング領域９２Ｆは、車両１の前方において、センシング領域９１Ｆより遠い位置までカバーしている。センシング領域９２Ｂは、車両１の後方において、センシング領域９１Ｂより遠い位置までカバーしている。センシング領域９２Ｌは、車両１の左側面の後方の周辺をカバーしている。センシング領域９２Ｒは、車両１の右側面の後方の周辺をカバーしている。
　センシング領域９２Ｆにおけるセンシング結果は、例えば、車両１の前方に存在する車両や歩行者等の検出等に用いられる。センシング領域９２Ｂにおけるセンシング結果は、例えば、車両１の後方の衝突防止機能等に用いられる。センシング領域９２Ｌ及びセンシング領域９２Ｒにおけるセンシング結果は、例えば、車両１の側方の死角における物体の検出等に用いられる。
　センシング領域９３Ｆ乃至センシング領域９３Ｂは、カメラ５１によるセンシング領域の例を示している。センシング領域９３Ｆは、車両１の前方において、センシング領域９２Ｆより遠い位置までカバーしている。センシング領域９３Ｂは、車両１の後方において、センシング領域９２Ｂより遠い位置までカバーしている。センシング領域９３Ｌは、車両１の左側面の周辺をカバーしている。センシング領域９３Ｒは、車両１の右側面の周辺をカバーしている。
　センシング領域９３Ｆにおけるセンシング結果は、例えば、信号機や交通標識の認識、車線逸脱防止支援システム、自動ヘッドライト制御システムに用いることができる。センシング領域９３Ｂにおけるセンシング結果は、例えば、駐車支援、及び、サラウンドビューシステムに用いることができる。センシング領域９３Ｌ及びセンシング領域９３Ｒにおけるセンシング結果は、例えば、サラウンドビューシステムに用いることができる。
　センシング領域９４は、ＬｉＤＡＲ５３のセンシング領域の例を示している。センシング領域９４は、車両１の前方において、センシング領域９３Ｆより遠い位置までカバーしている。一方、センシング領域９４は、センシング領域９３Ｆより左右方向の範囲が狭くなっている。
　センシング領域９４におけるセンシング結果は、例えば、周辺車両等の物体検出に用いられる。
　センシング領域９５は、長距離用のレーダ５２のセンシング領域の例を示している。センシング領域９５は、車両１の前方において、センシング領域９４より遠い位置までカバーしている。一方、センシング領域９５は、センシング領域９４より左右方向の範囲が狭くなっている。
　センシング領域９５におけるセンシング結果は、例えば、ＡＣＣ（Adaptive　Cruise　Control）、緊急ブレーキ、衝突回避等に用いられる。
　なお、外部認識センサ２５が含むカメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４の各センサのセンシング領域は、図２以外に各種の構成をとってもよい。具体的には、超音波センサ５４が車両１の側方もセンシングするようにしてもよいし、ＬｉＤＡＲ５３が車両１の後方をセンシングするようにしてもよい。また、各センサの設置位置は、上述した各例に限定されない。また、各センサの数は、１つでも良いし、複数であっても良い。
１．２　固体撮像装置の構成例
　上述のカメラ５１のような撮像装置は、イメージセンサ等の固体撮像装置を含んで構成されてよい。固体撮像装置について詳述する。
　図３は、固体撮像装置の概略構成例を示すブロック図である。固体撮像装置１００は、例えば、ＣＭＯＳプロセスを応用して、又は、部分的に使用して作成されたイメージセンサである。
　固体撮像装置１００は、例えば、画素アレイ部１０１が形成された半導体チップと、周辺回路が形成された半導体チップとが積層されたスタック構造を有する。周辺回路には、例えば、垂直駆動回路１０２、カラム処理回路１０３、水平駆動回路１０４及びシステム制御部１０５が含まれ得る。
　固体撮像装置１００はさらに、信号処理部１０８及びデータ格納部１０９を備えている。信号処理部１０８及びデータ格納部１０９は、周辺回路と同じ半導体チップに設けられてもよいし、別の半導体チップに設けられてもよい。
　画素アレイ部１０１は、受光光量に応じた電荷を発生（生成）し且つ蓄積する光電変換部（光電変換素子）等を有する画素１１０が行方向及び列方向に、すなわち、行列状に２次元格子状に配置された構成を有する。ここで、行方向とは画素行の画素の配列方向（図面中、横方向）をいい、列方向とは画素列の画素の配列方向（図面中、縦方向）をいう。
　画素アレイ部１０１では、行列状の画素配列に対し、画素行ごとに画素駆動線ＬＤが行方向に沿って配線され、画素列ごとに垂直信号線ＶＳＬが列方向に沿って配線されている。画素駆動線ＬＤは、画素から信号を読み出す際の駆動を行うための駆動信号を伝送する。図３では、画素駆動線ＬＤが１本ずつの配線として示されているが、１本ずつに限られるものではない。画素駆動線ＬＤの一端は、垂直駆動回路１０２の各行に対応した出力端に接続されている。
　垂直駆動回路１０２は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部１０１の各画素を全画素同時あるいは行単位等で駆動する。すなわち、垂直駆動回路１０２は、当該垂直駆動回路１０２を制御するシステム制御部１０５と共に、画素アレイ部１０１の各画素の動作を制御する駆動部を構成している。この垂直駆動回路１０２はその具体的な構成については図示を省略するが、一般的に、読出し走査系と掃出し走査系との２つの走査系を備えている。
　読出し走査系は、画素から信号を読み出すために、画素アレイ部１０１の画素１１０を行単位で順に選択走査する。画素１１０から読み出される信号はアナログ信号である。掃出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対して、その読出し走査よりも露光時間分だけ先行して掃出し走査を行う。
　この掃出し走査系による掃出し走査により、読出し行の画素１１０の光電変換部等から不要な電荷が掃き出されることによって光電変換部等がリセットされる。そして、この掃出し走査系で不要電荷を掃き出す（リセットする）ことにより、所謂電子シャッタ動作が行われる。ここで、電子シャッタ動作とは、光電変換部等の電荷を捨てて、新たに露光を開始する（電荷の蓄積を開始する）動作のことを言う。
　読出し走査系による読出し動作によって読み出される信号は、その直前の読出し動作又は電子シャッタ動作以降に受光した光量に対応している。そして、直前の読出し動作による読出しタイミング又は電子シャッタ動作による掃出しタイミングから、今回の読出し動作による読出しタイミングまでの期間が、画素１１０における電荷の蓄積期間（露光期間ともいう）となる。１フレームの露光期間の長さ（露光時間）の例は、約１６．７ｍｓｅｃ（６０ｆｐｓに相当）である。
　垂直駆動回路１０２によって選択走査された画素行の各画素１１０から出力される信号は、画素列ごとに垂直信号線ＶＳＬの各々を介してカラム処理回路１０３に入力される。カラム処理回路１０３は、画素アレイ部１０１の画素列ごとに、選択行の各画素から垂直信号線ＶＳＬを介して出力される信号に対して所定の信号処理を行うとともに、信号処理後の信号（例えばＡＤ変換後の信号）を一時的に保持する（ラインメモリに保持する）。
　具体的には、カラム処理回路１０３では、ノイズ除去処理、例えばＣＤＳ（Correlated　Double　Sampling：相関二重サンプリング）処理や、ＤＤＳ（Double　Data　Sampling）処理が行われてよい。例えば、ＣＤＳ処理により、リセットノイズや画素内の増幅トランジスタの閾値ばらつき等の画素固有のノイズが除去される。カラム処理回路１０３は、その他にも、例えば、ＡＤ（アナログ－デジタル）変換機能を備え、光電変換部から読み出され得たアナログの信号（のレベル）をデジタル信号に変換して出力する。
　水平駆動回路１０４は、シフトレジスタやアドレスデコーダなどによって構成され、カラム処理回路１０３の画素列に対応する読出し回路（以下、画素回路という）を順番に選択する。この水平駆動回路１０４による選択走査により、カラム処理回路１０３において画素回路ごとに信号処理された信号が順番に出力される。
　システム制御部１０５は、各種のタイミング信号を生成するタイミングジェネレータなどによって構成され、当該タイミングジェネレータで生成された各種のタイミングを基に、垂直駆動回路１０２、カラム処理回路１０３、及び、水平駆動回路１０４などの駆動制御を行う。
　信号処理部１０８は、少なくとも演算処理機能を有し、カラム処理回路１０３から出力される信号に対して演算処理等の種々の信号処理を行う。データ格納部１０９は、信号処理部１０８での信号処理にあたって、その処理に必要なデータを一時的に格納する。データ格納部１０９は、例えば不揮発性メモリを含んで構成されてよい。
　なお、信号処理部１０８から出力された画像データ（後述の画素信号でもよい）は、例えば、固体撮像装置１００を搭載する車両制御システム１１における走行支援・自動運転制御部２９等において所定の処理が実行されたり、通信部２２を介して外部へ送信されたりしてもよい。
　図４は、画素の概略構成の例を示す図である。例示される画素１１０は、光電変換部ＳＰと、キャパシタＣと、転送トランジスタＦＣＧと、フローティングディフュージョンＦＤと、リセットトランジスタＲＳＴと、増幅トランジスタＡＭＰと、選択トランジスタＳＥＬとを含む。
　光電変換部ＳＰは、受光光量に応じた電荷を発生し蓄積する。この例では、光電変換部ＳＰはフォトダイオードであり、アノードがグラウンドＧＮＤに接続され、カソードが転送トランジスタＦＣＧに接続される。
　キャパシタＣは、光電変換部ＳＰで発生した電荷を光電変換部ＳＰと分担して蓄積できるように光電変換部ＳＰに電気的に接続されるコンデンサ（フローティングキャパシタ）である。この例では、キャパシタＣは、光電変換部ＳＰに直接接続される。
　転送トランジスタＦＣＧは、光電変換部ＳＰ及びキャパシタＣとフローティングディフュージョンＦＤとの間に接続され、光電変換部ＳＰ及びキャパシタＣに蓄積された電荷をフローティングディフュージョンＦＤに転送する。電荷の転送は、垂直駆動回路１０２（図３）から転送トランジスタＦＣＧのゲートに供給される信号によって制御される。
　フローティングディフュージョンＦＤは、転送トランジスタＦＣＧを介して光電変換部ＳＰ及びキャパシタＣから転送された電荷を蓄積する。フローティングディフュージョンＦＤは、例えば半導体基板内に形成される浮遊拡散領域である。フローティングディフュージョンＦＤに蓄積された電荷に応じた電圧が、増幅トランジスタＡＭＰのゲートに印可される。
　リセットトランジスタＲＳＴは、フローティングディフュージョンＦＤと電源ＶＤＤとの間に接続され、フローティングディフュージョンＦＤをリセットする。光電変換部ＳＰ及びキャパシタＣも、転送トランジスタＦＣＧ及びリセットトランジスタＲＳＴを介してリセットされる。フローティングディフュージョンＦＤのリセットは、垂直駆動回路１０２（図３）からリセットトランジスタＲＳＴのゲートに供給される信号によって制御される。光電変換部ＳＰ及びキャパシタＣのリセットは、垂直駆動回路１０２（図３）から転送トランジスタＦＣＧのゲートに供給される信号及びリセットトランジスタＲＳＴのゲートに供給される信号によって制御される。
　増幅トランジスタＡＭＰは、フローティングディフュージョンＦＤに蓄積された電荷に応じたレベルの電圧を出力する。
　選択トランジスタＳＥＬは、増幅トランジスタＡＭＰと垂直信号線ＶＳＬとの間に接続され、増幅トランジスタＡＭＰの出力電圧（信号）を、垂直信号線ＶＳＬに出現させる。信号の垂直信号線ＶＳＬへの出現は、垂直駆動回路１０２（図３）から選択トランジスタＳＥＬのゲートに供給される信号によって制御される。
　垂直信号線ＶＳＬに出現した信号は、先に図３を参照して説明したように、カラム処理回路１０３に入力される。
１．３　ＳＮＲドロップ
　例えば以上説明したような構成を備える画素１１０によれば、光電変換部ＳＰで発生した電荷が、光電変換部ＳＰだけでなくキャパシタＣにも蓄積される。その分、蓄積容量が大きくなり、ＷＲＤが確保しやすくなる。しかしながら、キャパシタＣ内には、暗電流等に起因してノイズが発生する。ノイズは、とくに温度に起因して発生し、温度が上昇するにつれてそのレベルが大きくなる。
　ノイズによって、ＳＮＲが低下する。具体的に、光電変換部ＳＰで発生し光電変換部ＳＰ及びキャパシタＣに蓄積された電荷に応じた信号レベルを「画素信号レベル」と称する。温度に起因して（温度上昇に起因して）キャパシタＣ内で発生するノイズに応じた信号レベルを、「ノイズ信号レベル」と称する。ＳＮＲは、画素信号レベルとノイズ信号レベルとの比率（差）である。上述のように温度が上昇するにつれてノイズのレベルが大きくなり、ＳＮＲの低下すなわちＳＮＲドロップが生じる。
　図５～図８は、ＳＮＲドロップを模式的に示す図である。図５には、黒レベルを基準としたときの、画素信号レベルに基づく画素画像信号のレベル（画素画像データ）、及び、ノイズ信号レベルに基づくノイズ画像信号のレベル（ノイズ画像データ）が模式的に示される。画素画像信号のレベルは、本来の画素画像信号のレベルにノイズ画像信号のレベルが加算された（ノイズが重畳された）レベルである。図６には、温度とＳＮＲとの関係が模式的に示される。温度が上昇するにつれて、ＳＮＲが低下する。例えば、温度Ｔ２でのＳＮＲは、温度Ｔ１（温度Ｔ２よりも低い温度）でのＳＮＲよりも低くなる。図７には、温度Ｔ１及び温度Ｔ２それぞれの撮像画像が模式的に示される。温度Ｔ２での撮像画像には、温度Ｔ１の撮像画像と比較して、多くのノイズが表れ、画質が低下する。図８には、照度とＳＮＲとの関係が模式的に示される。とくに低照度領域において、温度Ｔ１よりも高温の温度Ｔ２でのＳＮＲが低くなり、ＳＮＲドロップの影響が顕在化する。
　本実施形態では、ノイズ信号レベルを画素信号レベルから減算することにより、ＳＮＲドロップを抑制する。いくつかの具体的な手法について説明する。
１．４　第１の手法
　画像中のレベルは、固体撮像装置１００に固有のパターンで現れる。すなわち、複数の画素１１０それぞれのノイズ信号レベルは、固定パターンノイズＦＰＮ（Fixed　Pattern　Noise）として扱うことができる。固定パターンノイズＦＰＮは、固体撮像装置１００の設計段階、製造段階等で決まるので、予めデータとして取得しておくことが可能である。
　ノイズ信号レベルは、露光時間に対して相関を有する。例えば、露光時間が長くなるにつれて、ノイズ信号レベルは大きくなる。また、ノイズ信号レベルは、固体撮像装置１００の温度、より特定的には画素アレイ部１０１の温度に対して相関を有する。例えば、温度が上昇するにつれて、固定パターンノイズＦＰＮのレベルが大きくなる。
　以上を踏まえ、第１の手法では、実際の露光時間及び温度と、予めデータ化された固定パターンノイズＦＰＮのデータとに基づいてノイズ信号レベルが算出され、画素信号レベルから、算出されたノイズ信号レベルが減算される。
　一実施形態において、減算処理は、固体撮像装置１００の内部で実行される。その場合、減算処理は、例えば次に説明するような信号処理部１０８及びデータ格納部１０９等の協働によって実現される。
　図９は、信号処理部及びデータ格納部の機能ブロックの例を示す図である。説明の便宜上、データ格納部１０９及び信号処理部１０８の順に説明する。
　データ格納部１０９は、減算処理に用いられる情報として、ＦＰＮデータ１０９ａと、プログラム１０９ｂとを予め記憶している。ＦＰＮデータ１０９ａは、固定パターンノイズＦＰＮのデータであり、例えば固体撮像装置１００の出荷前に予め取得され、データ格納部１０９に格納される。プログラム１０９ｂは、コンピュータ、より具体的には信号処理部１０８に、減算処理を実行させるためのプログラムである。
　信号処理部１０８は、取得部１０８ａと、演算部１０８ｂとを含む。取得部１０８ａは、露光時間及び温度を取得する。露光時間は、例えば、予め定められた時間であってもよいし、システム制御部１０５によって把握され取得部１０８ａによって取得されてもよい。温度は、例えば図示しない温度センサ等によって検出され、取得部１０８ａによって取得される。温度は、固体撮像装置１００の温度、画素アレイ部１０１の温度等であってよい。
　演算部１０８ｂは、取得部１０８ａが取得した露光時間及び温度と、ＦＰＮデータ１０９ａとを用いて、ノイズ信号レベルを算出する。例えば、露光時間と、温度と、ＦＰＮデータ１０９ａとに基づいてノイズ信号レベルを算出するための所与のアルゴリズムが用いられたり、テーブルデータが参照されたりして、ノイズ信号レベルが算出され得る。演算部１０８ｂは、算出したノイズ信号レベルを、画素信号レベルから減算する。
　ＦＰＮデータ１０９ａは、複数の画素１１０それぞれのノイズ信号レベルを示すデータであるので、ノイズ信号レベルに基づくノイズ画像データ（ノイズ画像信号のレベル）として扱うこともできる。その場合、演算部１０８ｂは、露光時間と、温度と、ＦＰＮデータ１０９ａとを用いてノイズ信号レベルに基づくノイズ画像データを算出する。演算部１０８ｂは、画素信号レベルに基づく画素画像データ（画素画像信号のレベル）から、算出したノイズ画像データを減算する。
　例えば以上のような減算処理により、ＳＮＲドロップを抑制することができる。
　図１０は、ＳＮＲドロップの抑制を模式的に示す図である。例示される温度Ｔ２の撮像画像では、先に説明した図７に示される温度Ｔ２の撮像画像よりも、画像に現れるノイズが低減され、画質が向上している。その結果、例えば固体撮像装置１００が車両１の外部認識センサ２５にカメラ５１の構成要素として搭載される場合には、外部認識センサ２５による認識精度が向上しうる。
　減算処理は、固体撮像装置１００の外部で実行されてもよい。例えば、固体撮像装置１００を含む撮像装置（例えば図１のカメラ５１）が、減算処理の機能を備えていてもよい。そのような撮像装置のいくつかの例について、図１１及び図１２を参照して説明する。
　図１１及び図１２は、撮像装置の概略構成の例を示す図である。図１１に例示される撮像装置は、先に図１を参照して説明したカメラ５１である。カメラ５１は、固体撮像装置１００と、処理部５１ａと、記憶部５１ｂとを含む。処理部５１ａは、取得部１０８ａ及び演算部１０８ｂを含む。記憶部５１ｂは、ＦＰＮデータ１０９ａ及びプログラム１０９ｂを予め記憶している。取得部１０８ａ、演算部１０８ｂ、ＦＰＮデータ１０９ａ及びプログラム１０９ｂについては先に説明したとおりであるので、説明は繰り返さない。なお、ここでのプログラム１０９ｂは、コンピュータ、より具体的には例えばカメラ５１に実装されたプロセッサ等（不図示）に、処理部５１ａの処理を実行させるためのプログラムである。
　上述の処理部５１ａの機能（取得部１０８ａ及び演算部１０８ｂ）が、カメラ５１の外部に設けられてもよい。同様に、上述の記憶部５１ｂが記憶している情報（ＦＰＮデータ１０９ａ及びプログラム１０９ｂ）が、カメラ５１の外部に記憶されていてよい。図１２に示される例では、先に図１を参照して説明した車両制御ＥＣＵ２１が、取得部１０８ａ及び演算部１０８ｂを含む。記録部２８が、ＦＰＮデータ１０９ａ及びプログラム１０９ｂを予め記憶している。すなわち、カメラ５１と、車両制御ＥＣＵ２１と、記録部２８とが協働して撮像装置を構成する。なお、ここでのプログラム１０９ｂは、コンピュータ、より具体的には車両制御ＥＣＵ２１に、取得部１０８ａ及び演算部１０８ｂの処理を実行させるためのプログラムである。
　図１３は、固体撮像装置又は撮像装置において実行される処理（固体撮像装置の処理方法、撮像装置の処理方法）の例を示すフローチャートである。各処理の詳細はこれまで説明したとおりであるので、説明は繰り返さない。
　ステップＳ１において、露光時間及び温度が取得される。取得部１０８ａは、露光時間及び検出温度を取得する。ステップＳ２において、ノイズ信号レベルが算出される。演算部１０８ｂは、先のステップＳ１で取得された露光時間及び温度と、ＦＰＮデータ１０９ａとを用いて、ノイズ信号レベルを算出する。ステップＳ３において、画素信号レベルからノイズ信号レベルが減算される。演算部１０８ｂは、画素信号レベルから、先のステップＳ２で算出したノイズ信号レベルを減算する。なお、これまでも説明したように、減算処理は、画素画像データからノイズ画像データを減算する処理であってもよい。
　例えば以上説明したような第１の手法によって、ＳＮＲドロップが抑制される。
１．５　第２の手法
　第２の手法では、画素信号レベルから、実際にキャパシタＣで発生したノイズに応じたノイズ信号レベル（発生したノイズに基づくノイズ信号レベル）が減算される。
　図１４は、画素の概略構成の例を示す図である。例示される画素１１０Ａは、画素１１０（図４）と比較して、スイッチＳＷ及びリセットトランジスタＲＳＴ２をさらに含む点において相違する。
　スイッチＳＷは、光電変換部ＳＰとキャパシタＣとの間に接続されるスイッチトランジスタである。スイッチＳＷのＯＮ及びＯＦＦ（導通状態及び非導通状態）は、垂直駆動回路１０２（図３）からスイッチＳＷのゲートに供給される信号によって制御される。
　リセットトランジスタＲＳＴ２は、光電変換部ＳＰと電源ＶＤＤとの間に接続され、光電変換部ＳＰをリセットする。光電変換部ＳＰのリセットは、垂直駆動回路１０２（図３）からリセットトランジスタＲＳＴ２のゲートに供給される信号によって制御される。
　第２の手法において、露光期間は、蓄光露光期間と、無蓄光露光期間とを含む。蓄光露光期間では、スイッチＳＷは、ＯＮ又はＯＦＦに制御される。無蓄光露光期間では、スイッチＳＷは、ＯＦＦに制御される。蓄光露光期間においてスイッチＳＷがＯＮに制御される場合、その期間での露光により、光電変換部ＳＰで発生し光電変換部ＳＰ及びキャパシタＣに蓄積された電荷に応じた画素信号レベルが得られる。蓄光露光期間においてスイッチＳＷがＯＦＦに制御される場合、その期間での露光により、光電変換部ＳＰで発生し光電変換部ＳＰからあふれて（オーバーフローして）キャパシタＣに蓄積された電荷に応じた信号レベルが得られる。このような信号レベルも、画素信号レベルとなりうる。無蓄光露光期間での露光により、温度に起因してキャパシタＣ内で発生したノイズに応じたノイズ信号レベルが得られる。得られた画素信号レベルから、得られたノイズ信号レベルが減算される。
　図１５は、信号処理部（若しくはカラム処理回路）及びデータ格納部の機能ブロックの例を示す図である。
　信号処理部１０８Ａは、減算処理に関する機能ブロックとして、演算部１０８Ａｂを含む。演算部１０８Ａｂは、蓄光露光期間での露光によって得られた画素信号レベルから、無蓄光露光期間での露光によって得られたノイズ信号レベルを減算する。演算部１０８Ａｂは、ＡＤ変換後の画素信号レベルからＡＤ変換後のノイズ信号レベルを減算してよい。演算部１０８Ａｂは、画素信号レベルに基づく画素画像データから、ノイズ信号レベルに基づくノイズ画像データを減算してもよい。
　蓄光露光期間及び無蓄光露光期間の長さは、異なっていてよい。例えば、無蓄光露光期間の長さは、蓄光露光期間の長さよりも短くてよい。そのような蓄光露光期間及び無蓄光露光期間の長さの例は、約１１ｍｓｅｃ及び約５．５ｍｓｅｃである。蓄光露光期間の長さと無蓄光露光期間の長さとが異なる場合、演算部１０８Ａｂは、蓄光露光期間分のノイズ信号レベルを算出し、画素信号レベルから、算出したノイズ信号レベルを減算してよい。具体的に、演算部１０８Ａｂは、無蓄光露光期間での露光によって得られたノイズ信号レベルに、（蓄光露光期間の長さ）／（無蓄光露光期間の長さ）を乗算し、画素信号レベルから、乗算後のノイズ信号レベルを減算してよい。
　減算処理は、一部の画素１１０、例えば低照度領域の画素１１０に対してのみ実行されてよい。先に図８を参照して説明したように、とくに低照度領域においてＳＮＲドロップの影響が顕在化するからである。なお、高照度領域の画素１１０では、スイッチＳＷがＯＦＦでも光電変換部ＳＰの電荷の一部がキャパシタＣに漏れ、適切なノイズ信号レベルが得られにくくなる可能性もあるが、これを回避することもできる。
　データ格納部１０９Ａのプログラム１０９Ａｂは、コンピュータ、より具体的には信号処理部１０８Ａに、演算部１０８Ａｂの処理を実行させるためのプログラムである。
　図１５に選択的に例示されるように、カラム処理回路１０３Ａが演算部１０８Ａｂの機能を有してもよい。カラム処理回路１０３Ａが減算処理を実行する場合には、蓄光露光期間での露光及び画素信号レベルの読み出しと、無蓄光露光期間での露光及びノイズ信号レベルの読み出しとが、ＤＯＬ（Digital　Over　Lap）駆動のもとで行われてもよい。この場合、カラム処理回路１０３Ａは、画素信号レベル及びノイズ信号レベルを、画素行ごとにＡＤ変換し、画素行ごとに、ＡＤ変換後の画素信号レベルからＡＤ変換後のノイズ信号レベルを減算してよい。露光期間が蓄光露光期間及び無蓄光露光期間をこの順に含む場合には、カラム処理回路１０３Ａは、ＡＤ変換してラインメモリに蓄積している画素信号レベルから、その後にＡＤ変換したノイズ信号レベルを減算してよい。これにより、画素信号レベルの保持に必要なメモリ容量を節約することができる。
　先に述べた無蓄光露光期間での露光によって得られたノイズ信号レベルに（蓄光露光期間の長さ）／（無蓄光露光期間の長さ）を乗算する処理も、カラム処理回路１０３Ａ内で行われてよい。その際、ＡＤ変換処理を早めるために、ノイズ信号レベルについては、下位ビットのみがＡＤ変換されてもよい。ほとんどの場合、ノイズ信号レベルが、画素信号レベルよりも小さいからである。ビットシフトを用いて簡略化された処理によって、高速且つ小面積での演算も可能になる。
　図１６は、露光期間を模式的に示す図である。この例では、露光期間は、蓄光露光期間及び無蓄光露光期間をこの順に含む。当初、光電変換部ＳＰ及びキャパシタＣはリセットされているものとする。図１６の（Ａ）に示される例では、蓄光露光期間中、スイッチＳＷはＯＮに制御される。図１６の（Ｂ）に示される例では、蓄光露光期間中、スイッチＳＷはＯＦＦに制御される。
　時刻ｔ１１において、蓄光露光期間が開始する。リセットトランジスタＲＳＴ２は、ＯＦＦに制御される。図１６の（Ａ）に示される例では、スイッチＳＷは、ＯＮに制御される。光電変換部ＳＰは、受光光量に応じた電荷を発生する。発生した電荷が、光電変換部ＳＰ及びキャパシタＣに蓄積される。図１６の（Ｂ）に示される例では、スイッチＳＷは、ＯＦＦに制御される。光電変換部ＳＰで発生し光電変換部ＳＰからあふれた電荷が、キャパシタＣに蓄積される。
　時刻ｔ１２において、蓄光露光期間が終了する。蓄光露光期間での露光によって得られた画素信号レベルがＡＤ変換される。
　同じく時刻ｔ１２において、無蓄光露光期間が開始する。リセットトランジスタＲＳＴ２はＯＮに制御される。スイッチＳＷは、ＯＦＦに制御される。温度に起因してキャパシタＣ内でノイズが発生する。
　時刻ｔ１３において、無蓄光露光期間が終了する。無蓄光露光期間での露光によって得られたノイズ信号レベルがＡＤ変換される。その後、次の露光期間が開始する。
　図１７は、固体撮像装置において実行される処理（固体撮像装置の処理方法）の例を示すフローチャートである。具体的な処理はこれまで説明したとおりであるので、ここでは詳細な説明は繰り返さない。
　ステップＳ１１において、蓄光露光期間での露光により画素信号レベルが得られる。ステップＳ１２において、無蓄光露光期間での露光によりノイズ信号レベルが得られる。ステップＳ１３において、画素信号レベルからノイズ信号レベルが減算される。演算部１０８Ａｂは、先のステップＳ１１で得られた画素信号レベルから、先のステップＳ１２で得られたノイズ信号レベルを減算する。なお、これまでも説明したように、減算処理は、画素画像データからノイズ画像データを減算する処理であってもよい。
　例えば以上説明したような第２の手法によっても、ＳＮＲドロップが抑制される。
　なお、さらなる飽和対策として、リセットトランジスタＲＳＴ２によって電荷を逃がすようにしてもよい。
　画素１１０Ａの構成と、前述の第１の手法とが組み合わされてもよい。例えばリセットトランジスタＲＳＴ２をＯＮに制御し、スイッチＳＷをＯＦＦに制御することで、ＦＰＮデータ１０９ａを取得することができる。ＦＰＮデータ１０９ａを利用した減算処理については先に説明したとおりである。
　減算処理が固定パターンノイズＦＰＮの減算であるので、フレーム画像データに対して動き補償時間フィルタリング（Motion-Compensated　Temporal　filtering：ＭＣＴＦ）が実行されるような場合でも、適切にノイズが低減され、ＳＮＲドロップが抑制される。
１．６　第３の手法
　第３の手法では、いくつかの側面において第２の手法よりも簡素化された手法で、画素信号レベルからノイズ信号レベルが減算される。
　図１８は、画素の概略構成の例を示す図である。例示される画素１１０Ｂは、画素１１０Ａ（図１４）と比較して、リセットトランジスタＲＳＴ２を含まない点において相違する。
　第３の手法において、露光期間は、第１の期間と、第２の期間とをこの順に含む。第１の期間では、スイッチＳＷは、ＯＦＦに制御される。第２の期間では、スイッチＳＷは、ＯＮに制御される。第１の期間での露光により、温度に起因してキャパシタＣ内で発生したノイズに応じたノイズ信号レベルが得られる。第１の期間及び第２の期間の合計期間での露光により、光電変換部ＳＰで発生し光電変換部ＳＰ及びキャパシタＣに蓄積された電荷に応じた画素信号レベルが得られる。得られた画素信号レベルから、得られたノイズ信号レベルが減算される。
　図１９は、信号処理部（若しくはカラム処理回路）及びデータ格納部の機能ブロックの例を示す図である。信号処理部１０８Ｂは、減算処理に関する機能ブロックとして、演算部１０８Ｂｂを含む。演算部１０８Ｂｂは、第１の期間での露光によって得られたノイズ信号レベルに基づいて、第１の期間及び第２の期間の合計期間分のノイズ信号レベルを算出し、合計期間での露光によって得られた画素信号レベルから、算出したノイズ信号レベルを減算する。具体的に、演算部１０８Ｂｂは、第１の期間での露光によって得られたノイズ信号レベルに、（合計期間の長さ）／（第１の期間の長さ）を乗算し、画素信号レベルから、乗算後のノイズ信号レベルを減算する。
　先に説明した演算部１０８Ａｂ（図１５）と同様に、演算部１０８Ｂｂは、ＡＤ変換後の画素信号レベルからＡＤ変換後のノイズ信号レベルを減算してよい。また、演算部１０８Ｂｂは、画素信号レベルに基づく画素画像データから、ノイズ信号レベルに基づくノイズ画像データを減算してよい。
　データ格納部１０９Ｂは、ノイズキャンセル処理に関する情報として、プログラム１０９Ｂｂを格納する。プログラム１０９Ｂｂは、コンピュータ、より具体的には信号処理部１０８Ｂに、演算部１０８Ｂｂの処理を実行させるためのプログラムである。
　なお、図１９に選択的に例示されるように、カラム処理回路１０３Ｂが演算部１０８Ｂｂの機能を有してもよい。
　図２０は、露光期間を模式的に示す図である。光電変換部ＳＰ及びキャパシタＣそれぞれの電荷量が実線で模式的に示される。当初、光電変換部ＳＰ及びキャパシタＣはリセットされているものとする。
　時刻ｔ２１において、第１の期間が開始する。スイッチＳＷは、ＯＦＦに制御される。光電変換部ＳＰは、受光光量に応じた電荷を発生する。発生した電荷が、光電変換部ＳＰに蓄積される。一方で、温度に起因してキャパシタＣ内にノイズが発生する。
　時刻ｔ２２において、第１の期間が終了する。第１の期間での露光によって得られたノイズ信号レベルがＡＤ変換される。
　同じく時刻ｔ２２において、第２の期間が開始する。スイッチＳＷは、ＯＮに制御される。これまでに光電変換部ＳＰで発生し蓄積されていた電荷が、キャパシタＣにも蓄積される。光電変換部ＳＰは引き続き電荷を発生する。発生した電荷は、光電変換部ＳＰ及びキャパシタＣに蓄積される。
　なお、第１の期間（時刻ｔ２１～時刻ｔ２２）の長さは、光電変換部ＳＰにおける電荷の蓄積が飽和する前に終了するように設定される。そのような第１の期間の長さは、例えば設計データ、実験データ等に基づいて予め定められた長さであってよい。第１の期間の長さは、固定されていてもよいし、例えば露光時の照度等に従って動的に設定されてもよい。
　時刻ｔ２３において、第２の期間が終了する。第１の期間及び第２の期間の合計期間での露光によって得られた画素信号レベルがＡＤ変換される。なお、図２０には表れないが、その後、次の露光期間が開始する。
　先に述べたように、演算部１０８Ｂｂは、第第１の期間での露光によって得られたノイズ信号レベルに（合計期間の長さ）／（第１の期間）を乗算して、合計期間分のノイズ信号レベルを算出する。算出されるノイズ信号レベルは、図２０において一点鎖線で示されるように第１の期間（時刻ｔ２１～時刻ｔ２２）のノイズ信号レベルを時刻ｔ２３まで延長したと仮定した場合の、時刻ｔ２３におけるノイズ信号レベルである。演算部１０８Ｂｂは、画素信号レベルから、算出したノイズ信号レベルを減算する。
　図２１は、固体撮像装置において実行される処理（固体撮像装置の処理方法）の例を示すフローチャートである。具体的な処理はこれまで説明したとおりであるので、ここでは詳細な説明は繰り返さない。
　ステップＳ２１において、第１の期間での露光によるノイズ信号レベルが得られる。ステップＳ２２において、第１の期間及び第２の期間の合計期間での露光による画素信号レベルが得られる。ステップＳ２３において、合計期間分に換算したノイズ信号レベルが算出される。演算部１０８Ｂｂは、先のステップＳ２１で得られたノイズ信号レベルに、（合計期間の長さ）／（第１の期間の長さ）を乗算する。ステップＳ２４において、画素信号レベルからノイズ信号レベルが減算される。演算部１０８Ｂｂは、先のステップＳ２２で得られた画素信号レベルから、先のステップＳ２３で算出したノイズ信号レベルを減算する。なお、これまでも説明したように、減算処理は、画素画像データからノイズ画像データを減算する処理であってもよい。
　例えば以上説明したような第３の手法によっても、ＳＮＲドロップが抑制される。第３の手法によれば、リセットレベルの読み出し（図２０の時刻ｔ２１）は１回で足りる。例えば第２の手法のような２回のリセットレベルの読み出し（図１６の時刻ｔ１１及び時刻ｔ１２）が不要になる分、処理が簡素化される。
２．変形例
　以上、本開示の一実施形態について説明したが、開示される技術は上記実施形態に限定されない。いくつかの変形例について説明する。
　上記実施形態では、１つの画素１１０が１つの光電変換部ＳＰを含む例について説明した。ただし、１つの画素１１０が複数の光電変換部ＳＰを含んでもよい。その場合、複数の光電変換部ＳＰどうしの間で、画素回路の一部が共通化されてよい。
　図２２は、画素の概略構成の例を示す図である。これまで説明した光電変換部ＳＰを、光電変換部ＳＰ２と称し図示する。例示される画素１１０Ｃは、画素１１０Ｂ（図１８）と比較して、光電変換部ＳＰ１と、転送トランジスタＴＧＬと、転送トランジスタＦＤＧとをさらに含む点において相違する。
　光電変換部ＳＰ１は、受光光量に応じた電荷を発生し蓄積する。この例では、光電変換部ＳＰ１も、光電変換部ＳＰ２と同様にフォトダイオードである。光電変換部ＳＰ１のアノードは、グラウンドＧＮＤに接続される。カソードは、転送トランジスタＴＧＬに接続される。光電変換部ＳＰ１には、キャパシタは接続されない。光電変換部ＳＰ１は、光電変換部ＳＰ２及びキャパシタＣとは異なる飽和特性を有する。
　転送トランジスタＴＧＬは、光電変換部ＳＰ１とフローティングディフュージョンＦＤとの間に接続され、光電変換部ＳＰ１に蓄積された電荷を、フローティングディフュージョンＦＤに転送する。電荷の転送は、垂直駆動回路１０２（図３）から転送トランジスタＴＧＬのゲートに供給される信号によって制御される。
　転送トランジスタＦＤＧは、転送トランジスタＦＣＧとフローティングディフュージョンＦＤとの間に接続され、光電変換部ＳＰ２及びキャパシタＣに蓄積された電荷を、転送トランジスタＦＣＧと協働してフローティングディフュージョンＦＤに転送する。電荷の転送は、垂直駆動回路１０２（図３）から転送トランジスタＦＣＧのゲート及び転送トランジスタＦＤＧのゲートに供給される信号によって制御される。
　画素１１０Ｃにおいては、光電変換部ＳＰ２及び／又はキャパシタＣに蓄積された電荷と、光電変換部ＳＰ１に蓄積された電荷とが、異なるタイミングでフローティングディフュージョンＦＤに転送され、対応する信号が読み出される。光電変換部ＳＰ２及び光電変換部ＳＰ１の露光時間は個別に設定されてよい。例えば、光電変換部ＳＰ１の容量を小さくしたり露光期間を短くしたりすることで、光電変換部ＳＰ２及びキャパシタＣよりも、低照度での感度を向上させることができる。このような飽和特性の異なる光電変換部ＳＰ２及び光電変換部ＳＰ１によって得られた信号を組み合わせて用いることで、さらなるＷＤＲ化も可能である。
　先に説明した画素１１０（図４）及び画素１１０Ａ（図１４）も、光電変換部ＳＰ１を含むように変更されてよい。また、１つの画素１１０が飽和特性の異なる３つ以上の光電変換部を含んでもよい。
　上記実施形態では、固体撮像装置１００の適用例として、車両１のカメラ５１を例に挙げて説明した。ただし、これ以外にも、さまざまな用途に固体撮像装置１００が用いられてよい。他の用途の例は、ロボット等の移動体、ＩＯＴ機器等である。
３．効果の例
　以上説明した実施形態は、例えば次のように特定される。図３、図４、図９、図１２～図１５、図１７～図１９、図２１及び図２２等を参照して説明したように、固体撮像装置１００は、複数の画素１１０等と、演算部１０８ｂ等と、を備える。複数の画素１１０等の各々は、受光光量に応じた電荷を発生する光電変換部ＳＰ、及び、光電変換部ＳＰで発生した電荷を光電変換部ＳＰと分担して蓄積できるように設けられたキャパシタＣを含む。演算部１０８ｂ等は、光電変換部ＳＰで発生し光電変換部ＳＰ及びキャパシタＣに蓄積された電荷に応じた画素信号レベルから、温度に起因してキャパシタＣ内で発生するノイズに応じたノイズ信号レベルを減算する（ステップＳ３、ステップＳ１３、ステップＳ２４）。
　上記の固体撮像装置１００によれば、光電変換部ＳＰで発生した電荷が、光電変換部ＳＰだけでなくキャパシタＣにも蓄積されるので、電荷の飽和を抑制し、ＷＤＲを確保することができる。また、画素信号レベルから、温度に起因してキャパシタＣ内で発生したノイズに応じたノイズ信号レベルが減算されるので、ＳＮＲドロップを抑制することもできる。したがって、ＷＤＲを確保しつつＳＮＲドロップを抑制することが可能になる。
　図９及び図１３等を参照して説明したように、固体撮像装置１００は、複数の画素１１０それぞれのノイズ信号レベルを示す固定パターンノイズデータ（ＦＰＮデータ１０９ａ）を記憶している記憶部（データ格納部１０９）を備え、演算部１０８ｂは、露光時間と、温度と、記憶部（データ格納部１０９）に記憶されている固定パターンノイズデータ（ＦＰＮデータ１０９ａ）とを用いてノイズ信号レベルを算出し（ステップＳ２）、画素信号レベルから、算出したノイズ信号レベルを減算してよい（ステップＳ３）。例えばこのような減算処理（第１の手法）により、ＳＮＲドロップを抑制することができる。
　図９等を参照して説明したように、固定パターンノイズデータ（ＦＰＮデータ１０９ａ）は、複数の画素１１０それぞれのノイズ信号レベルに基づくノイズ画像データであり、演算部１０８ｂは、露光時間と、温度と、記憶部（データ格納部１０９）に記憶されている固定パターンノイズデータ（ＦＰＮデータ１０９ａ）とを用いてノイズ信号レベルに基づくノイズ画像データを算出し、画素信号レベルに基づく画素画像データから、算出したノイズ画像データを減算してよい。このように、画像データレベルで減算処理を実行することもできる。
　図１４～図１７等を参照して説明したように、複数の画素１１０Ａの各々は、光電変換部ＳＰとキャパシタＣとの間に接続されたスイッチＳＷを含み、複数の画素１１０Ａの露光期間は、スイッチＳＷが導通状態（ＯＮ）又は非導通状態（ＯＦＦ）に制御される蓄光露光期間（時刻ｔ１１～時刻ｔ１２）と、スイッチＳＷが非導通状態（ＯＦＦ）に制御される無蓄光露光期間（時刻ｔ１２～時刻ｔ１３）と、を含み、演算部１０８Ａｂは、蓄光露光期間（時刻ｔ１１～時刻ｔ１２）での露光によって得られた画素信号レベルから、無蓄光露光期間（時刻ｔ１２～時刻ｔ１３）での露光によって得られたノイズ信号レベルを減算し（ステップＳ１１～ステップＳ１３）、演算部１０８Ａｂは、ＡＤ変換後の画素信号レベルからＡＤ変換後のノイズ信号レベルを減算してよい。例えばこのような減算処理（第２の手法）によっても、ＳＮＲドロップを抑制することができる。
　図１５等を参照して説明したように、演算部１０８Ａｂは、無蓄光露光期間（時刻ｔ１２～時刻ｔ１３）での露光によって得られたノイズ信号レベルに基づいて、蓄光露光期間（時刻ｔ１１～時刻ｔ１２）分のノイズ信号レベルを算出し、蓄光露光期間（時刻ｔ１１～時刻ｔ１２）での露光によって得られた画素信号レベルから、算出したノイズ信号レベルを減算してよい。これにより、蓄光露光期間（時刻ｔ１１～時刻ｔ１２）の長さと無蓄光露光期間（時刻ｔ１２～時刻ｔ１３）の長さとが異なる場合でも、適切な減算処理を実行することができる。
　図１５等を参照して説明したように、演算部１０８Ａｂは、画素信号レベルに基づく画素画像データから、ノイズ信号レベルに基づくノイズ画像データを減算してもよい。このように、画像データレベルで減算処理を実行することもできる。
　図３及び図１５等を参照して説明したように、複数の画素１１０Ａは、アレイ状に配置され、画素信号レベル及びノイズ信号レベルは、画素行ごとにＡＤ変換され、演算部１０８Ａｂは、画素行ごとに、ＡＤ変換後の画素信号レベルからＡＤ変換後のノイズ信号レベルを減算してよい。このようなＤＯＬ駆動により、画素信号レベルの保持に必要なメモリ容量を節約することができる。
　図１８～図２１等を参照して説明したように、複数の画素１１０Ｂの各々は、光電変換部ＳＰとキャパシタＣとの間に接続されたスイッチＳＷを含み、複数の画素１１０Ｂの露光期間は、スイッチＳＷが非導通状態（ＯＦＦ）に制御される第１の期間（時刻ｔ２１～時刻ｔ２２）と、スイッチＳＷが導通状態（ＯＮ）に制御される第２の期間（時刻ｔ２２～時刻ｔ２３）と、をこの順に含み、演算部１０８Ｂｂは、第１の期間（時刻ｔ２１～時刻ｔ２２）での露光によって得られたノイズ信号レベルに基づいて、第１の期間（時刻ｔ２１～時刻ｔ２２）及び第２の期間（時刻ｔ２２～時刻ｔ２３）の合計期間（時刻ｔ２１～時刻ｔ２３）分のノイズ信号レベルを算出し、合計期間（時刻ｔ２１～時刻ｔ２３）での露光によって得られた画素信号レベルから、算出したノイズ信号レベルを減算してよい。例えばこのような減算処理（第３の手法）によっても、ＳＮＲドロップを抑制することができる。
　図１、図３、図４、図１１及び図１２等を参照して説明した撮像装置（カメラ５１等）も、実施形態の１つである。撮像装置（カメラ５１等）は、受光光量に応じた電荷を発生する光電変換部ＳＰ、及び、光電変換部ＳＰで発生した電荷を光電変換部ＳＰと分担して蓄積できるように設けられたキャパシタＣを各々が含む複数の画素１１０を含む固体撮像装置１００と、光電変換部ＳＰで発生し光電変換部ＳＰ及びキャパシタＣに蓄積された電荷に応じた画素信号レベルから、温度に起因してキャパシタＣ内で発生するノイズに応じたノイズ信号レベルを減算する演算部１０８ｂと、を備える。このような撮像装置（カメラ５１等）によっても、これまで説明したように、ＷＤＲを確保しつつＳＮＲドロップを抑制することが可能になる。
　図１１～図１３等を参照して説明したように、撮像装置（カメラ５１等）は、複数の画素１１０それぞれのノイズ信号レベルを示す固定パターンノイズデータ（ＦＰＮデータ１０９ａ）を予め記憶している記憶部（記憶部５１ｂ等）を備え、演算部１０８ｂは、露光時間と、温度と、記憶部（記憶部５１ｂ等）に記憶されている固定パターンノイズデータ（ＦＰＮデータ１０９ａ）とを用いてノイズ信号レベルを算出し、画素信号レベルから、算出した前記ノイズ信号レベルを減算してよい。例えばこのような減算処理（第１の手法）により、ＳＮＲドロップを抑制することができる。
　図１１及び図１２等を参照して説明したように、固定パターンノイズデータ（ＦＰＮデータ１０９ａ）は、複数の画素１１０それぞれのノイズ信号レベルに基づくノイズ画像データであり、演算部１０８ｂは、露光時間と、温度と、記憶部（カメラ５１等）に記憶されている固定パターンノイズデータ（ＦＰＮデータ１０９ａ）とを用いてノイズ信号レベルに基づくノイズ画像データを算出し、画素信号レベルに基づく画素画像データから、算出したノイズ画像データを減算してよい。このように、画像データレベルで減算処理を実行することもできる。
　図３、図４、図１３、図１４、図１７、図１８、図２１及び図２２等を参照して説明した固体撮像装置１００の処理方法も、実施形態の１つである。固体撮像装置１００の処理方法において、固体撮像装置１００は、受光光量に応じた電荷を発生する光電変換部ＳＰ、及び、光電変換部ＳＰで発生した電荷を光電変換部ＳＰと分担して蓄積できるように設けられたキャパシタＣを各々が含む複数の画素１１０等、を備え、処理方法は、光電変換部ＳＰで発生し光電変換部ＳＰ及びキャパシタＣに蓄積された電荷に応じた画素信号レベルから、温度に起因してキャパシタＣ内で発生するノイズに応じたノイズ信号レベルを減算すること（ステップＳ３、ステップＳ１３、ステップＳ２４）、を含む。このような固体撮像装置１００の処理方法によっても、これまで説明したように、ＷＤＲを確保しつつＳＮＲドロップを抑制することが可能になる。
　図３、図４、図９、図１２～図１５、図１７～図１９、図２１及び図２２等を参照して説明した固体撮像装置１００の処理プログラム（プログラム１０９ｂ等）も、実施形態の１つである。固体撮像装置１００の処理プログラム（プログラム１０９ｂ等）において、固体撮像装置１００は、受光光量に応じた電荷を発生する光電変換部ＳＰ、及び、光電変換部で発生した電荷を光電変換部ＳＰと分担して蓄積できるように設けられたキャパシタＣを各々が含む複数の画素１１０等、を備え、処理プログラム（プログラム１０９ｂ等）は、光電変換部ＳＰで発生し光電変換部ＳＰ及びキャパシタＣに蓄積された電荷に応じた画素信号レベルから、温度に起因してキャパシタＣ内で発生するノイズに応じたノイズ信号レベルを減算すること（ステップＳ３、ステップＳ１３、ステップＳ２４）、をコンピュータに実行させる。このような固体撮像装置１００の処理プログラム（プログラム１０９ｂ等）によっても、これまで説明したように、ＷＤＲを確保しつつＳＮＲドロップを抑制することが可能になる。
　図１、図３、図４及び図１３等を参照して説明した撮像装置（カメラ５１等）の処理方法も、実施形態の１つである。撮像装置（カメラ５１等）の処理方法において、撮像装置（カメラ５１等）は、受光光量に応じた電荷を発生する光電変換部ＳＰ、及び、光電変換部ＳＰで発生した電荷を光電変換部ＳＰと分担して蓄積できるように設けられたキャパシタＣを各々が含む複数の画素１１０を含む固体撮像装置１００、を備え、処理方法は、光電変換部ＳＰで発生し光電変換部ＳＰ及びキャパシタＣに蓄積された電荷に応じた画素信号レベルから、温度に起因してキャパシタＣ内で発生するノイズに応じたノイズ信号レベルを減算すること（ステップＳ３）、を含む。このような撮像装置（カメラ５１等）の処理方法によっても、これまで説明したように、ＷＤＲを確保しつつＳＮＲドロップを抑制することが可能になる。
　図１、図３、図４及び図１１～図１３等を参照して説明した撮像装置（カメラ５１等）の処理プログラム（プログラム１０９ｂ）も、実施形態の１つである。撮像装置（カメラ５１等）の処理プログラム（プログラム１０９ｂ）において、撮像装置（カメラ５１等）は、受光光量に応じた電荷を発生する光電変換部ＳＰ、及び、光電変換部ＳＰで発生した電荷を光電変換部ＳＰと分担して蓄積できるように設けられたキャパシタＣを各々が含む複数の画素１１０を含む固体撮像装置１００、を備え、処理プログラム（プログラム１０９ｂ）は、光電変換部ＳＰで発生し光電変換部ＳＰ及びキャパシタＣに蓄積された電荷に応じた画素信号レベルから、温度に起因してキャパシタＣ内で発生するノイズに応じたノイズ信号レベルを減算すること（ステップＳ３）、をコンピュータに実行させる。このような撮像装置（カメラ５１等）の処理プログラム（プログラム１０９ｂ等）によっても、これまで説明したように、ＷＤＲを確保しつつＳＮＲドロップを抑制することが可能になる。
　以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
　また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　受光光量に応じた電荷を発生する光電変換部、及び、前記光電変換部で発生した電荷を前記光電変換部と分担して蓄積できるように設けられたキャパシタを各々が含む複数の画素と、
　前記光電変換部で発生し前記光電変換部及び前記キャパシタに蓄積された電荷に応じた画素信号レベルから、温度に起因して前記キャパシタ内で発生するノイズに応じたノイズ信号レベルを減算する演算部と、
　を備える、
　固体撮像装置。
（２）
　前記複数の画素それぞれの前記ノイズ信号レベルを示す固定パターンノイズデータを予め記憶している記憶部を備え、
　前記演算部は、露光時間と、温度と、前記記憶部に記憶されている固定パターンノイズデータとを用いて前記ノイズ信号レベルを算出し、前記画素信号レベルから、前記算出した前記ノイズ信号レベルを減算する、
　（１）に記載の固体撮像装置。
（３）
　前記固定パターンノイズデータは、前記複数の画素それぞれの前記ノイズ信号レベルに基づくノイズ画像データであり、
　前記演算部は、露光時間と、温度と、前記記憶部に記憶されている固定パターンノイズデータとを用いて前記ノイズ信号レベルに基づくノイズ画像データを算出し、前記画素信号レベルに基づく画素画像データから、前記算出した前記ノイズ画像データを減算する、
　（２）に記載の固体撮像装置。
（４）
　前記複数の画素の各々は、前記光電変換部と前記キャパシタとの間に接続されたスイッチを含み、
　前記複数の画素の露光期間は、
　　前記スイッチが導通状態又は非導通状態に制御される蓄光露光期間と、
　　前記スイッチが非導通状態に制御される無蓄光露光期間と、
　を含み、
　前記演算部は、前記蓄光露光期間での露光によって得られた前記画素信号レベルから、前記無蓄光露光期間での露光によって得られた前記ノイズ信号レベルを減算し、
　前記演算部は、ＡＤ変換後の前記画素信号レベルからＡＤ変換後の前記ノイズ信号レベルを減算する、
　（１）に記載の固体撮像装置。
（５）
　前記演算部は、前記無蓄光露光期間での露光によって得られた前記ノイズ信号レベルに基づいて、前記蓄光露光期間分の前記ノイズ信号レベルを算出し、前記蓄光露光期間での露光によって得られた前記画素信号レベルから、算出した前記ノイズ信号レベルを減算する、
　（４）に記載の固体撮像装置。
（６）
　前記演算部は、前記画素信号レベルに基づく画素画像データから、前記ノイズ信号レベルに基づくノイズ画像データを減算する、
　（４）又は（５）に記載の固体撮像装置。
（７）
　前記複数の画素は、アレイ状に配置され、
　前記画素信号レベル及び前記ノイズ信号レベルは、画素行ごとにＡＤ変換され、
　前記演算部は、画素行ごとに、ＡＤ変換後の前記画素信号レベルからＡＤ変換後の前記ノイズ信号レベルを減算する、
　（４）又は（５）に記載の固体撮像装置。
（８）
　前記複数の画素の各々は、前記光電変換部と前記キャパシタとの間に接続されたスイッチを含み、
　前記複数の画素の露光期間は、
　　前記スイッチが非導通状態に制御される第１の期間と、
　　前記スイッチが導通状態に制御される第２の期間と、
　をこの順に含み、
　前記演算部は、前記第１の期間での露光によって得られた前記ノイズ信号レベルに基づいて、前記第１の期間及び前記第２の期間の合計期間分の前記ノイズ信号レベルを算出し、前記合計期間での露光によって得られた前記画素信号レベルから、前記算出した前記ノイズ信号レベルを減算する、
　（１）に記載の固体撮像装置。
（９）
　受光光量に応じた電荷を発生する光電変換部、及び、前記光電変換部で発生した電荷を前記光電変換部と分担して蓄積できるように設けられたキャパシタを各々が含む複数の画素を含む固体撮像装置と、
　前記光電変換部で発生し前記光電変換部及び前記キャパシタに蓄積された電荷に応じた画素信号レベルから、温度に起因して前記キャパシタ内で発生するノイズに応じたノイズ信号レベルを減算する演算部と、
　を備える、
　撮像装置。
（１０）
　前記複数の画素それぞれの前記ノイズ信号レベルを示す固定パターンノイズデータを予め記憶している記憶部を備え、
　前記演算部は、露光時間と、温度と、前記記憶部に記憶されている固定パターンノイズデータとを用いて前記ノイズ信号レベルを算出し、前記画素信号レベルから、前記算出した前記ノイズ信号レベルを減算する、
　（９）に記載の撮像装置。
（１１）
　前記固定パターンノイズデータは、前記複数の画素それぞれの前記ノイズ信号レベルに基づくノイズ画像データであり、
　前記演算部は、露光時間と、温度と、前記記憶部に記憶されている固定パターンノイズデータとを用いて前記ノイズ信号レベルに基づくノイズ画像データを算出し、前記画素信号レベルに基づく画素画像データから、前記算出した前記ノイズ画像データを減算する、
　（１０）に記載の撮像装置。
（１２）
　固体撮像装置の処理方法であって、
　前記固体撮像装置は、
　　受光光量に応じた電荷を発生する光電変換部、及び、前記光電変換部で発生した電荷を前記光電変換部と分担して蓄積できるように設けられたキャパシタを各々が含む複数の画素、
　を備え、
　前記処理方法は、
　　前記光電変換部で発生し前記光電変換部及び前記キャパシタに蓄積された電荷に応じた画素信号レベルから、温度に起因して前記キャパシタ内で発生するノイズに応じたノイズ信号レベルを減算すること、
　を含む、
　固体撮像装置の処理方法。
（１３）
　固体撮像装置の処理プログラムであって、
　前記固体撮像装置は、
　　受光光量に応じた電荷を発生する光電変換部、及び、前記光電変換部で発生した電荷を前記光電変換部と分担して蓄積できるように設けられたキャパシタを各々が含む複数の画素、
　を備え、
　前記処理プログラムは、
　　前記光電変換部で発生し前記光電変換部及び前記キャパシタに蓄積された電荷に応じた画素信号レベルから、温度に起因して前記キャパシタ内で発生するノイズに応じたノイズ信号レベルを減算すること、
　をコンピュータに実行させる、
　固体撮像装置の処理プログラム。
（１４）
　撮像装置の処理方法であって、
　前記撮像装置は、
　　受光光量に応じた電荷を発生する光電変換部、及び、前記光電変換部で発生した電荷を前記光電変換部と分担して蓄積できるように設けられたキャパシタを各々が含む複数の画素を含む固体撮像装置、
　を備え、
　前記処理方法は、
　　前記光電変換部で発生し前記光電変換部及び前記キャパシタに蓄積された電荷に応じた画素信号レベルから、温度に起因して前記キャパシタ内で発生するノイズに応じたノイズ信号レベルを減算すること、
　を含む、
　撮像装置の処理方法。
（１５）
　撮像装置の処理プログラムであって、
　前記撮像装置は、
　　受光光量に応じた電荷を発生する光電変換部、及び、前記光電変換部で発生した電荷を前記光電変換部と分担して蓄積できるように設けられたキャパシタを各々が含む複数の画素を含む固体撮像装置、
　を備え、
　前記処理プログラムは、
　　前記光電変換部で発生し前記光電変換部及び前記キャパシタに蓄積された電荷に応じた画素信号レベルから、温度に起因して前記キャパシタ内で発生するノイズに応じたノイズ信号レベルを減算すること、
　をコンピュータに実行させる、
　撮像装置の処理プログラム。
　　２１　車両制御ＥＣＵ
　　２８　記録部（記憶部）
　　５１　カメラ（撮像装置）
　５１ａ　処理部
　５１ｂ　記憶部
　１００　固体撮像装置
　１０１　画素アレイ部
　１０２　垂直駆動回路
　１０３　カラム処理回路
　１０４　水平駆動回路
　１０５　システム制御部
　１０８　信号処理部
１０８ａ　取得部
１０８ｂ　演算部
　１０９　データ格納部（記憶部）
１０９ａ　ＦＰＮデータ
１０９ｂ　プログラム
　　ＳＰ　光電変換部
　　ＳＷ　スイッチ
　　　Ｃ　キャパシタ

Claims (15)

  1. 　受光光量に応じた電荷を発生する光電変換部、及び、前記光電変換部で発生した電荷を前記光電変換部と分担して蓄積できるように設けられたキャパシタを各々が含む複数の画素と、
    　前記光電変換部で発生し前記光電変換部及び前記キャパシタに蓄積された電荷に応じた画素信号レベルから、温度に起因して前記キャパシタ内で発生するノイズに応じたノイズ信号レベルを減算する演算部と、
    　を備える、
    　固体撮像装置。
  2. 　前記複数の画素それぞれの前記ノイズ信号レベルを示す固定パターンノイズデータを予め記憶している記憶部を備え、
    　前記演算部は、露光時間と、温度と、前記記憶部に記憶されている固定パターンノイズデータとを用いて前記ノイズ信号レベルを算出し、前記画素信号レベルから、前記算出した前記ノイズ信号レベルを減算する、
    　請求項１に記載の固体撮像装置。
  3. 　前記固定パターンノイズデータは、前記複数の画素それぞれの前記ノイズ信号レベルに基づくノイズ画像データであり、
    　前記演算部は、露光時間と、温度と、前記記憶部に記憶されている固定パターンノイズデータとを用いて前記ノイズ信号レベルに基づくノイズ画像データを算出し、前記画素信号レベルに基づく画素画像データから、前記算出した前記ノイズ画像データを減算する、
    　請求項２に記載の固体撮像装置。
  4. 　前記複数の画素の各々は、前記光電変換部と前記キャパシタとの間に接続されたスイッチを含み、
    　前記複数の画素の露光期間は、
    　　前記スイッチが導通状態又は非導通状態に制御される蓄光露光期間と、
    　　前記スイッチが非導通状態に制御される無蓄光露光期間と、
    　を含み、
    　前記演算部は、前記蓄光露光期間での露光によって得られた前記画素信号レベルから、前記無蓄光露光期間での露光によって得られた前記ノイズ信号レベルを減算し、
    　前記演算部は、ＡＤ変換後の前記画素信号レベルからＡＤ変換後の前記ノイズ信号レベルを減算する、
    　請求項１に記載の固体撮像装置。
  5. 　前記演算部は、前記無蓄光露光期間での露光によって得られた前記ノイズ信号レベルに基づいて、前記蓄光露光期間分の前記ノイズ信号レベルを算出し、前記蓄光露光期間での露光によって得られた前記画素信号レベルから、算出した前記ノイズ信号レベルを減算する、
    　請求項４に記載の固体撮像装置。
  6. 　前記演算部は、前記画素信号レベルに基づく画素画像データから、前記ノイズ信号レベルに基づくノイズ画像データを減算する、
    　請求項４に記載の固体撮像装置。
  7. 　前記複数の画素は、アレイ状に配置され、
    　前記画素信号レベル及び前記ノイズ信号レベルは、画素行ごとにＡＤ変換され、
    　前記演算部は、画素行ごとに、ＡＤ変換後の前記画素信号レベルからＡＤ変換後の前記ノイズ信号レベルを減算する、
    　請求項４に記載の固体撮像装置。
  8. 　前記複数の画素の各々は、前記光電変換部と前記キャパシタとの間に接続されたスイッチを含み、
    　前記複数の画素の露光期間は、
    　　前記スイッチが非導通状態に制御される第１の期間と、
    　　前記スイッチが導通状態に制御される第２の期間と、
    　をこの順に含み、
    　前記演算部は、前記第１の期間での露光によって得られた前記ノイズ信号レベルに基づいて、前記第１の期間及び前記第２の期間の合計期間分の前記ノイズ信号レベルを算出し、前記合計期間での露光によって得られた前記画素信号レベルから、前記算出した前記ノイズ信号レベルを減算する、
    　請求項１に記載の固体撮像装置。
  9. 　受光光量に応じた電荷を発生する光電変換部、及び、前記光電変換部で発生した電荷を前記光電変換部と分担して蓄積できるように設けられたキャパシタを各々が含む複数の画素を含む固体撮像装置と、
    　前記光電変換部で発生し前記光電変換部及び前記キャパシタに蓄積された電荷に応じた画素信号レベルから、温度に起因して前記キャパシタ内で発生するノイズに応じたノイズ信号レベルを減算する演算部と、
    　を備える、
    　撮像装置。
  10. 　前記複数の画素それぞれの前記ノイズ信号レベルを示す固定パターンノイズデータを予め記憶している記憶部を備え、
    　前記演算部は、露光時間と、温度と、前記記憶部に記憶されている固定パターンノイズデータとを用いて前記ノイズ信号レベルを算出し、前記画素信号レベルから、前記算出した前記ノイズ信号レベルを減算する、
    　請求項９に記載の撮像装置。
  11. 　前記固定パターンノイズデータは、前記複数の画素それぞれの前記ノイズ信号レベルに基づくノイズ画像データであり、
    　前記演算部は、露光時間と、温度と、前記記憶部に記憶されている固定パターンノイズデータとを用いて前記ノイズ信号レベルに基づくノイズ画像データを算出し、前記画素信号レベルに基づく画素画像データから、前記算出した前記ノイズ画像データを減算する、
    　請求項１０に記載の撮像装置。
  12. 　固体撮像装置の処理方法であって、
    　前記固体撮像装置は、
    　　受光光量に応じた電荷を発生する光電変換部、及び、前記光電変換部で発生した電荷を前記光電変換部と分担して蓄積できるように設けられたキャパシタを各々が含む複数の画素、
    　を備え、
    　前記処理方法は、
    　　前記光電変換部で発生し前記光電変換部及び前記キャパシタに蓄積された電荷に応じた画素信号レベルから、温度に起因して前記キャパシタ内で発生するノイズに応じたノイズ信号レベルを減算すること、
    　を含む、
    　固体撮像装置の処理方法。
  13. 　固体撮像装置の処理プログラムであって、
    　前記固体撮像装置は、
    　　受光光量に応じた電荷を発生する光電変換部、及び、前記光電変換部で発生した電荷を前記光電変換部と分担して蓄積できるように設けられたキャパシタを各々が含む複数の画素、
    　を備え、
    　前記処理プログラムは、
    　　前記光電変換部で発生し前記光電変換部及び前記キャパシタに蓄積された電荷に応じた画素信号レベルから、温度に起因して前記キャパシタ内で発生するノイズに応じたノイズ信号レベルを減算すること、
    　をコンピュータに実行させる、
    　固体撮像装置の処理プログラム。
  14. 　撮像装置の処理方法であって、
    　前記撮像装置は、
    　　受光光量に応じた電荷を発生する光電変換部、及び、前記光電変換部で発生した電荷を前記光電変換部と分担して蓄積できるように設けられたキャパシタを各々が含む複数の画素を含む固体撮像装置、
    　を備え、
    　前記処理方法は、
    　　前記光電変換部で発生し前記光電変換部及び前記キャパシタに蓄積された電荷に応じた画素信号レベルから、温度に起因して前記キャパシタ内で発生するノイズに応じたノイズ信号レベルを減算すること、
    　を含む、
    　撮像装置の処理方法。
  15. 　撮像装置の処理プログラムであって、
    　前記撮像装置は、
    　　受光光量に応じた電荷を発生する光電変換部、及び、前記光電変換部で発生した電荷を前記光電変換部と分担して蓄積できるように設けられたキャパシタを各々が含む複数の画素を含む固体撮像装置、
    　を備え、
    　前記処理プログラムは、
    　　前記光電変換部で発生し前記光電変換部及び前記キャパシタに蓄積された電荷に応じた画素信号レベルから、温度に起因して前記キャパシタ内で発生するノイズに応じたノイズ信号レベルを減算すること、
    　をコンピュータに実行させる、
    　撮像装置の処理プログラム。
PCT/JP2022/007836 2021-03-16 2022-02-25 固体撮像装置、撮像装置、固体撮像装置の処理方法、固体撮像装置の処理プログラム、撮像装置の処理方法、及び、撮像装置の処理プログラム WO2022196288A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/549,464 US20240179429A1 (en) 2021-03-16 2022-02-25 Solid-state imaging device, imaging device, processing method in solid-state imaging device, processing program in solid-state imaging device, processing method in imaging device, and processing program in imaging device
JP2023506913A JPWO2022196288A1 (ja) 2021-03-16 2022-02-25

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021042001 2021-03-16
JP2021-042001 2021-03-16

Publications (1)

Publication Number Publication Date
WO2022196288A1 true WO2022196288A1 (ja) 2022-09-22

Family

ID=83321421

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/007836 WO2022196288A1 (ja) 2021-03-16 2022-02-25 固体撮像装置、撮像装置、固体撮像装置の処理方法、固体撮像装置の処理プログラム、撮像装置の処理方法、及び、撮像装置の処理プログラム

Country Status (3)

Country Link
US (1) US20240179429A1 (ja)
JP (1) JPWO2022196288A1 (ja)
WO (1) WO2022196288A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001094882A (ja) * 1999-09-24 2001-04-06 Casio Comput Co Ltd 撮像装置およびその信号処理方法
JP2002077737A (ja) * 2000-06-14 2002-03-15 Nec Corp イメージセンサ
JP2005328493A (ja) * 2004-04-12 2005-11-24 Shigetoshi Sugawa 固体撮像装置、光センサおよび固体撮像装置の動作方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001094882A (ja) * 1999-09-24 2001-04-06 Casio Comput Co Ltd 撮像装置およびその信号処理方法
JP2002077737A (ja) * 2000-06-14 2002-03-15 Nec Corp イメージセンサ
JP2005328493A (ja) * 2004-04-12 2005-11-24 Shigetoshi Sugawa 固体撮像装置、光センサおよび固体撮像装置の動作方法

Also Published As

Publication number Publication date
JPWO2022196288A1 (ja) 2022-09-22
US20240179429A1 (en) 2024-05-30

Similar Documents

Publication Publication Date Title
KR102613792B1 (ko) 촬상 장치, 화상 처리 장치 및 화상 처리 방법
US20230370709A1 (en) Imaging device, information processing device, imaging system, and imaging method
WO2022153896A1 (ja) 撮像装置、画像処理方法及び画像処理プログラム
TW202147825A (zh) 攝像裝置及攝像方法
WO2024024148A1 (ja) 車載監視装置、情報処理装置および車載監視システム
WO2022196288A1 (ja) 固体撮像装置、撮像装置、固体撮像装置の処理方法、固体撮像装置の処理プログラム、撮像装置の処理方法、及び、撮像装置の処理プログラム
EP4322516A1 (en) Information processing device and information processing method
WO2024106196A1 (ja) 固体撮像装置および電子機器
US20240064431A1 (en) Solid-state imaging device, method of controlling solid-state imaging device, and control program for solid-state imaging device
WO2024224856A1 (ja) 重みづけ加算回路及び固体撮像装置
WO2024214440A1 (ja) 光検出装置および光検出システム
WO2024185361A1 (ja) 固体撮像装置
WO2024106132A1 (ja) 固体撮像装置および情報処理システム
WO2024009739A1 (ja) 光学式測距センサ、及び光学式測距システム
WO2024101128A1 (en) Image and distance sensing system, image and distance sensing control device, and image and distance sensing method
JP2024158002A (ja) 重みづけ加算回路及び固体撮像装置
WO2023276223A1 (ja) 測距装置、測距方法及び制御装置
WO2024181041A1 (ja) 測距装置及び測距方法
WO2022075039A1 (ja) 情報処理装置、情報処理システム及び情報処理方法
WO2024062842A1 (ja) 固体撮像装置
US20240241227A1 (en) Distance measuring device and distance measuring method
WO2022254839A1 (ja) 光検出装置及び測距システム
WO2023149089A1 (ja) 学習装置、学習方法及び学習プログラム
WO2023053498A1 (ja) 情報処理装置、情報処理方法、記録媒体、および車載システム
WO2023063145A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22771044

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023506913

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18549464

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22771044

Country of ref document: EP

Kind code of ref document: A1