WO2024150690A1 - 固体撮像装置 - Google Patents

固体撮像装置 Download PDF

Info

Publication number
WO2024150690A1
WO2024150690A1 PCT/JP2023/047039 JP2023047039W WO2024150690A1 WO 2024150690 A1 WO2024150690 A1 WO 2024150690A1 JP 2023047039 W JP2023047039 W JP 2023047039W WO 2024150690 A1 WO2024150690 A1 WO 2024150690A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal processing
solid
state imaging
imaging device
event detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/047039
Other languages
English (en)
French (fr)
Inventor
佳孝 宮谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to CN202380082267.7A priority Critical patent/CN120283415A/zh
Publication of WO2024150690A1 publication Critical patent/WO2024150690A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Definitions

  • This disclosure relates to a solid-state imaging device.
  • pixels that perform event detection can be arranged in a hybrid pixel array, making it possible to detect events and acquire color information in parallel on the same coordinate axis.
  • one of the non-limiting problems that the embodiments of the present disclosure aim to solve is to correct distortion of event detection pixels.
  • the problem that the embodiments of the present disclosure aim to solve can also be, as some further non-limiting examples, a problem that corresponds to the effects described in the embodiments.
  • a problem that corresponds to at least any one of the effects described in the description of the embodiments of the present disclosure can be the problem that the present disclosure aims to solve.
  • a solid-state imaging device includes an optical system, a first pixel, a second pixel, one or more pixel arrays, and a signal processing circuit.
  • the first pixel acquires image information based on luminance information via the optical system.
  • the second pixel acquires event detection information based on a change in luminance information via the optical system.
  • the first pixels and the second pixels are arranged in a two-dimensional array.
  • the signal processing circuit selects whether or not to perform distortion correction on the event detection information acquired by the second pixel, and executes signal processing.
  • the one or more pixel arrays may be formed from a single pixel array;
  • the second pixels may be arranged in a predetermined region in the pixel array at a predetermined ratio to the first pixels.
  • the specified area may be the entire area of the pixel array.
  • the second pixels may be arranged at equal intervals to cover the entire area of the specified region.
  • the second pixel may detect an event every frame.
  • the second pixel may detect an event using an arbiter method.
  • the signal processing circuit may perform distortion correction of the image information.
  • the signal processing circuit includes:
  • the event detection information may be converted into a resolution of the image information.
  • a distortion correction may be performed on the transformed event detection information.
  • the signal processing circuit includes: Distortion correction of the event detection information may be performed based on a difference between a resolution of the event detection information and a resolution of the image information.
  • the signal processing circuit includes: A region of interest may be set based on the image information, The event detection information corresponding to the region of interest may be obtained.
  • the signal processing circuit includes: Tracking may be performed based on the distortion-corrected event detection information corresponding to the region of interest.
  • the signal processing circuit includes: For coordinates after the distortion correction of the event detection information, a value obtained by correcting the distortion of the event detection information may be compared with a threshold value to obtain the event detection information at the coordinates after the distortion correction.
  • the signal processing circuit includes: The event detection information at said coordinates after distortion correction may be stored as 1.5 bits of information.
  • the one or more pixel array s a first pixel array in which the first pixels are arranged in a two-dimensional array; a second pixel array, the second pixels being arranged in a two-dimensional array and configured to acquire the event detection information of the same target as that of the first pixel array; It may be formed from
  • the optical system includes: a first optical system that focuses light onto the first pixel array; a second optical system that focuses light onto the second pixel array; may also be provided.
  • the signal processing circuit includes: a first signal processing circuit that processes a signal output from the first pixel; a second signal processing circuit that processes a signal output from the second pixel;
  • the present invention may also include:
  • the signal processing circuit includes: Image processing may be performed based on the distortion corrected image information and the distortion corrected event detection information.
  • the signal processing circuit includes: A deblur process may be performed based on the distortion-corrected image information and the distortion-corrected event detection information.
  • the signal processing circuit includes: A frame rate increasing process may be performed based on the distortion-corrected image information and the distortion-corrected event detection information.
  • the signal processing circuit includes: A tracking process may be performed based on the distortion-corrected image information and the distortion-corrected event detection information.
  • FIG. 1 is a block diagram illustrating a solid-state imaging device according to an embodiment.
  • FIG. 2 is a block diagram illustrating an image capturing unit according to an embodiment.
  • FIG. 2 is a diagram showing an example of a pixel arrangement in a pixel array according to an embodiment.
  • FIG. 2 is a block diagram illustrating an image capturing unit according to an embodiment.
  • FIG. 13 is a diagram showing an example of data transition according to an embodiment.
  • 5 is a flowchart showing a process of a solid-state imaging device according to an embodiment.
  • 5 is a flowchart showing a process of a solid-state imaging device according to an embodiment.
  • 5 is a flowchart showing a process of a solid-state imaging device according to an embodiment.
  • FIG. 1 is a block diagram illustrating a solid-state imaging device according to an embodiment.
  • FIG. 2 is a block diagram illustrating an image capturing unit according to an embodiment.
  • FIG. 2 is a diagram showing an example of a
  • FIG. 13 is a diagram showing an example of setting a region of interest according to an embodiment
  • 5 is a flowchart showing a process of a solid-state imaging device according to an embodiment.
  • FIG. 1 is a block diagram illustrating a solid-state imaging device according to an embodiment.
  • FIG. 2 is a diagram illustrating a substrate of a solid-state imaging device according to an embodiment.
  • FIG. 2 is a diagram illustrating a substrate of a solid-state imaging device according to an embodiment.
  • FIG. 2 is a diagram illustrating a substrate of a solid-state imaging device according to an embodiment.
  • 1 is a block diagram showing an example of a schematic configuration of a vehicle control system; 4 is an explanatory diagram showing an example of the installation positions of an outside-vehicle information detection unit and an imaging unit;
  • the solid-state imaging device 1 includes an optical system 10, an imaging unit 12, a storage unit 14, a signal processing unit 16, and an input/output interface (hereinafter, referred to as an input/output I/F 18).
  • the solid-state imaging device 1 includes at least a first pixel that acquires image information from luminance information, and a second pixel that acquires event detection information from a change in the luminance information, and is a device that acquires image information and also acquires event detection information within the image.
  • the optical system 10 is an optical system that appropriately focuses light onto the imaging unit 12.
  • the imaging unit 12 has a first pixel and a second pixel, and acquires image information and event detection information. For example, the imaging unit 12 acquires information on an area that includes the same object in the first pixel and the second pixel.
  • the memory unit 14 stores data acquired by the imaging unit 12, or data being processed by the signal processing unit 16 or data after processing.
  • the memory unit 14 may include, for example, a memory circuit such as various memories or various storage devices that temporarily or non-temporarily stores data. At least a part of the memory unit 14 may be provided outside the solid-state imaging device 1.
  • the signal processing unit 16 performs various processes on the data acquired by the imaging unit 12 and outputs the data. This process may include, for example, converting the analog signal output from the pixel circuit into a digital signal, acquiring pixel values from the digital signal, and performing image processing. Note that at least a part of the above processes may be executed in the pixel circuit of the imaging unit 12.
  • the signal processing unit 16 may include, at least in part, a dedicated processing circuit such as an ASIC (Application Specified Integrated Circuitry), a general-purpose processing circuit such as a CPU (Central Processing Unit), or a programmable circuit such as an FPGA (Field Programmable Gate Array).
  • a dedicated processing circuit such as an ASIC (Application Specified Integrated Circuitry)
  • a general-purpose processing circuit such as a CPU (Central Processing Unit)
  • a programmable circuit such as an FPGA (Field Programmable Gate Array).
  • the processing executed by at least a part of the signal processing unit 16 may be in the form of information processing by software being specifically realized using hardware resources.
  • a program or executable file related to the software is stored in the memory unit 14, and the general-purpose circuit of the signal processing unit 16 can acquire the program stored in the memory unit 14 to realize information processing.
  • the input/output I/F 18 is an interface that connects the inside and outside of the solid-state imaging device 1.
  • the solid-state imaging device 1 can accept control from the user directly or indirectly from the input/output I/F 18. Furthermore, the solid-state imaging device 1 can realize transmission and reception of data between the inside and outside via the input/output I/F 18.
  • the solid-state imaging device 1 may be appropriately equipped with, for example, a control unit for controlling each component of the solid-state imaging device 1, a power supply unit for supplying power to each component, etc. as necessary.
  • FIG. 2 is a schematic diagram showing a non-limiting example of the imaging unit 12.
  • the imaging unit 12 includes a pixel array 120, a horizontal drive circuit 124, a vertical drive circuit 126, and a processing circuit 128.
  • the imaging unit 12 appropriately processes and outputs signals acquired by pixels arranged in the pixel array 120.
  • the pixel array 120 is formed by arranging pixels in a two-dimensional array.
  • the pixel array 120 includes a first pixel that acquires luminance information and a second pixel that acquires changes in the luminance information.
  • FIG. 3 is a diagram showing an example of the arrangement of pixels in the pixel array 120.
  • the pixel array 120 is formed, for example, by cyclically arranging first pixels 121 and second pixels 122.
  • the first pixel 121 includes a light receiving element that acquires luminance information, and each of these light receiving elements may be configured as a pixel that acquires one of the colors RGB.
  • the color may be selected by a color filter provided on the light receiving element, or the light receiving element may be formed with an organic photoelectric conversion film or the like.
  • the second pixel 122 has a light receiving element that acquires changes in luminance information as event detection information.
  • the first pixels 121R, 121G, 121B and the second pixel 122 may form a pixel group as a single unit, and the first pixel 121 that acquires a signal indicating an RGB color and the second pixel 122 that acquires a signal indicating event information may be periodically arranged with respect to the same coordinate in the image coordinate system.
  • These light receiving elements may be formed as split pixels formed by split light receiving elements within the same pixel, that is, a group of a first split pixel that acquires luminance information and a second split pixel that acquires changes in luminance information may be formed as one pixel.
  • the pixel arrangement is not limited to that shown in this figure.
  • a first pixel 121W that captures light that indicates white may be provided, or first pixels 121Mg, 121Cy, 121Ye, etc. that indicate light that indicates a complementary color may be provided.
  • the group of first pixels 121 and second pixels 122 may be formed of other numbers of pixels, such as 2 x 3 pixels, 3 x 3 pixels, etc., rather than 2 x 2 pixels. In other words, in the pixel group, a predetermined ratio of second pixels 122 to first pixels 121 may be appropriately arranged.
  • the second pixels 122 are arranged at a predetermined ratio across the entire area of the pixel array 120, the form in the present disclosure is not limited to this.
  • the second pixels 122 may be arranged, for example, in a predetermined area of the pixel array 120.
  • the second pixels 122 may be provided within this predetermined area in the image area, and the second pixels 122 may not be arranged in other areas of the pixel array 120.
  • the horizontal drive circuit 124 and the vertical drive circuit 126 select and drive the first pixel 121 and the second pixel 122 in the pixel array 120, and transmit signals from the driven pixels to the processing circuit 128.
  • the vertical drive circuit 126 drives pixels in a column, and the signals from the selected and driven pixels are transmitted to the processing circuit 128.
  • the processing circuit 128 performs appropriate processing on the received signal and outputs it to the memory unit 14 or the signal processing unit 16.
  • the processing circuit 128 may be formed as part of the signal processing unit 16, rather than as part of the imaging unit 12.
  • the signal output from the pixel array 120 is an analog signal and an ADC (Analog to Digital Converter) that converts this analog signal into a digital signal is provided as the processing circuit 128, this ADC may be provided as part of the imaging unit 12 or as part of the signal processing unit 16.
  • ADC Analog to Digital Converter
  • horizontal drive circuit 124 there may be a horizontal drive circuit that selects the first pixel 121 and a horizontal drive circuit that selects the second pixel 122.
  • the vertical drive circuit 126 may be provided with a vertical drive circuit that selects the column of the first pixel 121 and a vertical drive circuit that selects the column of the second pixel 122.
  • the processing circuit 128 may also include a processing circuit that receives and processes a signal from the first pixel 121, and a processing circuit that receives and processes a signal from the second pixel 122.
  • the imaging unit 12 can obtain image information and event detection information by driving the first pixels 121 and the second pixels 122 that form the pixel array 120 by processing for each frame. In other words, the imaging unit 12 can obtain image information and event detection information as a frame image.
  • the signal from the first pixel 121 may be acquired for each frame, and the signal from the second pixel 122 may be acquired when an event is detected.
  • FIG. 4 is a schematic block diagram of another example of an imager according to an embodiment. As shown in FIG. 4, the output from the second pixel 122 may be processed by a horizontal arbiter 130 and a vertical arbiter 132. The dotted line shows an example of a path that the signal from the second pixel 122 may follow.
  • the imaging unit 12 may be configured to process the signal from the first pixel 121 as a frame image, while acquiring the output from the second pixel 122 at the timing when an event is detected at the second pixel 122.
  • the image information and event detection information output from the imaging unit 12 are processed in the signal processing unit 16.
  • Light acquired through the optical system 100 generally generates aberrations caused by the optical system 100.
  • One type of aberration that can occur as a large error in an image is distortion aberration.
  • distortion aberration One type of aberration that can occur as a large error in an image.
  • the signal processing unit 16 executes signal processing to correct distortion aberration of the image information acquired from the first pixel 121.
  • the signal processing unit 16 may also selectively execute signal processing to correct distortion aberration of the event detection information acquired from the second pixel 122 in the same manner as the correction of the image information acquired from the first pixel 121. This selection may be a setting to always perform distortion correction of the event detection information, or a setting that can be switched on and off by the user. Alternatively, the solid-state imaging device 1 may determine the situation and decide whether or not to perform distortion correction of the event detection information.
  • FIG. 5 is a diagram showing a schematic diagram of a series of steps from light reception to data processing in the solid-state imaging device 1.
  • the solid-state imaging device 1 performs processing related to image information and processing related to event detection information based on signals output from a first pixel 121 and a second pixel 122 provided in a pixel array 120.
  • the signal processing unit 16 (part of the processing may be realized by the imaging unit 12) can, for example, convert the analog signal acquired by the first pixel 121 into a digital signal and interpolate the defect at the position of the second pixel 122. The signal processing unit 16 then performs demosaic processing, color matrix processing, etc. to acquire image information for each color. If necessary, the signal processing unit 16 performs distortion correction on this image information.
  • the signal processing unit 16 processes the signal output from the second pixel 122 in parallel.
  • ⁇ indicates event information in the positive direction
  • ⁇ indicates event information in the negative direction.
  • the signal processing unit 16 may convert it into frame-format data (event grid) that has the same timing as the frame in which image information is acquired via the first pixel 121. If the output of the second pixel 122 is acquired by a frame method as shown by the dashed arrow, the signal processing unit 16 can treat the data acquired for each frame as event detection information (event grid).
  • the signal processing unit 16 may process the coordinate information of the signal in the next stage to determine whether the event is a positive event or a negative event in the event detection information acquired by the arbiter method without generating an event grid.
  • the signal processing unit 16 performs distortion correction on the frame-based event detection information or the arbiter-based event detection information as necessary.
  • the signal processor 16 can realize distortion correction of the image information or the event detection information, for example, based on the following equation:
  • (x 1 , y 1 ) are image coordinates after distortion correction
  • (x 2 , y 2 ) are image coordinates before distortion correction
  • (x 1 , y 1 ) may be coordinates in a coordinate system that is further transformed from world coordinates to camera coordinates using external parameters and then transformed to image coordinates using internal parameters.
  • k 1 , k 2 are distortion coefficients in the radial direction of the lens
  • p 1 , p 2 are distortion coefficients in the circumferential direction of the lens.
  • the distortion may be barrel distortion, pincushion distortion, or a combination of these.
  • the signal processing unit 16 performs appropriate signal processing using the distortion-corrected or uncorrected image information and the distortion-corrected or uncorrected event detection information.
  • This signal processing may be, for example, processing using an SNN (Spiking Neural Network). Processing is not limited to using an SNN, and the signal processing unit 16 can perform appropriate processing of the image information using the distortion-corrected event detection information as necessary.
  • the solid-state imaging device 1 can realize signal processing including distortion correction of the acquired event detection information as necessary. By correcting the distortion of the event detection information, it becomes possible to realize signal processing and image processing in which event detection information using the same coordinate system is added to the coordinate information in the image information.
  • FIG. 6 is a flowchart showing the processing of the solid-state imaging device 1 according to one embodiment. This flowchart shows the flow when float arithmetic (floating point arithmetic) is possible in processing the event detection information. The following flowchart can also be used when fixed-point processing is possible.
  • the solid-state imaging device 1 obtains information about reflected light, transmitted light, or emitted light from various objects in the imaging area in the imaging section 12 using a first pixel 121 and a second pixel 122 in the pixel array 120 (S100).
  • the signal processing unit 16 appropriately pre-processes the acquired output from the first pixel 121 (S102). As described above, this pre-processing may include analog to digital conversion, defect correction, demosaicing, color matrix processing, etc. Note that some of the processing may be performed by the imaging unit 12, which then transmits the processed data to the signal processing unit 16.
  • the signal processing unit 16 determines whether the setting specified by the user or by the solid-state imaging device 1 is for distortion correction or for distortion not correction (S104).
  • the setting for distortion correction may be specified by the user, or may be determined and specified by the solid-state imaging device 1 based on information of the video signal, etc.
  • the signal processing unit 16 performs distortion correction on the image obtained from the luminance information by performing distortion correction on the preprocessed image information (S106).
  • the distortion correction is performed, for example, based on the above equations (1) to (3).
  • the signal processing unit 16 appropriately pre-processes the acquired output from the second pixel 122 (S108). This pre-processing may include, for example, converting the information acquired in an arbiter format into a per-frame event grid.
  • the signal processing unit 16 determines whether the setting specified by the user or by the solid-state imaging device 1 is for performing distortion correction or for not performing distortion correction (S110).
  • the setting for performing distortion correction may be specified by the user, or may be determined and specified by the solid-state imaging device 1 based on information on the video signal, etc. Furthermore, when image information is to be distortion corrected, the signal processing unit 16 may also be set to automatically perform distortion correction on the event detection signal.
  • the signal processing unit 16 performs distortion correction on the event detection information obtained from the brightness change information by performing distortion correction on the preprocessed event detection signal (S112).
  • FIG. 7 is a flowchart showing an example of the processing of S112 described above according to one embodiment.
  • the signal processing unit 16 determines whether or not to resize the event detection information (S1120).
  • the decision to resize may be set in advance, in which case, depending on the setting, the following process of S1122 or S1126 may be executed by software or hardware implementation without going through the process of S1120.
  • the signal processing unit 16 executes a process of adjusting the resolution of the data preprocessed as event detection information so that it matches the coordinates in the image information.
  • a general method can be used for the resolution conversion. This resolution conversion allows the event detection information to be placed in the same coordinate system as the image information, at the same scale.
  • the event detection information may be expressed as floating point.
  • the signal processing unit 16 performs distortion correction on the resolution-converted event detection information (S1124).
  • the signal processing unit 16 can perform this distortion correction according to equations (1) to (3) that have coefficients in common with the image information.
  • the signal processing unit 16 can use the high-resolution event detection information to obtain distortion-corrected event detection information in the same coordinate system as the image information.
  • the signal processing unit 16 can convert the event detection information into the resolution of the image information and perform distortion correction on the converted event detection information.
  • the signal processing unit 16 performs distortion correction on the event detection information taking into account scaling (S1126). For example, the signal processing unit 16 can apply equations (1) to (3) to the image coordinates before distortion correction ( x'2 , y'2 ) scaled by the following conversion equation ( x2 , y2 ). Note that the distortion coefficients can be the same as those used for distortion correction of image information, as described above.
  • the event detection information may be expressed as floating point.
  • the signal processing unit 16 can perform distortion correction that takes into account scaling based on the difference between the resolution of the event detection information and the resolution of the image information.
  • N in equations (4) and (5) can be determined based on the predetermined ratio described above.
  • the signal processing unit 16 can perform any post-processing based on the acquired image information and event detection information (S114).
  • the post-processing may be, for example, the above-mentioned SNN processing, processing using other trained models, or any processing that does not use trained models.
  • the coordinates of the event detection information can be matched with the coordinates of the image information based on this distortion-corrected information, and processing using various trained models such as SNNs, tracking processing, etc. can be realized.
  • the signal processing unit 16 can appropriately output the data after performing post-processing (S116). This output may be in the form of outputting the data to the outside of the solid-state imaging device 1 via the input/output I/F 18, or may be in the form of storing the data in the memory unit 14.
  • the signal processing unit 16 can set a region of interest on the image, for example, by processing such as object detection in the signal processing unit 16, or by user specification.
  • the signal processing unit 16 can realize event detection for this region of interest.
  • FIG. 8 is a flowchart showing the processing of the solid-state imaging device 1 according to one embodiment.
  • the signal processing unit 16 sets a region of interest in the image information (S200).
  • the signal processing unit 16 may set a region specified by the user via the input/output I/F 18 as the region of interest.
  • the signal processing unit 16 may set a region including an object specified by the user via the input/output I/F 18 as the region of interest.
  • the signal processing unit 16 may also detect an object by any processing and set a region of interest based on the detection result.
  • the signal processing unit 16 can obtain the region of interest in the coordinate system of the undistorted event detection information by performing inverse distortion correction on the region of interest in the image information (S202). At the timing of this inverse distortion correction, the signal processing unit 16 can also convert coordinates taking into account the resizing and scaling described in the second embodiment above, if necessary.
  • the signal processing unit 16 obtains the region of interest in the event detection information (S204).
  • the solid-state imaging device 1 can also convert a region of interest in a distortion-corrected image into a region of interest in event detection information that has not been distortion-corrected.
  • FIG. 9 is a diagram showing an example of region of interest setting according to one embodiment.
  • the solid-state imaging device 1 acquires video information or time-series continuous image information including a person as a target.
  • the signal processing unit 16 automatically extracts an eye area from the distortion-corrected image and sets the region of interest ROIi.
  • the user may specify an arbitrary position within the image, and the signal processing unit 16 may set the region of interest ROIi based on this specification.
  • the signal processing unit 16 performs an inverse distortion transformation on the region of interest ROIi to obtain information on the region of interest ROIe in the coordinate system of the uncorrected event detection information.
  • the region of interest ROIe is shown as a rectangle in the figure, this is not limited to this, and if there is a barrel-shaped or pincushion-shaped distortion or a combination of these, it is also possible to obtain information on the region of interest ROIe according to the shape of this distortion.
  • the signal processing unit 16 can perform tracking of an object contained within a region of interest ROIi set in an image by acquiring event information in the region of interest ROIe and the surroundings of the region of interest ROIe in the coordinate system (not distortion corrected) of the event detection information.
  • FIG. 10 is a flowchart showing an example of processing in the above tracking example.
  • the signal processing unit 16 judges whether or not to perform tracking (S300). Whether or not to perform tracking may be specified by the user, or may be specified automatically by the solid-state imaging device 1. If tracking is not to be performed (S300: NO), the following processing may not be performed, or the device may transition to a standby state for the judgment of S300.
  • the signal processing unit 16 acquires the region of interest at the coordinates of the event detection information that has not been subjected to distortion correction by the processes of S200 to S204 in FIG. 8.
  • the signal processing unit 16 starts tracking using the event detection information (S302). In the following process, the signal processing unit 16 performs tracking for the region of interest ROIe in FIG. 9, for example.
  • the signal processing unit 16 detects event information in and around the region of interest ROIe, and calculates the amount of movement from the previous frame to the current frame from the change in brightness information in the region of interest ROIe (S304). For example, the signal processing unit 16 tracks the region of interest ROIe from the event detection information in the lower left of Figure 9 to the event detection information in the lower right, and obtains the amount of movement or the coordinates of the destination (with distortion).
  • the signal processing unit 16 sets the same region of interest as the region of interest ROIe obtained from the event detection information (if resizing or scaling has been performed, the same region taking these into consideration) as the region of interest for the image information before distortion correction, and performs tracking in the image by performing distortion correction on the image information including this region of interest (S306).
  • the signal processing unit 16 can obtain the region of interest ROIi in the distortion-corrected coordinate system as shown in the upper right of Figure 9.
  • the signal processing unit 16 continues the processes of S304 and S306 until tracking is terminated (S308: NO).
  • the end of tracking can be determined depending on the situation, for example, when shooting is completed, when the user issues a command to terminate tracking, etc.
  • event detection information can be acquired faster than acquiring luminance information (image information), and the calculation costs can be lower than those of luminance information. This makes it possible to achieve processing related to event detection, such as tracking, that is faster than processing using image information.
  • the solid-state imaging device 1 can implement the above, for example, in autofocus processing using eye tracking. That is, the solid-state imaging device 1 can, for example, perform eye tracking based on event detection information, and acquire an image in which the optical system is controlled so as to focus on a region of interest acquired in the image information. Furthermore, without being limited to this, it is possible to acquire event detection information at a higher speed and realize processing for applying it to frames of image information.
  • the process after acquiring the event detection information may not support floating-point arithmetic, such as inputting the results to the SNN.
  • a form can be used that does not output the data acquired after distortion correction in floating-point format.
  • the signal processing unit 16 controls the result after distortion correction so that it is not a floating point and outputs it.
  • the signal processing unit 16 may select the (x, y) coordinates of the event detection information that are the closest to the coordinates of the event detection information, obtain the converted value of the event detection information at the coordinates (x, y), and compare this obtained value with a threshold value to obtain the event detection result at the coordinates (x, y).
  • the signal processing unit 16 may determine that a positive event has occurred if the event detection value at the coordinates (x, y) after distortion correction is equal to or greater than a predetermined positive threshold, that a negative event has occurred if the value is equal to or less than a predetermined negative threshold, and that no event has occurred otherwise.
  • the signal processing unit 16 can also output this result as a 1.5 bit result.
  • the signal processing unit 16 can convert the results obtained in floating point to 1.5-bit data and output it. By converting the data in this way, it becomes possible to use the output data in its original form.
  • a hybrid pixel configuration has been described in which a first pixel 121 and a second pixel 122 are arranged in the same pixel array 120.
  • the embodiments of the present disclosure are not limited to this, and may be a so-called sensor fusion configuration.
  • FIG. 11 is a block diagram showing a schematic diagram of a solid-state imaging device according to one embodiment.
  • the solid-state imaging device 1 includes a first optical system 10A and a second optical system 10B as optical systems, and a first imaging section 12A and a second imaging section 12B as imaging sections.
  • the first imaging unit 12A has a first pixel array in which first pixels 121 that acquire luminance information are arranged in a two-dimensional array.
  • the first optical system 10A is configured to focus light on the first pixel array.
  • the second imaging unit 12B has a second pixel array in which second pixels 121 that acquire information on changes in luminance are arranged in a two-dimensional array.
  • the second optical system 10B is configured to focus light on the second pixel array.
  • the signal processing unit 16 can, for example, perform processing to adapt the event detection information acquired in the second pixel array to the image information acquired in the first pixel array. Through this processing, the signal processing unit 16 can realize processing to match the coordinates of the event detection information with the coordinates of the image information before or after distortion correction.
  • the solid-state imaging device 1 is not limited to the form shown in FIG. 11.
  • the solid-state imaging device 1 may have a form having one optical system for the first imaging section 12A and the second imaging section 12B.
  • the distortion coefficients may be set for each pixel array as needed.
  • the solid-state imaging device 1 may be configured to include, for example, a first signal processing unit that processes signals from the first imaging unit 12A, and a second signal processing unit that processes signals from the second imaging unit 12B.
  • the first signal processing unit and the second signal processing unit may be configured to be able to share data as necessary.
  • each imaging unit may be formed on a separate semiconductor chip, or may be formed on the same semiconductor chip.
  • the solid-state imaging device 1 can realize deblur processing, optical flow processing, motion blur removal processing, etc., based on distortion-corrected image information and distortion-corrected event detection information, for example.
  • the solid-state imaging device 1 can perform any image processing on image information using the event detection information on which distortion correction has been performed, in addition to the blur correction and tracking processing described above. As another non-limiting example, the solid-state imaging device 1 can also achieve a high frame rate for image information on which distortion correction has been performed.
  • FIG. 12 shows an example of an implementation of a chip 20 in a solid-state imaging device 1.
  • the chip 20 has a pixel array region 200, a memory circuit region 202, and a processing circuit region 204 on the same semiconductor substrate 30.
  • a single semiconductor substrate 30 may have the pixel array region 200, the memory circuit region 202, and the processing circuit region 204.
  • Each part is connected by an appropriate conductor or the like.
  • the pixel array region 200 is the region in which the pixel array 120 is disposed.
  • the memory circuit region 202 is the region in which at least a portion of the memory unit 14 is disposed.
  • the processing circuit region 204 is the region in which at least the signal processing unit 16 is disposed.
  • the chip 20 may be implemented on different semiconductor layers, a first semiconductor layer 31 and a second semiconductor layer 32.
  • the first semiconductor layer 31 includes a pixel array region 200
  • the second semiconductor layer 32 includes a memory circuit region 202 and a processing circuit region 204.
  • the first semiconductor layer 31 and the second semiconductor layer 32 are stacked to form and operate as an integrated semiconductor device.
  • the first semiconductor layer 31 is disposed closer to the optical system 100 than the second semiconductor layer 32, and light passing through the optical system 100 is received by the first semiconductor layer 31, and a signal is output to the second semiconductor layer 32.
  • the chip 20 may be implemented on different semiconductor layers, a first semiconductor layer 31, a second semiconductor layer 32, and a third semiconductor layer 33.
  • the first semiconductor layer 31 includes a pixel array region 200
  • the second semiconductor layer 32 includes a memory circuit region 202
  • the third semiconductor layer 33 includes a processing circuit region 204.
  • the first semiconductor layer 31, the second semiconductor layer 32, and the third semiconductor layer 33 are stacked to form and operate as an integrated semiconductor device.
  • the first semiconductor layer 31 is disposed closest to the optical system 100, light passing through the optical system 100 is received by the first semiconductor layer 31, and a signal is output to at least one of the second semiconductor layer 32 and the third semiconductor layer 33.
  • the semiconductor layers may be cut out from a wafer, diced, and then stacked and bonded together using the CoC (Chip on Chip) method.
  • the CoW (Chip on Wafer) method may be used, in which one of the layers is cut out, diced, and then bonded to the wafer.
  • the WoW (Wafer on Wafer) method may be used, in which each wafer is bonded together and then diced.
  • each semiconductor layer can be bonded together using non-limiting examples such as via holes, microbumps, micropads, plasma bonding, etc.
  • each semiconductor layer is appropriately electrically connected and formed so as to be capable of transmitting and receiving signals.
  • the technology disclosed herein can be applied to a variety of products.
  • the technology disclosed herein may be realized as a device mounted on any type of moving object, such as an automobile, electric vehicle, hybrid electric vehicle, motorcycle, bicycle, personal mobility, airplane, drone, ship, robot, construction machine, agricultural machine (tractor), etc.
  • FIG. 15 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a mobile control system to which the technology disclosed herein can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside vehicle information detection unit 7400, an inside vehicle information detection unit 7500, and an integrated control unit 7600.
  • the communication network 7010 connecting these multiple control units may be, for example, an in-vehicle communication network conforming to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark).
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores the programs executed by the microcomputer or parameters used in various calculations, and a drive circuit that drives various devices to be controlled.
  • Each control unit includes a network I/F for communicating with other control units via a communication network 7010, and a communication I/F for communicating with devices or sensors inside and outside the vehicle by wired or wireless communication.
  • the functional configuration of the integrated control unit 7600 includes a microcomputer 7610, a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I/F 7660, an audio/image output unit 7670, an in-vehicle network I/F 7680, and a storage unit 7690.
  • Other control units also include a microcomputer, a communication I/F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 functions as a control device for a drive force generating device for generating a drive force for the vehicle, such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to the wheels, a steering mechanism for adjusting the steering angle of the vehicle, and a braking device for generating a braking force for the vehicle.
  • the drive system control unit 7100 may also function as a control device such as an ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • the drive system control unit 7100 is connected to a vehicle state detection unit 7110.
  • the vehicle state detection unit 7110 includes at least one of the following: a gyro sensor that detects the angular velocity of the axial rotational motion of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, or a sensor for detecting the amount of operation of the accelerator pedal, the amount of operation of the brake pedal, the steering angle of the steering wheel, the engine speed, or the rotation speed of the wheels.
  • the drive system control unit 7100 performs arithmetic processing using the signal input from the vehicle state detection unit 7110, and controls the internal combustion engine, the drive motor, the electric power steering device, the brake device, etc.
  • the body system control unit 7200 controls the operation of various devices installed in the vehicle body according to various programs.
  • the body system control unit 7200 functions as a control device for a keyless entry system, a smart key system, a power window device, or various lamps such as headlamps, tail lamps, brake lamps, turn signals, and fog lamps.
  • radio waves or signals from various switches transmitted from a portable device that replaces a key can be input to the body system control unit 7200.
  • the body system control unit 7200 accepts the input of these radio waves or signals and controls the vehicle's door lock device, power window device, lamps, etc.
  • the battery control unit 7300 controls the secondary battery 7310, which is the power supply source for the drive motor, according to various programs. For example, information such as the battery temperature, battery output voltage, or remaining capacity of the battery is input to the battery control unit 7300 from a battery device equipped with the secondary battery 7310. The battery control unit 7300 performs calculations using these signals, and controls the temperature regulation of the secondary battery 7310 or a cooling device or the like equipped in the battery device.
  • the outside vehicle information detection unit 7400 detects information outside the vehicle equipped with the vehicle control system 7000.
  • the imaging unit 7410 and the outside vehicle information detection unit 7420 is connected to the outside vehicle information detection unit 7400.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside vehicle information detection unit 7420 includes at least one of an environmental sensor for detecting the current weather or climate, or a surrounding information detection sensor for detecting other vehicles, obstacles, pedestrians, etc., around the vehicle equipped with the vehicle control system 7000.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rain, a fog sensor that detects fog, a sunshine sensor that detects the level of sunlight, and a snow sensor that detects snowfall.
  • the surrounding information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 7410 and the outside vehicle information detection unit 7420 may each be provided as an independent sensor or device, or may be provided as a device in which multiple sensors or devices are integrated.
  • FIG. 16 shows an example of the installation positions of the imaging unit 7410 and the outside vehicle information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, and 7918 are provided, for example, at least one of the front nose, side mirrors, rear bumper, back door, and the upper part of the windshield inside the vehicle cabin of the vehicle 7900.
  • the imaging unit 7910 provided on the front nose and the imaging unit 7918 provided on the upper part of the windshield inside the vehicle cabin mainly obtain images of the front of the vehicle 7900.
  • the imaging units 7912 and 7914 provided on the side mirrors mainly obtain images of the sides of the vehicle 7900.
  • the imaging unit 7916 provided on the rear bumper or back door mainly obtains images of the rear of the vehicle 7900.
  • the imaging unit 7918, which is installed on the top of the windshield inside the vehicle is primarily used to detect preceding vehicles, pedestrians, obstacles, traffic signals, traffic signs, lanes, etc.
  • FIG. 16 shows an example of the imaging ranges of each of the imaging units 7910, 7912, 7914, and 7916.
  • Imaging range a indicates the imaging range of the imaging unit 7910 provided on the front nose
  • imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided on the side mirrors, respectively
  • imaging range d indicates the imaging range of the imaging unit 7916 provided on the rear bumper or back door.
  • an overhead image of the vehicle 7900 viewed from above is obtained by superimposing the image data captured by the imaging units 7910, 7912, 7914, and 7916.
  • External information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided on the front, rear, sides, corners, and upper part of the windshield inside the vehicle 7900 may be, for example, ultrasonic sensors or radar devices.
  • External information detection units 7920, 7926, and 7930 provided on the front nose, rear bumper, back door, and upper part of the windshield inside the vehicle 7900 may be, for example, LIDAR devices. These external information detection units 7920 to 7930 are mainly used to detect preceding vehicles, pedestrians, obstacles, etc.
  • the outside-vehicle information detection unit 7400 causes the imaging unit 7410 to capture an image outside the vehicle, and receives the captured image data.
  • the outside-vehicle information detection unit 7400 also receives detection information from the connected outside-vehicle information detection unit 7420. If the outside-vehicle information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device, the outside-vehicle information detection unit 7400 transmits ultrasonic waves or electromagnetic waves, and receives information on the received reflected waves.
  • the outside-vehicle information detection unit 7400 may perform object detection processing or distance detection processing for people, cars, obstacles, signs, or characters on the road surface, based on the received information.
  • the outside vehicle information detection unit 7400 may also perform image recognition processing or distance detection processing to recognize people, cars, obstacles, signs, or characters on the road surface based on the received image data.
  • the outside vehicle information detection unit 7400 may perform processing such as distortion correction or alignment on the received image data, and may also generate an overhead image or a panoramic image by synthesizing image data captured by different imaging units 7410.
  • the outside vehicle information detection unit 7400 may also perform viewpoint conversion processing using image data captured by different imaging units 7410.
  • the in-vehicle information detection unit 7500 detects information inside the vehicle.
  • a driver state detection unit 7510 that detects the state of the driver is connected to the in-vehicle information detection unit 7500.
  • the driver state detection unit 7510 may include a camera that captures an image of the driver, a biosensor that detects the driver's biometric information, or a microphone that collects sound inside the vehicle.
  • the biosensor is provided, for example, on the seat or steering wheel, and detects the biometric information of a passenger sitting in the seat or a driver gripping the steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, or may determine whether the driver is dozing off.
  • the in-vehicle information detection unit 7500 may perform processing such as noise canceling on the collected sound signal.
  • the integrated control unit 7600 controls the overall operation of the vehicle control system 7000 according to various programs.
  • the input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device that can be operated by the passenger, such as a touch panel, a button, a microphone, a switch, or a lever. Data obtained by voice recognition of a voice input by a microphone may be input to the integrated control unit 7600.
  • the input unit 7800 may be, for example, a remote control device using infrared or other radio waves, or an externally connected device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000.
  • PDA Personal Digital Assistant
  • the input unit 7800 may be, for example, a camera, in which case the passenger can input information by gestures. Alternatively, data obtained by detecting the movement of a wearable device worn by the passenger may be input. Furthermore, the input unit 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input unit 7800 and outputs the signal to the integrated control unit 7600. The passenger or the like operates the input unit 7800 to input various data to the vehicle control system 7000 and to instruct processing operations.
  • the memory unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, etc.
  • the memory unit 7690 may also be realized by a magnetic memory device such as a HDD (Hard Disc Drive), a semiconductor memory device, an optical memory device, or a magneto-optical memory device, etc.
  • the general-purpose communication I/F 7620 is a general-purpose communication I/F that mediates communication between various devices present in the external environment 7750.
  • the general-purpose communication I/F 7620 may implement cellular communication protocols such as GSM (registered trademark) (Global System of Mobile communications), WiMAX (registered trademark), LTE (registered trademark) (Long Term Evolution) or LTE-A (LTE-Advanced), or other wireless communication protocols such as wireless LAN (also called Wi-Fi (registered trademark)) and Bluetooth (registered trademark).
  • GSM Global System of Mobile communications
  • WiMAX registered trademark
  • LTE registered trademark
  • LTE-A Long Term Evolution
  • Bluetooth registered trademark
  • the general-purpose communication I/F 7620 may connect to devices (e.g., application servers or control servers) present on an external network (e.g., the Internet, a cloud network, or an operator-specific network) via, for example, a base station or an access point.
  • the general-purpose communication I/F 7620 may connect to a terminal located near the vehicle (e.g., a driver's, pedestrian's, or store's terminal, or an MTC (Machine Type Communication) terminal) using, for example, P2P (Peer To Peer) technology.
  • P2P Peer To Peer
  • the dedicated communication I/F 7630 is a communication I/F that supports a communication protocol developed for use in a vehicle.
  • the dedicated communication I/F 7630 may implement a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or a cellular communication protocol, which is a combination of the lower layer IEEE 802.11p and the higher layer IEEE 1609.
  • the dedicated communication I/F 7630 typically performs V2X communication, which is a concept that includes one or more of vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication.
  • the positioning unit 7640 performs positioning by receiving, for example, GNSS signals from GNSS (Global Navigation Satellite System) satellites (for example, GPS signals from GPS (Global Positioning System) satellites), and generates position information including the latitude, longitude, and altitude of the vehicle.
  • GNSS Global Navigation Satellite System
  • GPS Global Positioning System
  • the positioning unit 7640 may determine the current position by exchanging signals with a wireless access point, or may obtain position information from a terminal such as a mobile phone, PHS, or smartphone that has a positioning function.
  • the beacon receiver 7650 receives, for example, radio waves or electromagnetic waves transmitted from radio stations installed on the road, and acquires information such as the current location, congestion, road closures, and travel time.
  • the functions of the beacon receiver 7650 may be included in the dedicated communication I/F 7630 described above.
  • the in-vehicle device I/F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I/F 7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I/F 7660 may also establish a wired connection such as USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface), or MHL (Mobile High-definition Link) via a connection terminal (and a cable, if necessary) not shown.
  • USB Universal Serial Bus
  • HDMI High-Definition Multimedia Interface
  • MHL Mobile High-definition Link
  • the in-vehicle device 7760 may include, for example, at least one of a mobile device or wearable device owned by a passenger, or an information device carried into or attached to the vehicle.
  • the in-vehicle device 7760 may also include a navigation device that searches for a route to an arbitrary destination.
  • the in-vehicle device I/F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I/F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I/F 7680 transmits and receives signals in accordance with a specific protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 controls the vehicle control system 7000 according to various programs based on information acquired through at least one of the general-purpose communication I/F 7620, the dedicated communication I/F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I/F 7660, and the in-vehicle network I/F 7680.
  • the microcomputer 7610 may calculate the control target value of the driving force generating device, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and output a control command to the drive system control unit 7100.
  • the microcomputer 7610 may perform cooperative control for the purpose of realizing the functions of an ADAS (Advanced Driver Assistance System), including vehicle collision avoidance or impact mitigation, following driving based on the distance between vehicles, vehicle speed maintenance driving, vehicle collision warning, vehicle lane departure warning, etc.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 may control the driving force generating device, steering mechanism, braking device, etc. based on the acquired information about the surroundings of the vehicle, thereby performing cooperative control for the purpose of automatic driving, which allows the vehicle to travel autonomously without relying on the driver's operation.
  • the microcomputer 7610 may generate three-dimensional distance information between the vehicle and objects such as surrounding structures and people based on information acquired via at least one of the general-purpose communication I/F 7620, the dedicated communication I/F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle equipment I/F 7660, and the in-vehicle network I/F 7680, and may create local map information including information about the surroundings of the vehicle's current position.
  • the microcomputer 7610 may also predict dangers such as vehicle collisions, the approach of pedestrians, or entry into closed roads based on the acquired information, and generate warning signals.
  • the warning signals may be, for example, signals for generating warning sounds or turning on warning lights.
  • the audio/image output unit 7670 transmits at least one of audio and image output signals to an output device capable of visually or audibly notifying the vehicle occupants or the outside of the vehicle of information.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are illustrated as output devices.
  • the display unit 7720 may include, for example, at least one of an on-board display and a head-up display.
  • the display unit 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as glasses-type displays worn by the occupants, projectors, or lamps other than these devices.
  • the display device visually displays the results obtained by various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, graphs, etc. Also, if the output device is an audio output device, the audio output device converts an audio signal consisting of reproduced voice data or acoustic data, etc., into an analog signal and outputs it audibly.
  • At least two control units connected via the communication network 7010 may be integrated into one control unit.
  • each control unit may be composed of multiple control units.
  • the vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions performed by any control unit may be provided by another control unit.
  • a specified calculation process may be performed by any control unit.
  • a sensor or device connected to any control unit may be connected to another control unit, and multiple control units may transmit and receive detection information to each other via the communication network 7010.
  • a computer program for implementing each function of the solid-state imaging device 1 according to this embodiment described with reference to Figures 1 to 14, particularly the signal processing unit 16, can be implemented in any of the control units, etc.
  • a computer-readable recording medium on which such a computer program is stored can also be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, etc.
  • the above computer program may be distributed, for example, via a network, without using a recording medium.
  • An optical system A first pixel that acquires image information based on luminance information via the optical system; A second pixel that acquires event detection information based on a change in luminance information via the optical system.
  • a solid-state imaging device comprising:
  • the one or more pixel arrays are formed from a single pixel array;
  • the second pixels are arranged in a predetermined region of the pixel array at a predetermined ratio to the first pixels.
  • the predetermined area is the entire area of the pixel array.
  • the second pixels are arranged at equal intervals so as to cover the entire area of the predetermined region.
  • the second pixel detects an event in an arbiter manner.
  • a solid-state imaging device according to any one of (1) to (4).
  • the signal processing circuit performs distortion correction of the image information.
  • a solid-state imaging device according to any one of (1) to (6).
  • the signal processing circuit includes: converting the event detection information into a resolution of the image information; performing distortion correction of the converted event detection information; A solid-state imaging device according to (7).
  • the signal processing circuit includes: performing distortion correction of the event detection information based on a difference between a resolution of the event detection information and a resolution of the image information; A solid-state imaging device according to (7).
  • the signal processing circuit includes: Setting a region of interest based on the image information; obtaining the event detection information corresponding to the region of interest; A solid-state imaging device according to any one of (1) to (9).
  • the signal processing circuit includes: performing tracking based on the distortion-corrected event detection information corresponding to the region of interest; A solid-state imaging device according to (10).
  • the signal processing circuit includes: comparing a value obtained by correcting the distortion of the event detection information with a threshold value for the coordinates after the distortion correction, thereby acquiring the event detection information at the coordinates after the distortion correction; A solid-state imaging device according to any one of (1) to (11).
  • the one or more pixel arrays a first pixel array in which the first pixels are arranged in a two-dimensional array; a second pixel array, the second pixels being arranged in a two-dimensional array and configured to acquire the event detection information of the same target as that of the first pixel array; formed from A solid-state imaging device according to (1).
  • the optical system includes: a first optical system that focuses light onto the first pixel array; a second optical system that focuses light onto the second pixel array; Equipped with A solid-state imaging device according to (14).
  • the signal processing circuit includes: a first signal processing circuit that processes a signal output from the first pixel; a second signal processing circuit that processes a signal output from the second pixel; Equipped with A solid-state imaging device according to any one of (1) to (15).
  • the signal processing circuit includes: performing image processing based on the distortion-corrected image information and the distortion-corrected event detection information; A solid-state imaging device according to any one of (1) to (16).
  • the signal processing circuit includes: performing a deblur process based on the distortion-corrected image information and the distortion-corrected event detection information; A solid-state imaging device according to (17).
  • the signal processing circuit includes: performing a frame rate increasing process based on the distortion-corrected image information and the distortion-corrected event detection information; A solid-state imaging device according to (17) or (18).
  • the signal processing circuit includes: performing a tracking process based on the distortion-corrected image information and the distortion-corrected event detection information; A solid-state imaging device according to any one of (1) to (19).
  • 1 Solid-state imaging device
  • 10 Optical system
  • 12 Imaging unit
  • 120 pixel array
  • 121 1st pixel
  • 122 2nd pixel
  • 124 horizontal drive circuit
  • 126 vertical drive circuit
  • 128 Processing circuit
  • 14 memory unit
  • 16 Signal processing section
  • 18 Input/Output Interface 20: Chip
  • 200 pixel array area
  • 202 memory circuit area
  • 204 Processing circuit area
  • 31 first semiconductor layer
  • 32 second semiconductor layer
  • 33 Third semiconductor layer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

［課題］イベント検知画素の歪みを補正する。 ［解決手段］固体撮像装置は、光学系と、第1画素と、第2画素と、1又は複数の画素アレイと、信号処理回路と、を備える。前記第1画素は、前記光学系を介した輝度情報に基づいた画像情報を取得する。前記第2画素は、前記光学系を介した輝度情報の変化に基づいたイベント検知情報を取得する。前記1又は複数の画素アレイは、前記第1画素及び前記第2画素が2次元のアレイ状に備えられる。前記信号処理回路は、前記第2画素が取得した前記イベント検知情報について、歪み補正をするか否かを選択して信号処理を実行する。

Description

固体撮像装置
　本開示は、固体撮像装置に関する。
　カメラモジュールの半導体技術の向上にしたがい、カメラモジュールは、低背化、広角化が著しい速度で発展している。また、RGB情報といった色情報を取得する画素の他に、イベント検知をする画素をハイブリッドで画素アレイに配置し、同じ座標軸上においてイベント検知と、色情報の取得と、を並行して実現することが可能となっている。
　しかしながら、カメラモジュールにおいて2枚の異なるデータタイプが取得できるセンサについてディストーション補正についての議論がなされていない。すなわち、RGBといった色情報の画像においてはディストーション補正がされる一方で、イベント検知画素からの出力は、ディストーション補正されない。このため、同じ座標を表す点が、イベント検知画素と色情報を取得する画素とで位置が異なる可能性がある。
特表2022-521093号公報
　そこで、本開示の実施形態が解決しようとする限定されない課題の一つは、イベント検知画素の歪を補正することである。本開示の実施形態により解決しようとする課題は、さらに限定されないいくつかの例として、実施形態において記載した効果に対応する課題、とすることもできる。すなわち、本開示の実施形態の説明において記載された効果のうち任意の少なくとも1つに対応する課題を本開示における解決しようとする課題とすることができる。
　一実施形態によれば、固体撮像装置は、光学系と、第1画素と、第2画素と、1又は複数の画素アレイと、信号処理回路と、を備える。
　第1画素は、前記光学系を介した輝度情報に基づいた画像情報を取得する。
　第2画素は、前記光学系を介した輝度情報の変化に基づいたイベント検知情報を取得する。
　1又は複数の画素アレイには、前記第1画素及び前記第2画素が2次元のアレイ状に備えられる。
　信号処理回路は、前記第2画素が取得した前記イベント検知情報について、歪み補正をするか否かを選択して信号処理を実行する。
　前記1又は複数の画素アレイは、1つの画素アレイから形成されてもよく、
　前記第2画素は、前記画素アレイ内の所定領域において、前記第1画素に対して所定割合で配置されていてもよい。
　前記所定領域は、前記画素アレイの全領域であってもよい。
　前記第2画素は、前記所定領域の全域をカバーするように等間隔に配置されていてもよい。
　前記第2画素は、フレームごとにイベントを検知してもよい。
　前記第2画素は、アービタ方式でイベントを検知してもよい。
　前記信号処理回路は、前記画像情報の歪み補正を実行してもよい。
　前記信号処理回路は、
　　前記イベント検知情報を前記画像情報の解像度に変換してもよく、
　　変換した前記イベント検知情報の歪み補正を実行してもよい。
　前記信号処理回路は、
　　前記イベント検知情報の解像度と、前記画像情報の解像度と、の差異に基づいた前記イベント検知情報の歪み補正を実行してもよい。
　前記信号処理回路は、
　　前記画像情報に基づいて関心領域を設定してもよく、
　　前記関心領域に対応する前記イベント検知情報を取得してもよい。
　前記信号処理回路は、
　　前記関心領域に対応する歪み補正された前記イベント検知情報に基づいて、トラッキングを実行してもよい。
　前記信号処理回路は、
　　前記イベント検知情報を歪み補正した後の座標について、前記イベント検知情報を歪み補正した値としきい値を比較して、歪み補正をした後の前記座標におけるイベント検知情報を取得してもよい。
　前記信号処理回路は、
　　歪み補正をした後の前記座標におけるイベント検知情報を、 1.5 ビットの情報として格納してもよい。
　前記1又は複数の画素アレイは、
　　前記第1画素が2次元のアレイ状に配置される、第1画素アレイと、
　　前記第2画素が2次元のアレイ状に配置され、前記第1画素アレイと同じ対象の前記イベント検知情報を取得する、第2画素アレイと、
　から形成されてもよい。
　前記光学系は、
　　前記第1画素アレイに光を集光する、第1光学系と、
　　前記第2画素アレイに光を集光する、第2光学系と、
　を備えてもよい。
　前記信号処理回路は、
　　前記第1画素からの出力の信号処理をする、第1信号処理回路と、
　　前記第2画素からの出力の信号処理をする、第2信号処理回路と、
　を備えてもよい。
　前記信号処理回路は、
　　歪み補正した前記画像情報及び歪み補正した前記イベント検知情報に基づいて、画像処理を実行してもよい。
　前記信号処理回路は、
　　歪み補正した前記画像情報及び歪み補正した前記イベント検知情報に基づいて、デブラー処理をしてもよい。
　前記信号処理回路は、
　　歪み補正した前記画像情報及び歪み補正した前記イベント検知情報に基づいて、高フレームレート化処理をしてもよい。
　前記信号処理回路は、
　　歪み補正した前記画像情報及び歪み補正した前記イベント検知情報に基づいて、トラッキング処理をしてもよい。
一実施形態に係る固体撮像装置を模式的に示すブロック図。 一実施形態に係る撮像部を模式的に示すブロック図。 一実施形態に係る画素アレイにおける画素の配置の一例を示す図。 一実施形態に係る撮像部を模式的に示すブロック図。 一実施形態に係るデータの遷移の一例を示す図。 一実施形態に係る固体撮像装置の処理を示すフローチャート。 一実施形態に係る固体撮像装置の処理を示すフローチャート。 一実施形態に係る固体撮像装置の処理を示すフローチャート。 一実施形態に係る関心領域設定の一例を示す図。 一実施形態に係る固体撮像装置の処理を示すフローチャート。 一実施形態に係る固体撮像装置を模式的に示すブロック図。 一実施形態に係る固体撮像装置の基板を模式的に示す図。 一実施形態に係る固体撮像装置の基板を模式的に示す図。 一実施形態に係る固体撮像装置の基板を模式的に示す図。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、図面を参照して本開示における実施形態の説明をする。図面は、説明のために用いるものであり、実際の装置における各部の構成の形状、サイズ、又は、他の構成とのサイズの比等が図に示されている通りである必要はない。また、図面は、簡略化して書かれているため、図に書かれている以外にも実装上必要な構成は、適切に備えるものとする。
　(第1実施形態)
　図1は、一実施形態に係る固体撮像装置を模式的に示すブロック図である。固体撮像装置 1 は、光学系 10 と、撮像部 12 と、記憶部 14 と、信号処理部 16 と、入出力インタフェース (以下、入出力I/F 18 と記載する。) と、を備える。固体撮像装置 1 は、少なくとも輝度情報から画像情報を取得する第1画素と、輝度情報の変化からイベント検知情報を取得する第2画素と、を備え、画像情報を取得するとともに、当該画像内におけるイベント検知情報を併せて取得する装置である。
　光学系 10 は、撮像部 12 に適切に光を集光する光学系である。
　撮像部 12 は、第1画素及び第2画素を備え、画像情報及びイベント検知情報を取得する。撮像部 12 は、例えば、第1画素及び第2画素において同じ対象を含む領域の情報を取得する。
　記憶部 14 は、撮像部 12 が取得したデータ、又は、信号処理部 16 が処理中のデータ若しくは処理した後のデータを格納する。記憶部 14 は、例えば、各種メモリ又は各種ストレージ等の一時的又は非一時的にデータを格納する記憶回路を備えていてもよい。記憶部 14 の少なくとも一部は、固体撮像装置 1 の外部に備えられていてもよい。
　信号処理部 16 は、撮像部 12 が取得したデータについて、種々の処理を実行して出力する。この処理は、例えば、画素回路から出力されたアナログ信号をデジタル信号に変換する処理、デジタル信号から画素値を取得する処理、画像処理をする処理等を含むことができる。なお、上記の処理のうち少なくとも一部は、撮像部 12 の画素回路において実行されてもよい。
　信号処理部 16 は、ASIC (Application Specified Integrated Circuitry) 等の専用の処理回路、CPU (Central Processing Unit) 等の汎用の処理回路、又は、FPGA (Field Programmable Gate Array) 等のプログラマブルな回路をその少なくとも一部に備えていてもよい。信号処理部 16 の少なくとも一部が汎用回路で形成される場合、信号処理部 16 の当該少なくとも一部が実行する処理は、ソフトウェアによる情報処理がハードウェア資源を用いて具体的に実現される形態であってもよい。この場合、ソフトウェアに係るプログラム又は実行ファイル等が記憶部 14 に格納され、信号処理部 16 の汎用回路が記憶部 14 に格納されているプログラム等を取得して情報処理を実現することができる。
　入出力I/F 18 は、固体撮像装置 1 の内部と外部とを接続するインタフェースである。固体撮像装置 1 は、入出力I/F 18 から直接的又は間接的にユーザによる制御を受け付けることができる。また、固体撮像装置 1 は、入出力I/F 18 を介して内部及び外部とのデータの送受信を実現することができる。
　固体撮像装置 1 は、上記の構成の他、例えば、固体撮像装置 1 の各構成要素を制御するための制御部、及び、各構成要素に電力を供給するための電源部等が必要に応じて適切に備えられる。
　図2は、撮像部 12 の限定されない一例を模式的に示す図である。撮像部 12 は、一例として、画素アレイ 120 と、水平駆動回路 124 と、垂直駆動回路 126 と、処理回路 128 と、を備える。撮像部 12 は、画素アレイ 120 に配置される画素が取得した信号を適切に処理して出力する。
　画素アレイ 120 は、画素が2次元のアレイ状に配置されて形成される。画素アレイ 120 には、輝度情報を取得する第1画素と、輝度情報の変化を取得する第2画素と、が備えられる。
　図3は、画素アレイ 120 の画素の配置の一例を示す図である。画素アレイ 120 は、例えば、第1画素 121 と、第2画素 122 とが周期的に配置されて形成される。
　第1画素 121 は、輝度情報を取得する受光素子を備え、これらの受光素子は、それぞれに RGB のいずれかの色を取得する画素として構成されてもよい。色は、受光素子に備えられるカラーフィルタにより選択されてもよいし、受光素子が有機光電変換膜等を備えて形成されていてもよい。
　第2画素 122 は、輝度情報の変化をイベント検知情報として取得する受光素子を備える。
　図3に示すように、第1画素 121R 、 121G 、 121B と、第2画素 122 とが1まとまりとして画素群を形成し、画像座標系における同一の座標に対して、 RGB の色を示す信号を取得する第1画素 121 と、イベント情報を示す信号を取得する第2画素 122 とが周期的に配置されていてもよい。
　これらの受光素子は、同じ画素内において分割された受光素子で形成される分割画素として、すなわち、輝度情報を取得する第1分割画素と輝度情報の変化を取得する第2分割画素とのグループを1つの画素として形成される形態であってもよい。
　なお、画素の配置は、この図に限定されるものではなく、例えば、白を示す光を取得する第1画素 121W が備えられてもよいし、補色を示す光を示す第1画素 121Mg 、 121Cy 、 121Ye 等が備えられてもよい。また、第1画素 121 及び第2画素 122 のグループは、 2 × 2 画素ではなく、 2 × 3 画素、 3 × 3 画素等、他の数の画素から形成されていてもよい。すなわち、画素のグループにおいて、第1画素 121 に対して所定割合の第2画素 122 が適切に配置される形態であってもよい。
　また、図3においては、第2画素 122 が画素アレイ 120 の全域に亘って所定割合で配置されているが、本開示における形態は、これに限定されるものではない。第2画素 122 は、例えば、画素アレイ 120 の所定領域において配置される形態であってもよい。例えば、所定領域内における対象の動きを取得したい場合には、画像領域におけるこの所定領域内に第2画素 122 が備えられ、画素アレイ 120 のその他の領域には第2画素 122 が配置されない形態であってもよい。
　図2に戻り、水平駆動回路 124 及び垂直駆動回路 126 は、画素アレイ 120 内の第1画素 121 及び第2画素 122 を選択して駆動し、駆動した画素からの信号を処理回路 128 へと伝送する。例えば、水平駆動回路 124 が選択したラインにおいて、垂直駆動回路 126 がカラムにおける画素を駆動することで、選択され駆動している画素からの信号が処理回路 128 へと伝送される。
　処理回路 128 は、受信した信号に適切な処理をして、記憶部 14 又は信号処理部 16 へと出力する。なお、この処理回路 128 は、撮像部 12 ではなく、信号処理部 16 の一部として形成されていてもよい。例えば、画素アレイ 120 から出力される信号がアナログ信号であり、このアナログ信号をデジタル信号に変換するADC (Analog to Digital Converter) が処理回路 128 として備えられる場合、このADCは、撮像部 12 の一部として備えられてもよいし、信号処理部 16 の一部として備えられてもよい。
　水平駆動回路 124 は、1つしか示されていないが、第1画素 121 を選択する水平駆動回路と、第2画素 122 を選択する水平駆動回路と、がそれぞれ備えられていてもよい。垂直駆動回路 126 も同様に、第1画素 121 のカラムを選択する垂直駆動回路と、第2画素 122 のカラムを選択する垂直駆動回路と、がそれぞれ備えられていてもよい。
　同様に、処理回路 128 も、第1画素 121 からの信号を受信して処理する処理回路と、第2画素 122 からの信号を受信して処理する処理回路と、がそれぞれ備えられていてもよい。
　このように、撮像部 12 は、画素アレイ 120 を形成する第1画素 121 及び第2画素 122 をフレームごとの処理により駆動して画像情報及びイベント検知情報を取得することができる。すなわち、撮像部 12 は、フレーム画像として画像情報と、イベント検知情報を取得することができる。
　一方で、第1画素 121 からの信号は、フレームごとに取得し、第2画素 122 からの信号は、イベントを検知したタイミングで取得する形態であってもよい。
　図４は、一実施形態に係る撮像部の別の例を模式的に示すブロック図である。この図4に示すように、第2画素 122 からの出力は、水平アービタ 130 及び垂直アービタ 132 により処理されてもよい。第2画素 122 からの信号がたどる経路の一例として、点線で示す経路が示されている。
　このように、撮像部 12 は、第1画素 121 からの信号をフレーム画像として処理する一方で、第2画素 122 からの出力は、第2画素 122 においてイベントを検知したタイミングで取得できる形態であってもよい。
　図2又は図4の形態において撮像部 12 から出力された画像情報及びイベント検知情報は、信号処理部 16 において処理される。光学系 100 を介して取得した光は、一般的に光学系 100 に起因する収差が発生する。画像として大きな誤差として発生しうる収差として、歪曲収差がある。本開示においては、この歪曲収差を補正することについて説明するが、これ以外の収差にも所謂画像、信号処理で位置の補正が可能となる処理については、同様の処理を実行することが可能である。
　信号処理部 16 は、第1画素 121 から取得した画像情報の歪曲収差を補正する信号処理を実行する。また、信号処理部 16 は、第2画素 122 から取得したイベント検知情報の歪曲収差を第1画素 121 から取得した画像情報の補正と同様に補正する信号処理を選択的に実行してもよい。この選択は、常にイベント検知情報の歪み補正をする設定であってもよいし、ユーザによってオンオフの切替ができる設定であってもよい。また、固体撮像装置 1 が状況を判別し、イベント検知情報の歪み補正をするか否かを決定する形態であってもよい。
　この信号処理部 16 の処理について詳しく説明する。
　図5は、固体撮像装置 1 における受光からデータ処理の一連の流れを模式的に示す図である。固体撮像装置 1 は、画素アレイ 120 に備えられる第1画素 121 及び第2画素 122 の出力する信号に基づいて、それぞれ画像情報に関する処理と、イベント検知情報に関する処理とを実行する。
　信号処理部 16 (その一部の処理が撮像部 12 で実現されてもよい) は、例えば、第1画素 121 が取得したアナログ信号をデジタル信号に変換し、第2画素 122 の位置における欠陥を補間することができる。その後、信号処理部 16 は、デモザイク処理、カラーマトリクス処理等を実行することで、色ごとの画像情報を取得する。必要に応じて、信号処理部 16 は、これらの画像情報に対して歪み補正を実行する。
　一方で、信号処理部 16 は、第2画素 122 から出力された信号を並行して処理する。図において、○は、正方向のイベント情報を示し、×は、負方向のイベント情報を示す。
　第2画素 122 の出力がアービタ方式で取得される場合には、信号処理部 16 は、第1画素 121 を介して画像情報を取得するフレームと同じタイミングであるフレーム形式のデータ (イベントグリッド) に変換してもよい。第2画素 122 の出力が破線矢印で示すようにフレーム方式で取得される場合には、信号処理部 16 は、フレームごとに取得したデータをイベント検知情報 (イベントグリッド) とすることができる。
　また、点線矢印で示すように信号処理部 16 は、イベントグリッドを生成することなくアービタ方式で取得されたイベント検知情報における正方向のイベントであるか又は負方向のイベントであるかを判定する信号の座標情報を次の段階において処理をしてもよい。
　信号処理部 16 は、フレーム方式のイベント検知情報、又は、アービタ方式のイベント検知情報を、必要に応じて歪み補正する。
　信号処理部 16 は、例えば、以下の式に基づいて画像情報又はイベント検知情報の歪み補正を実現することができる。
Figure JPOXMLDOC01-appb-M000001
　ここで、 (x1, y1) は、歪み補正後の画像座標であり、 (x2, y2) は、歪み補正前の画像座標である。 (x1, y1) は、さらに、世界座標から外部パラメータを用いてカメラ座標に変換後に内部パラメータを用いて画像座標に変換された座標系における座標であってもよい。 k1, k2 は、レンズの半径方向の歪み係数であり、 p1, p2 は、レンズの円周方向の歪み係数である。なお、歪みは、樽型の歪みであってもよいし、糸巻き型の歪みであってもよいし、これらが組み合わされた歪みであってもよい。
　その後、信号処理部 16 は、歪み補正された、若しくは、歪み補正されていない画像情報と、歪み補正された、若しくは、歪み補正されていないイベント検知情報と、を用いた適切な信号処理を実行する。この信号処理は、例えば、SNN (Spiking Neural Network) を用いた処理であってもよい。SNNを用いた処理に限られず、信号処理部 16 は、必要に応じて歪み補正されたイベント検知情報を用いての画像情報の適切な処理を実行することができる。
　以上のように、本実施形態によれば、固体撮像装置 1 は、必要に応じて取得したイベント検知情報の歪み補正を含む信号処理を実現することができる。イベント検知情報を歪み補正することにより、画像情報における座標情報において、同じ座標系を用いたイベント検知情報を付加した信号処理、画像処理を実現することが可能となる。
　(第2実施形態)
　上記の実施形態においては、固体撮像装置 1 の全体的な流れについて説明した。第2実施形態では、取得したイベント検知情報の歪み処理について詳しく説明する。
　図6は、一実施形態に係る固体撮像装置 1 の処理を示すフローチャートである。このフローチャートは、イベント検知情報の処理において、float演算 (浮動小数点演算) が可能な場合の流れを示す。また、固定小数点により処理可能である場合にも、以下のフローチャートは、対応することが可能である。
　固体撮像装置 1 は、撮像部 12 において撮像領域における種々の対象からの反射光、透過光、又は、射出光に関する情報を、画素アレイ 120 における第1画素 121 及び第2画素 122 により取得する (S100) 。
　信号処理部 16 は、取得された第1画素 121 からの出力を適切に前処理する (S102) 。この前処理は、上述したように、アナログ信号からデジタル信号への変換、欠陥補正、デモザイク、カラーマトリクス処理等を含んでもよい。なお、一部の処理は、撮像部 12 が実行して、信号処理部 16 へと処理した後のデータを送信する形態であってもよい。
　信号処理部 16 は、ユーザから指定され、又は、固体撮像装置 1 により指定された、歪み補正をする設定となっているか、歪み補正をしない設定となっているかを判定する (S104) 。歪み補正をする設定は、ユーザにより指定されてもよいし、固体撮像装置 1 が映像信号の情報等に基づいて判定し、指定されてもよい。
　歪み補正をする設定である場合 (S104: YES) 、信号処理部 16 は、前処理された画像情報を歪み補正することで、輝度情報から取得された画像の歪み補正を実行する (S106) 。歪み補正は、例えば、上記の式(1)から式(3)に基づいて実行される。
　一方で、イベント検知情報についても信号処理が実行される。信号処理部 16 は、取得された第2画素 122 からの出力を適切に前処理する (S108) 。この前処理は、例えば、アービタ形式で取得された情報をフレームごとのイベントグリッドに変換する処理を含んでもよい。
　信号処理部 16 は、ユーザから指定され、又は、固体撮像装置 1 により指定された、歪み補正をする設定となっているか、歪み補正をしない設定となっているかを判定する (S110) 。歪み補正をする設定は、ユーザにより指定されてもよいし、固体撮像装置 1 が映像信号の情報等に基づいて判定し、指定されてもよい。また、画像情報を歪み補正する場合には、信号処理部 16 は、自動的にイベント検知信号の歪み補正をする設定とすることもできる。
　歪み補正をする設定である場合 (S110: YES) 、信号処理部 16 は、前処理されたイベント検知信号を歪み補正することで、輝度の変化情報から取得されたイベント検知情報の歪み補正を実行する (S112) 。
　図7は、一実施形態に係る上記の S112 の処理の一例を示すフローチャートである。
　信号処理部 16 は、イベント検知情報のリサイズをするか否かを判定する (S1120) 。リサイズの判定は、あらかじめ設定されていてもよく、この場合、設定に応じて S1120 の処理を介さずに以下の S1122 の処理か、 S1126 の処理かをソフトウェア実装又はハードウェア実装により実行することもできる。
　リサイズをする場合 (S1120: YES) 、信号処理部 16 は、イベント検知情報として前処理されたデータを、画像情報における座標と一致するように解像度を合わせる処理を実行する。解像度の変換は、一般的な手法を用いることができる。この解像度の変換により、画像情報と同じ座標系上に、イベント検知情報を同じスケールで配置することができる。イベント検知情報は、浮動小数点表示となってもよい。
　信号処理部 16 は、解像度変換をしたイベント検知情報に対して、歪み補正を実行する (S1124) 。信号処理部 16 は、画像情報と共通した係数を有する式(1)から式(3)にしたがって、この歪み補正を実行することができる。この場合、信号処理部 16 は、高解像度のイベント検知情報を用いて画像情報と同じ座標系における歪み補正したイベント検知情報を取得することができる。
　このように、信号処理部 16 は、イベント検知情報を、画像情報の解像度に変換して、変換したイベント検知情報の歪み補正を実行することができる。
　リサイズをしない場合 (S1120: NO) 、信号処理部 16 は、イベント検知情報についてスケーリングを考慮した歪み補正を実行する (S1126) 。信号処理部 16 は、例えば、歪み補正前の画像座標を (x’2， y’2) とし、以下の変換式によりスケーリングした座標 (x2， y2) に対して、式(1)から式(3)を適用することができる。なお、歪み係数は、上記と同様に画像情報の歪み補正と同じものを用いることができる。
Figure JPOXMLDOC01-appb-M000002
　この場合も、イベント検知情報は、浮動小数点表示であってもよい。
　このように、信号処理部 16 は、イベント検知情報の解像度と、画像情報の解像度と、の差異に基づいたスケーリングを考慮した歪み補正を実行することができる。例えば、式(4)、式(5)のNは、前述した所定割合に基づいて決定することができる。
　図6に戻り、歪み補正をした後、又は、歪み補正をしない設定である場合 (S104: NO 、 S110: NO)、信号処理部 16 は、取得した画像情報及びイベント検知情報に基づいて任意の後処理を実行することができる (S114) 。後処理は、例えば、上述したSNN等の処理であってもよいし、他の学習済みモデルを用いた処理であってもよいし、又は、学習済みモデルを用いない任意の処理であってもよい。
　画像情報及びイベント検知情報の双方が歪み補正されている場合には、これらの歪み補正をされた情報に基づいて、イベント検知情報の座標が画像情報の座標と一致させた上で、SNN等各種学習済みモデルを用いた処理、トラッキング処理等を実現することができる。
　信号処理部 16 は、後処理を実行した後のデータを適切に出力することができる (S116) 。この出力は、入出力I/F 18 を介して固体撮像装置 1 の外部へと出力する形態であってもよいし、記憶部 14 にデータを格納する形態であってもよい。
　以上のように、本実施形態によれば、イベント検知情報を適切に歪み補正し、かつ、画像情報の座標とより精度よく一致させた処理を実行することが可能となる。
　(第3実施形態)
　前述の実施形態においては、イベント検知情報を浮動小数点で表すことが可能である場合について説明したが、場合によっては浮動小数点で表すことができないこともある。また、浮動小数点で表示できる場合であっても、その後の処理においてイベント検知情報のフラグのみを取得したいこともある。このような場合には、第2実施形態のように浮動小数点で演算を実行すると、時間的及び演算的なコスト等の問題が発生する可能性がある。第3実施形態においては、このような浮動小数点演算を省略することが可能な実装について説明する。
　信号処理部 16 は、例えば、信号処理部 16 における物体検知等の処理により、又は、ユーザの指定により、画像上に関心領域を設定することができる。信号処理部 16 は、この関心領域に対するイベント検知を実現することができる。
　図8は、一実施形態に係る固体撮像装置 1 の処理を示すフローチャートである。
　信号処理部 16 は、画像情報において、関心領域を設定する (S200) 。信号処理部 16 は、ユーザが入出力I/F 18 を介して指定した領域を関心領域としてもよい。信号処理部 16 は、ユーザが入出力I/F 18 を介して指定した対象を含む領域を関心領域としてもよい。また、信号処理部 16 は、任意の処理により対象を検出し、この検出結果に基づいて関心領域をすることもできる。
　信号処理部 16 は、画像情報における関心領域に対して逆歪み補正をすることで、歪み補正をしていないイベント検知情報の座標系における関心領域を取得することができる (S202) 。なお、この逆歪み補正のタイミングにおいて、信号処理部 16 は、必要に応じて、前述の第2実施形態で説明したリサイズ、スケーリングを考慮した座標の変換をすることもできる。
　この結果に基づいて、信号処理部 16 は、イベント検知情報における関心領域を取得する (S204) 。
　このように、固体撮像装置 1 は、歪み補正された画像における関心領域を歪み補正をしていないイベント検知情報における関心領域に変換することも可能である。
　図9は、一実施形態に係る関心領域設定の一例を示す図である。例えば、固体撮像装置 1 は、対象として人物を含む映像情報又は時系列に連続した画像情報を取得する。信号処理部 16 は、歪み補正された画像に対して自動的に目の領域を抽出し、関心領域 ROIi を設定する。別の例として、ユーザが画像内の任意の位置を指定し、この指定に基づいて信号処理部 16 が関心領域 ROIi を設定してもよい。
　信号処理部 16 は、この関心領域 ROIi を逆歪み変換することで、歪み補正していないイベント検知情報における座標系の関心領域 ROIe の情報を取得することができる。なお、図においては関心領域 ROIe が矩形で示されているが、これに限定されず、樽型若しくは糸巻き型又はこれらの複合として歪みがある場合には、この歪みの形状に応じた関心領域 ROIe の情報を取得することもできる。
　信号処理部 16 は、イベント検知情報の座標系 (歪み補正されていない) において、関心領域 ROIe 及び関心領域 ROIe の周辺のイベント情報を取得することで、画像において設定された関心領域 ROIi 内に含まれる対象のトラッキングを実行することができる。
　図10は、上記のトラッキングの例における処理の一例を示すフローチャートである。
　信号処理部 16 は、トラッキングをするか否かを判定する (S300) 。トラッキングの有無は、ユーザにより指定されてもよいし、固体撮像装置 1 が自動的に指定してもよい。トラッキングをしない場合 (S300: NO) 、以下の処理をしなくてもよいし、この S300 の判定の待機状態へと遷移してもよい。
　トラッキングをする場合 (S300: YES) 、信号処理部 16 は、図8における S200 から S204 の処理により、歪み補正をしていないイベント検知情報の座標における関心領域を取得する。
　信号処理部 16 は、イベント検知情報を用いてトラッキングを開始する (S302) 。以下の処理において、信号処理部 16 は、例えば、図9における関心領域 ROIe についてのトラッキングを実行する。
　信号処理部 16 は、関心領域 ROIe 内及びその周辺においてイベント情報を検出し、関心領域 ROIe における輝度情報の変化から、前フレームから現フレームへの移動量を算出する (S304) 。信号処理部 16 は、例えば、図9における左下のイベント検知情報から、右下のイベント検知情報への関心領域 ROIe のトラッキングをし、移動量又は移動した先の座標 (歪みあり) を取得する。
　信号処理部 16 は、歪み補正前の画像情報について、イベント検知情報から取得した関心領域 ROIe と同じ領域 (リサイズ、スケーリングをしている場合には、これらを考慮した同じ領域) を関心領域として設定し、この関心領域を含んだ画像情報を歪み補正することで、画像におけるトラッキングを実行する (S306) 。この結果、信号処理部 16 は、図9の右上に示すような歪み補正された座標系における関心領域 ROIi を取得することができる。
　信号処理部 16 は、トラッキングが終了するまで (S308: NO) 、 S304 、 S306 の処理を継続する。トラッキングの終了は、例えば、撮影が終わった、ユーザがトラッキングの終了を指令した、等の状況に応じて判定することができる。
　以上のように、イベント検知情報における浮動小数点演算をすることなく、画像情報における関心領域を設定し、設定した関心領域における処理を実現することが可能となる。例えばアービタ形式である場合、イベント検知情報は、輝度情報 (画像情報) の取得よりも高速に取得することができ、かつ、輝度情報よりも計算コストを下げることができる。このため、画像情報を用いた処理よりも高速なトラッキング等のイベント検知に関する処理を実現することが可能となる。
　固体撮像装置 1 は、例えば、アイトラッキングを用いたオートフォーカス処理等に上記の実装をすることができる。すなわち、固体撮像装置 1 は、例えば、イベント検知情報に基づいてアイトラッキングを実行し、画像情報において取得した関心領域における焦点が合うように光学系を制御した画像を取得してもよい。また、これに限定されるものではなく、イベント検知情報をより高速に取得して、画像情報のフレームに対して適用するための処理を実現することが可能となる。
　(第4実施形態)
　前述したように、イベント検知情報を取得した後の処理がその結果をSNNの入力にする等、浮動小数点演算に対応しないことがある。このような場合には、歪み補正をした後に取得したデータを浮動小数点表示で出力しない形態を用いることができる。
　信号処理部 16 は、例えば、歪み補正後に結果を浮動小数点にならないように制御して出力する。一例として、信号処理部 16 は、歪み補正後に、イベント検知情報の座標を最近傍の (x, y) 座標を選択して、当該座標 (x, y) におけるイベント検知情報の変換後の値を取得し、この取得した値と、しきい値と、を比較して座標 (x, y) におけるイベント検知結果としてもよい。
　信号処理部 16 は、歪み補正後の座標 (x, y) におけるイベント検知した値が所定の正のしきい値以上であれば正のイベントが発生したとし、所定の負のしきい値以下であれば負のイベントが発生したとし、それ以外であればイベントが発生してないと判定してもよい。
　信号処理部 16 は、この結果を 1.5 ビットの結果として出力することもできる。
　以上のように、信号処理部 16 は、浮動小数点で取得した結果を 1.5 ビットのデータに変換して出力することができる。このようなデータに変換することで、出力したデータを用いる際に、出力したデータをそのままの形で用いることが可能となる。
　(第5実施形態)
　前述のそれぞれの実施形態においては、同一の画素アレイ 120 に第1画素 121 と第2画素 122 とが配置されるハイブリッドな画素を備える形態について説明した。本開示における実施形態は、これに限定されるものではなく、所謂センサフュージョンの形態であってもよい。
　図11は、一実施形態に係る固体撮像装置を模式的に示すブロック図である。固体撮像装置 1 は、光学系として第1光学系 10A と第2光学系 10B を、撮像部として第1撮像部 12A と第2撮像部 12B を備える。
　第1撮像部 12A は、輝度情報を取得する第1画素 121 が2次元のアレイ状に配置される第1画素アレイを備える。第1光学系 10A は、第1画素アレイに光が集光するように設定される。
　第2撮像部 12B は、輝度の変化情報を取得する第2画素 121 が2次元のアレイ状に配置される第2画素アレイを備える。第2光学系 10B は、第2画素アレイに光が集光するように設定される。
　信号処理部 16 は、例えば、第2画素アレイにおいて取得したイベント検知情報を第1画素アレイにおいて取得した画像情報に適合させる処理をすることができる。この処理により、信号処理部 16 は、イベント検知情報の座標を、歪み補正前又は歪み補正後において画像情報の座標と一致させた処理を実現することができる。
　このように、センサフュージョンの形態においても、前述の固体撮像装置 1 と同様の処理を実現することが可能である。この形態により、2つの撮像系を備えてイベント検知と画像取得を実行している既存のデバイスにおいても、信号処理部 16 の処理を変更することにより、イベント検知情報の歪み補正を実現することができる。
　なお、固体撮像装置 1 は、図11の形態に限定されるものではない。固体撮像装置 1 は、例えば、第1撮像部 12A 及び第2撮像部 12B に対して、1つの光学系を有する形態であってもよい。
　これらの場合、必要に応じて歪み係数は、それぞれの画素アレイに対して設定されてもよい。
　また、固体撮像装置 1 は、例えば、第1撮像部 12A からの信号を処理する第1信号処理部と、第2撮像部 12B からの信号を処理する第2信号処理部とを備える形態であってもよい。この場合、第1信号処理部と第2信号処理部とは、必要に応じてデータを共有することができる形態であってもよい。
　いずれの場合においても、それぞれの撮像部は、別の半導体チップにそれぞれが形成されていてもよいし、同一の半導体チップ上に形成されていてもよい。
　(第6実施形態)
　前述の各実施形態では、例えば、トラッキングをする形態について説明したが、これに限定されるものではない。固体撮像装置 1 は、例えば、歪み補正した画像情報及び歪み補正したイベント検知情報に基づいて、デブラー処理、オプティカルフロー処理、モーションブラー除去処理等を実現することができる。
　また、前述の実施形態において関心領域に対する例としてあげた、トラッキング処理を実現することももちろん可能である。
　固体撮像装置 1 は、上記のブラー補正、トラッキング処理の他、歪み補正を実行したイベント検知情報を用いて画像情報に対して任意の画像処理を実行することができる。限定されない他の例として、固体撮像装置 1 は、歪み補正を実行したイベント検知情報を用いた画像情報の高フレームレート化等を実現することもできる。
　図12は、固体撮像装置 1 内にあるチップ 20 の実装例である。チップ 20 は、画素アレイ領域 200 、記憶回路領域 202 、及び、処理回路領域 204 と、を同一の半導体基板 30 に備える。このように、1つの半導体基板 30 に、画素アレイ領域 200 と、記憶回路領域 202 と、処理回路領域 204 と、が備えられてもよい。各部は、適切な導線等により接続される。
　画素アレイ領域 200 は、画素アレイ 120 が配置される領域である。記憶回路領域 202 は、記憶部 14 の少なくとも一部が配置される領域である。処理回路領域 204 は、少なくとも信号処理部 16 が配置される領域である。
　図13は、上記の別の実装例である。チップ 20 は、異なる半導体層である第1半導体層 31 と、第2半導体層 32 に実装されてもよい。第1半導体層 31 には、画素アレイ領域 200 が備えられ、第2半導体層 32 には、記憶回路領域 202 と、処理回路領域 204 と、が備えられる。第1半導体層 31 及び第2半導体層 32 は、積層されて一体の半導体装置として形成され、動作する。例えば、第1半導体層 31 が第2半導体層 32 よりも光学系 100 に近く配置され、光学系 100 を介した光を第1半導体層 31 において受光し、第2半導体層 32 に信号が出力される。
　図14は、上記とは別の実装例である。チップ 20 は、異なる半導体層である第1半導体層 31 と、第2半導体層 32 と、第3半導体層 33 と、に実装されてもよい。第1半導体層 31 には、画素アレイ領域 200 が備えられ、第2半導体層 32 には、記憶回路領域 202 が備えられ、第3半導体層 33 には、処理回路領域 204 が備えられる。第1半導体層 31 、第2半導体層 32 及び第3半導体層 33 は、積層されて一体の半導体装置として形成され、動作する。例えば、第1半導体層 31 が光学系 100 に最も近く配置され、光学系 100 を介した光を第1半導体層 31 において受光し、第2半導体層 32 及び第3半導体層 33 の少なくとも一方に信号が出力される。
　図3、図4に示す形態の場合、半導体層は、例えば、ウェハから切り出して個片化した後に上下に重ねて貼り合わされるCoC (Chip on Chip) 方式を採用してもよい。また、いずれか1つの層を切り出して個片化した後にウェハと貼り合わされるCoW (Chip on Wafer) 方式を採用してもよい。あるいは、それぞれのウェア同士を貼り合わせてから個片化するWoW (Wafer on Wafer) 方式を採用してもよい。
　半導体層同士の接合には、限定されない例として、ビアホール、マイクロバンプ、マイクロパッド、プラズマ接合等を用いることができる。このような手法により、適切にそれぞれの半導体層は、電気的に接続され、信号を送受信可能に形成される。
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図15は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図15に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図15では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図16は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図16には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図15に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図15の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図15に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　なお、図1から図14を用いて説明した本実施形態に係る固体撮像装置 1 、特に、信号処理部 16 の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　前述した実施形態は、以下のような形態としてもよい。
　(1)
　光学系と、
　前記光学系を介した輝度情報に基づいた画像情報を取得する、第1画素と、
　前記光学系を介した輝度情報の変化に基づいたイベント検知情報を取得する、第2画素と、
　前記第1画素及び前記第2画素が2次元のアレイ状に備えられる、1又は複数の画素アレイと、
　前記第2画素が取得した前記イベント検知情報について、歪み補正をするか否かを選択して信号処理を実行する、信号処理回路と、
　を備える、固体撮像装置。
　(2)
　前記1又は複数の画素アレイは、1つの画素アレイから形成され、
　前記第2画素は、前記画素アレイ内の所定領域において、前記第1画素に対して所定割合で配置されている、
　(1)に記載の固体撮像装置。
　(3)
　前記所定領域は、前記画素アレイの全領域である、
　(2)に記載の固体撮像装置。
　(4)
　前記第2画素は、前記所定領域の全域をカバーするように等間隔に配置されている、
　(2)又は(3)に記載の固体撮像装置。
　(5)
　前記第2画素は、フレームごとにイベントを検知する、
　(1)から(4)のいずれかに記載の固体撮像装置。
　(6)
　前記第2画素は、アービタ方式でイベントを検知する、
　(1)から(4)のいずれかに記載の固体撮像装置。
　(7)
　前記信号処理回路は、前記画像情報の歪み補正を実行する、
　(1)から(6)のいずれかに記載の固体撮像装置。
　(8)
　前記信号処理回路は、
　　前記イベント検知情報を前記画像情報の解像度に変換し、
　　変換した前記イベント検知情報の歪み補正を実行する、
　(7)に記載の固体撮像装置。
　(9)
　前記信号処理回路は、
　　前記イベント検知情報の解像度と、前記画像情報の解像度と、の差異に基づいた前記イベント検知情報の歪み補正を実行する、
　(7)に記載の固体撮像装置。
　(10)
　前記信号処理回路は、
　　前記画像情報に基づいて関心領域を設定し、
　　前記関心領域に対応する前記イベント検知情報を取得する、
　(1)から(9)のいずれかに記載の固体撮像装置。
　(11)
　前記信号処理回路は、
　　前記関心領域に対応する歪み補正された前記イベント検知情報に基づいて、トラッキングを実行する、
　(10)に記載の固体撮像装置。
　(12)
　前記信号処理回路は、
　　前記イベント検知情報を歪み補正した後の座標について、前記イベント検知情報を歪み補正した値としきい値を比較して、歪み補正をした後の前記座標におけるイベント検知情報を取得する、
　(1)から(11)のいずれかに記載の固体撮像装置。
　(13)
　前記信号処理回路は、
　　歪み補正をした後の前記座標におけるイベント検知情報を、 1.5 ビットの情報として格納する、
　(12)に記載の固体撮像装置。
　(14)
　前記1又は複数の画素アレイは、
　　前記第1画素が2次元のアレイ状に配置される、第1画素アレイと、
　　前記第2画素が2次元のアレイ状に配置され、前記第1画素アレイと同じ対象の前記イベント検知情報を取得する、第2画素アレイと、
　から形成される、
　(1)に記載の固体撮像装置。
　(15)
　前記光学系は、
　　前記第1画素アレイに光を集光する、第1光学系と、
　　前記第2画素アレイに光を集光する、第2光学系と、
　を備える、
　(14)に記載の固体撮像装置。
　(16)
　前記信号処理回路は、
　　前記第1画素からの出力の信号処理をする、第1信号処理回路と、
　　前記第2画素からの出力の信号処理をする、第2信号処理回路と、
　を備える、
　(1)から(15)のいずれかに記載の固体撮像装置。
　(17)
　前記信号処理回路は、
　　歪み補正した前記画像情報及び歪み補正した前記イベント検知情報に基づいて、画像処理を実行する、
　(1)から(16)のいずれかに記載の固体撮像装置。
　(18)
　前記信号処理回路は、
　　歪み補正した前記画像情報及び歪み補正した前記イベント検知情報に基づいて、デブラー処理をする、
　(17)に記載の固体撮像装置。
　(19)
　前記信号処理回路は、
　　歪み補正した前記画像情報及び歪み補正した前記イベント検知情報に基づいて、高フレームレート化処理をする、
　(17)又は(18)に記載の固体撮像装置。
　(20)
　前記信号処理回路は、
　　歪み補正した前記画像情報及び歪み補正した前記イベント検知情報に基づいて、トラッキング処理をする、
　(1)から(19)のいずれかに記載の固体撮像装置。
　本開示の態様は、前述した実施形態に限定されるものではなく、想到しうる種々の変形も含むものであり、本開示の効果も前述の内容に限定されるものではない。各実施形態における構成要素は、適切に組み合わされて適用されてもよい。すなわち、特許請求の範囲に規定された内容及びその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更及び部分的削除が可能である。
　1: 固体撮像装置、
　 10: 光学系、
　 12: 撮像部、
　  120: 画素アレイ、
　   121: 第1画素、
　   122: 第2画素、
　  124: 水平駆動回路、
　  126: 垂直駆動回路、
　  128: 処理回路、
　 14: 記憶部、
　 16: 信号処理部、
　 18: 入出力I/F
　 20: チップ、
　  200: 画素アレイ領域、
　  202: 記憶回路領域、
　  204: 処理回路領域、
　  31: 第1半導体層、
　  32: 第2半導体層、
　  33: 第3半導体層

Claims (19)

  1. 　光学系と、
    　前記光学系を介した輝度情報に基づいた画像情報を取得する、第1画素と、
    　前記光学系を介した輝度情報の変化に基づいたイベント検知情報を取得する、第2画素と、
    　前記第1画素及び前記第2画素が2次元のアレイ状に備えられる、1又は複数の画素アレイと、
    　前記第2画素が取得した前記イベント検知情報について、歪み補正をするか否かを選択して信号処理を実行する、信号処理回路と、
    　を備える、固体撮像装置。
  2. 　前記1又は複数の画素アレイは、1つの画素アレイから形成され、
    　前記第2画素は、前記画素アレイ内の所定領域において、前記第1画素に対して所定割合で配置されている、
    　請求項1に記載の固体撮像装置。
  3. 　前記所定領域は、前記画素アレイの全領域である、
    　請求項2に記載の固体撮像装置。
  4. 　前記第2画素は、前記所定領域の全域をカバーするように等間隔に配置されている、
    　請求項2に記載の固体撮像装置。
  5. 　前記第2画素は、フレームごとにイベントを検知する、
    　請求項1に記載の固体撮像装置。
  6. 　前記第2画素は、アービタ方式でイベントを検知する、
    　請求項1に記載の固体撮像装置。
  7. 　前記信号処理回路は、前記画像情報の歪み補正を実行する、
    　請求項1に記載の固体撮像装置。
  8. 　前記信号処理回路は、
    　　前記イベント検知情報を前記画像情報の解像度に変換し、
    　　変換した前記イベント検知情報の歪み補正を実行する、
    　請求項7に記載の固体撮像装置。
  9. 　前記信号処理回路は、
    　　前記イベント検知情報の解像度と、前記画像情報の解像度と、の差異に基づいた前記イベント検知情報の歪み補正を実行する、
    　請求項7に記載の固体撮像装置。
  10. 　前記信号処理回路は、
    　　前記画像情報に基づいて関心領域を設定し、
    　　前記関心領域に対応する前記イベント検知情報を取得する、
    　請求項1に記載の固体撮像装置。
  11. 　前記信号処理回路は、
    　　前記関心領域に対応する歪み補正された前記イベント検知情報に基づいて、トラッキングを実行する、
    　請求項10に記載の固体撮像装置。
  12. 　前記信号処理回路は、
    　　前記イベント検知情報を歪み補正した後の座標について、前記イベント検知情報を歪み補正した値としきい値を比較して、歪み補正をした後の前記座標におけるイベント検知情報を取得する、
    　請求項1に記載の固体撮像装置。
  13. 　前記信号処理回路は、
    　　歪み補正をした後の前記座標におけるイベント検知情報を、 1.5 ビットの情報として格納する、
    　請求項12に記載の固体撮像装置。
  14. 　前記1又は複数の画素アレイは、
    　　前記第1画素が2次元のアレイ状に配置される、第1画素アレイと、
    　　前記第2画素が2次元のアレイ状に配置され、前記第1画素アレイと同じ対象の前記イベント検知情報を取得する、第2画素アレイと、
    　から形成される、
    　請求項1に記載の固体撮像装置。
  15. 　前記光学系は、
    　　前記第1画素アレイに光を集光する、第1光学系と、
    　　前記第2画素アレイに光を集光する、第2光学系と、
    　を備える、
    　請求項14に記載の固体撮像装置。
  16. 　前記信号処理回路は、
    　　前記第1画素からの出力の信号処理をする、第1信号処理回路と、
    　　前記第2画素からの出力の信号処理をする、第2信号処理回路と、
    　を備える、
    　請求項1に記載の固体撮像装置。
  17. 　前記信号処理回路は、
    　　歪み補正した前記画像情報及び歪み補正した前記イベント検知情報に基づいて、画像処理を実行する、
    　請求項1に記載の固体撮像装置。
  18. 　前記信号処理回路は、
    　　歪み補正した前記画像情報及び歪み補正した前記イベント検知情報に基づいて、デブラー処理をする、
    　請求項17に記載の固体撮像装置。
  19. 　前記信号処理回路は、
    　　歪み補正した前記画像情報及び歪み補正した前記イベント検知情報に基づいて、トラッキング処理をする、
    　請求項1に記載の固体撮像装置。
PCT/JP2023/047039 2023-01-11 2023-12-27 固体撮像装置 Ceased WO2024150690A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202380082267.7A CN120283415A (zh) 2023-01-11 2023-12-27 固态成像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023-002728 2023-01-11
JP2023002728 2023-01-11

Publications (1)

Publication Number Publication Date
WO2024150690A1 true WO2024150690A1 (ja) 2024-07-18

Family

ID=91896997

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/047039 Ceased WO2024150690A1 (ja) 2023-01-11 2023-12-27 固体撮像装置

Country Status (3)

Country Link
CN (1) CN120283415A (ja)
TW (1) TW202433943A (ja)
WO (1) WO2024150690A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012100062A (ja) * 2010-11-02 2012-05-24 Canon Inc 撮像装置
JP2020161992A (ja) * 2019-03-27 2020-10-01 ソニーセミコンダクタソリューションズ株式会社 撮像システム及び物体認識システム
WO2022270034A1 (ja) * 2021-06-23 2022-12-29 ソニーセミコンダクタソリューションズ株式会社 撮像装置、電子機器、および光検出方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012100062A (ja) * 2010-11-02 2012-05-24 Canon Inc 撮像装置
JP2020161992A (ja) * 2019-03-27 2020-10-01 ソニーセミコンダクタソリューションズ株式会社 撮像システム及び物体認識システム
WO2022270034A1 (ja) * 2021-06-23 2022-12-29 ソニーセミコンダクタソリューションズ株式会社 撮像装置、電子機器、および光検出方法

Also Published As

Publication number Publication date
TW202433943A (zh) 2024-08-16
CN120283415A (zh) 2025-07-08

Similar Documents

Publication Publication Date Title
JP7451407B2 (ja) センサ装置、電子機器、センサシステム及び制御方法
US10957029B2 (en) Image processing device and image processing method
US10880498B2 (en) Image processing apparatus and image processing method to improve quality of a low-quality image
JP6977821B2 (ja) 画像処理装置と画像処理方法
US10704957B2 (en) Imaging device and imaging method
JP7500798B2 (ja) 固体撮像装置、補正方法、および電子装置
EP3585045B1 (en) Information processing device, information processing method, and program
JP6981416B2 (ja) 画像処理装置と画像処理方法
US20250317662A1 (en) Sensor device
WO2024150690A1 (ja) 固体撮像装置
EP4561094A1 (en) Solid-state imaging device
US20230412923A1 (en) Signal processing device, imaging device, and signal processing method
WO2025013515A1 (ja) 光検出装置、撮像装置及び電子機器
WO2024237021A1 (ja) 情報処理装置および情報処理方法、並びにプログラム
WO2021229983A1 (ja) 撮像装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23916303

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202380082267.7

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 202380082267.7

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23916303

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP