WO2025253973A1 - 情報処理装置、撮像装置および情報処理方法 - Google Patents

情報処理装置、撮像装置および情報処理方法

Info

Publication number
WO2025253973A1
WO2025253973A1 PCT/JP2025/019046 JP2025019046W WO2025253973A1 WO 2025253973 A1 WO2025253973 A1 WO 2025253973A1 JP 2025019046 W JP2025019046 W JP 2025019046W WO 2025253973 A1 WO2025253973 A1 WO 2025253973A1
Authority
WO
WIPO (PCT)
Prior art keywords
blinking
image
area
correction processing
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2025/019046
Other languages
English (en)
French (fr)
Inventor
正彦 南雲
拓郎 鈴木
秀雄 橋本
潤哉 成田
均 中田
秀一 澁井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of WO2025253973A1 publication Critical patent/WO2025253973A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Definitions

  • This disclosure relates to an information processing device, an imaging device, and an information processing method.
  • Traffic signals such as traffic lights
  • Traffic signals with LEDs are powered by commercial power and flash according to the frequency of the AC power supply (e.g., 50 or 60 Hz).
  • imaging devices mounted on moving objects such as automobiles capture images at regular intervals. Depending on the imaging conditions, an image of an unlit traffic light may be captured. For this reason, technology has been proposed for capturing images of lit traffic lights (see, for example, Patent Document 1).
  • This disclosure therefore provides an information processing device, an imaging device, and an information processing method that can suppress flicker in captured images.
  • the information processing device includes a blinking detection unit that detects the presence or absence of blinking and the coordinates from an image based on exposure data; a blinking correction processing unit that performs blinking correction processing to correct pixel values of the image to suppress blinking of the image; a non-blinking correction processing unit that performs non-blinking correction processing to correct pixel values of the image to adjust the brightness of the image; and a synthesis processing unit that synthesizes the image on which the blinking correction processing has been performed and the image on which the non-blinking correction processing has been performed based on the presence or absence of blinking and the coordinates.
  • the imaging device includes a sensor that generates exposure data, a blinking detection unit that detects the presence or absence of blinking and the coordinates from an image based on the exposure data, a blinking correction processing unit that performs blinking correction processing to correct pixel values of the image to suppress blinking of the image, a non-blinking correction processing unit that performs non-blinking correction processing to correct pixel values of the image to adjust the brightness of the image, and a synthesis processing unit that synthesizes the image that has undergone the blinking correction processing and the image that has undergone the non-blinking correction processing based on the presence or absence of blinking and the coordinates.
  • the information processing method includes an information processing device detecting the presence or absence of blinking and coordinates from an image based on the exposure data, performing a blinking correction process to correct pixel values of the image to suppress blinking of the image, performing a non-blinking correction process to correct pixel values of the image to adjust the brightness of the image, and combining the image on which the blinking correction process has been performed and the image on which the non-blinking correction process has been performed based on the presence or absence of blinking and coordinates.
  • FIG. 1 is a diagram illustrating an example of the configuration of an imaging apparatus according to an embodiment.
  • FIG. 2 is a diagram illustrating an example of the configuration of a sensor according to an embodiment.
  • 3A and 3B are diagrams for explaining pixel blocks of a pixel array unit according to an embodiment;
  • 10A and 10B are diagrams for explaining a Bayer arrangement in which four adjacent pixels have the same color according to an embodiment.
  • 10A and 10B are diagrams for explaining a Bayer arrangement in which nine adjacent pixels have the same color according to an embodiment;
  • FIG. 2 is a diagram illustrating an example of the configuration of a pixel according to the embodiment.
  • FIG. 10 is a timing chart showing pixel reset and transfer according to the embodiment.
  • FIG. 6 is a timing chart of sampling exposure according to the embodiment.
  • FIG. 10 is a timing chart showing pixel reset and transfer according to the embodiment.
  • 10 is a diagram showing another timing chart of sampling exposure according to the embodiment.
  • 10A and 10B are diagrams illustrating exposure patterns for each frame of sampling exposure according to an embodiment.
  • FIG. 2 is a diagram for explaining an example of signal processing according to the embodiment.
  • 10A and 10B are diagrams for explaining sampling exposure of blinking traffic lights according to an embodiment.
  • FIG. 6 is a diagram for explaining sampling exposure data according to the embodiment.
  • 10 is a flowchart showing the flow of blinking detection processing according to the embodiment.
  • 10A and 10B are diagrams for explaining a target block and a scanning block according to an embodiment;
  • 10A and 10B are diagrams for explaining exposure data of blinking traffic lights according to an embodiment;
  • 5A and 5B are diagrams for explaining exposure data for contours and lines according to an embodiment.
  • FIG. 10 is a diagram for explaining calculation of a Mix ratio according to the embodiment.
  • 10A to 10C are diagrams for explaining an example of processing by a blinking correction processing unit according to the embodiment.
  • 10A to 10C are diagrams for explaining an example of processing by a non-blinking correction processing unit according to the embodiment.
  • 10A and 10B are diagrams for explaining a processing example of a synthesis processing unit according to the embodiment;
  • FIG. 10 is a timing chart of a first modified example of sampling exposure according to the embodiment.
  • FIG. 10 is a timing chart of a second modified example of sampling exposure according to the embodiment.
  • FIG. 2 is a diagram illustrating a detailed configuration example 1 of a part of a sensor according to an embodiment.
  • FIG. 2 is a diagram illustrating a detailed configuration example 1 of a part of a sensor according to an embodiment.
  • FIG. 10 is a diagram illustrating a detailed configuration example 2 of a part of a sensor according to an embodiment.
  • FIG. 10 is a diagram illustrating a detailed configuration example 2 of a part of a sensor according to an embodiment.
  • 1 is a block diagram showing an example of a schematic configuration of a vehicle control system;
  • FIG. 2 is an explanatory diagram showing an example of the installation positions of an outside-vehicle information detection unit and an imaging unit.
  • Embodiments 1-1 Configuration example of imaging device 1-2.
  • Configuration example of sensor 1-3 Configuration example of pixel array unit 1-4.
  • Configuration example of pixel 1-5 Exposure example of sampling exposure 1-6.
  • Processing example of signal processing 1-6-1 Overall processing example 1-6-2.
  • Processing example of blinking detection unit 1-6-3 Processing example of blinking correction processing unit 1-6-4.
  • Configuration example 1 1-8-2 Configuration example 2 1-9. Actions and Effects 2.
  • Fig. 1 is a diagram showing an example of the configuration of an imaging device 1 according to this embodiment.
  • the imaging device 1 includes a sensor 10 and a processing unit 20.
  • Sensor 10 is an image sensor that generates image data (e.g., sampling exposure data) of a subject.
  • image data e.g., sampling exposure data
  • sensor 10 acquires sampling exposure data using multi-shutter technology.
  • an optical system such as a lens that focuses light onto sensor 10 is not shown, but it is desirable to provide such an optical system.
  • the processing unit 20 includes a blinking detection unit 21, a blinking correction processing unit 22, a storage unit 23, a non-blinking correction processing unit 24, and a synthesis processing unit 25.
  • This processing unit 20 is an example of an information processing device.
  • the blinking detection unit 21 detects the presence or absence and coordinates of blinking (e.g., spatially regular changes in brightness) of traffic signals and other traffic lights from the sampling exposure data.
  • the blinking detection results include, for example, information such as the presence or absence of blinking and the blinking coordinates.
  • the blinking coordinates include, for example, the XY coordinates of the image. The presence or absence of blinking and the blinking coordinates are used, for example, to identify blinking areas, non-blinking areas, and other areas.
  • the flickering correction processing unit 22 performs flickering correction processing, which corrects the pixel values of the image to suppress flickering of traffic lights in the sampling exposure data. For example, the flickering correction processing unit 22 averages the pixel values of the sampling exposure data.
  • the storage unit 23 stores the information necessary for the aforementioned correction processing.
  • the non-blinking correction processing unit 24 performs non-blinking correction processing to correct the pixel values of the image so as to adjust the brightness of the image of the sampling exposure data (e.g., to increase the brightness). For example, the non-blinking correction processing unit 24 amplifies the pixel values of the sampling exposure data.
  • the compositing processing unit 25 performs compositing processing to combine the image after the blinking correction processing and the image after the non-blinking correction processing based on the blinking detection results, and outputs the composite processed image to subsequent development processing.
  • the compositing processing unit 25 performs compositing processing by changing the compositing ratio depending on the blinking detection results.
  • the image after compositing processing is, for example, raw data in a quad Bayer array with traffic light blinking corrected.
  • the blinking detection unit 21, blinking correction processing unit 22, storage unit 23, non-blinking correction processing unit 24, and synthesis processing unit 25 will be described in detail later.
  • a re-mosaic process may be performed to convert the pixel array of an input image into a different pixel array.
  • an image with a quad Bayer array is converted into a Bayer array.
  • eight-directional pixel value gradients are detected at the position of the conversion target pixel that is the target of color conversion processing among the constituent pixels of the input image, and an interpolated pixel value calculation mode for the conversion target pixel is determined based on the eight-directional pixel value gradients.
  • An interpolated pixel value for the conversion target pixel position is calculated according to the determined processing mode, and this interpolated pixel value is used.
  • This type of processing is merely an example, and other processes may also be performed.
  • the processing unit 20 may be configured, for example, using hardware and/or software, and its configuration is not particularly limited.
  • the processing unit 20 may be realized, for example, by an integrated circuit such as an ASIC (Application Specific Integrated Circuit), FPGA (Field Programmable Gate Array), or CPLD (Complex Programmable Logic Device).
  • the processing unit 20 may also be realized, for example, by a computer such as a CPU (Central Processing Unit), MCU (Micro Controller Unit), or MPU (Micro Processor Unit) executing a program pre-stored in ROM (Read Only Memory) using RAM (Random Access Memory) as a working area.
  • CPU Central Processing Unit
  • MCU Micro Controller Unit
  • MPU Micro Processor Unit
  • the imaging device 1 is used in mobile objects such as automobiles, drones, and automatic delivery robots.
  • Automatic delivery robots travel both outdoors and indoors, for example.
  • Automatic delivery robots that travel autonomously outdoors travel and stop in accordance with road traffic lights.
  • automatic transport robots that travel autonomously indoors travel and stop in accordance with a multi-dot LED sign (display).
  • the multi-dot LED sign can, for example, display the same information as road traffic lights, or display arrows or letters.
  • the multi-dot LED sign is an example of a traffic light.
  • the imaging device 1 can also be used to capture images of flashing displays other than traffic lights.
  • Fig. 2 is a diagram showing an example of the configuration of the sensor 10 according to this embodiment.
  • the senor 10 includes a pixel array unit 11, a vertical drive unit 12, a column signal processing unit 13, and a control unit 14.
  • the pixel array unit 11 is configured with an arrangement of multiple pixels 100.
  • the pixels 100 are arranged in a two-dimensional matrix.
  • Each pixel 100 has a photoelectric conversion unit that performs photoelectric conversion of incident light, and generates a pixel signal (pixel value) based on the incident light that is irradiated.
  • a photodiode is used as the photoelectric conversion unit.
  • Signal lines 15 and 16 are connected to each pixel 100.
  • the pixel 100 generates a pixel signal under control of a control signal transmitted by the signal line 15, and outputs the generated pixel signal to the column signal processing unit 13 via the signal line 16.
  • the signal lines 15 are arranged for each row of the two-dimensional matrix, and are commonly connected to, for example, multiple pixels 100 arranged in a row.
  • the signal lines 16 are arranged for each column of the two-dimensional matrix, and are commonly connected to, for example, multiple pixels 100 arranged in a column.
  • the vertical drive unit 12 generates control signals for the pixels 100. This vertical drive unit 12 generates a control signal for each row of the two-dimensional matrix of the pixel array unit 11, and outputs the generated control signals to each pixel 100 via each signal line 15.
  • the column signal processing unit 13 processes pixel signals generated by the pixels 100. This column signal processing unit 13 simultaneously processes pixel signals transmitted from each of a predetermined number of pixels 100 via signal lines 16. For example, the column signal processing unit 13 performs analog-to-digital conversion to convert the pixel signals generated by the pixels 100 from analog to digital, and correlated double sampling to remove offset errors in the pixel signals.
  • the processed pixel signals i.e., image data (e.g., sampling exposure readout data), are output to the processing unit 20.
  • the control unit 14 controls the vertical drive unit 12 and column signal processing unit 13. This control unit 14 generates control signals that control the vertical drive unit 12 and column signal processing unit 13 based on data that commands the clock, operating mode, etc. input from an external circuit, etc. The control unit 14 then outputs control signals to the vertical drive unit 12 via signal line 17 and to the column signal processing unit 13 via signal line 18, thereby controlling the vertical drive unit 12 and column signal processing unit 13.
  • the sensor 10 described above basically receives light incident from a subject, performs photoelectric conversion, and outputs an electrical signal corresponding to the amount of light, i.e., an image signal (image data).
  • the type of imaging device 1 is not particularly limited, and may be a front-illuminated or back-illuminated type. Furthermore, the imaging device 1 may be a CMOS (Complementary Metal Oxide Semiconductor) or other type.
  • CMOS Complementary Metal Oxide Semiconductor
  • FIG. 3 is a diagram for explaining a pixel block A1 of the pixel array unit 11 according to this embodiment.
  • FIG. 4 is a diagram for explaining a Bayer arrangement in which four adjacent pixels (four adjacent pixels 100) according to this embodiment have the same color.
  • FIG. 5 is a diagram for explaining a Bayer arrangement in which nine adjacent pixels (nine adjacent pixels 100) according to this embodiment have the same color.
  • Each pixel block A1 is a block in which four adjacent pixels 100 are arranged in a 2x2 matrix.
  • the four pixels 100 in pixel block A1 are distinguished by the numbers (1) to (4).
  • the horizontal direction in FIG. 3 corresponds to the row direction
  • the vertical direction in FIG. 3 corresponds to the column direction (the same applies to other figures).
  • the pixels 100 have color filters (e.g., red, green, blue, etc.). However, if color display is not required, the pixels 100 may not have color filters.
  • the pixel array unit 11 is configured with pixel block A1 in a Bayer array (quad Bayer array) in which an RGGB array (red, green, green, and blue array) is repeated in a 2x2 matrix.
  • Pixel block A1 is a 2x2 matrix block in which four adjacent pixels 100 of the same color form a group.
  • the four pixels 100 in pixel block A1 are distinguished by the numbers (1) to (4).
  • the pixel array unit 11 may be configured in a Bayer array in which pixel block A1 repeats an RGGB array (red, green, green, and blue array) in a 2x2 array, similar to FIG. 4.
  • Pixel block A1 is a 3x3 block, with nine adjacent pixels 100 of the same color forming a group.
  • the nine pixels 100 in pixel block A1 are distinguished by the numbers (1) to (9).
  • Such a Bayer array may also be used.
  • Fig. 6 is a diagram showing an example of the configuration of the pixel 100 according to this embodiment.
  • Fig. 7 is a diagram showing a timing chart of resetting and transferring the pixel 100 according to this embodiment.
  • the pixel 100 includes a photoelectric conversion unit 101, a charge holding unit 102, a reset element 103, a transfer element 104, and a selection element 105.
  • the photoelectric conversion unit 101 performs photoelectric conversion of incident light.
  • a photodiode is used as the photoelectric conversion unit 101.
  • the charge holding unit 102 holds the charge generated by the photoelectric conversion of the photoelectric conversion unit 101.
  • a capacitor is used as the charge holding unit 102.
  • the reset element 103 resets the charge in the photoelectric conversion unit 101.
  • the reset element 103 is connected to one end of the photoelectric conversion unit 101. The reset is performed, for example, by establishing electrical continuity between the photoelectric conversion unit 101 and a power supply line, thereby discharging the charge in the photoelectric conversion unit 101.
  • a control signal (B1.Reset) to the reset element 103 is input from the vertical drive unit 12 described above.
  • the reset element 103 may, for example, be a transistor.
  • the transfer element 104 transfers the charge generated by photoelectric conversion in the photoelectric conversion unit 101 from the photoelectric conversion unit 101 to the charge holding unit 102.
  • the transfer element 104 is connected between the photoelectric conversion unit 101 and the charge holding unit 102.
  • a control signal (B2. Transfer) to the transfer element 104 is input from the vertical drive unit 12 mentioned above.
  • a transistor is used as the transfer element 104.
  • the selection element 105 sends the charge held by the charge holding unit 102 to the signal line 16. This selection element 105 functions to select the pixel 100 to be read out.
  • the selection element 105 is connected between the charge holding unit 102 and the signal line 16.
  • a control signal (B3. Readout) to the selection element 105 is input from the vertical drive unit 12 mentioned above.
  • a transistor is used as the selection element 105.
  • this type of pixel 100 With this type of pixel 100, the presence of a charge storage section 102 for accumulating charge allows exposure (accumulation of charge) and readout (readout of charge) to be controlled independently.
  • the structure of this pixel 100 is an example of the pixel structure of the sensor 10 that achieves multi-shuttering. Note that the configuration of pixel 100 shown in Figure 6 is merely an example, and other configurations may also be used.
  • exposure begins when the control signal (B1. Reset) changes from on to off, and ends when the control signal (B2. Transfer) changes on.
  • the exposure time is from the end of the reset on pulse (start of exposure) to the beginning of the transfer on pulse (end of exposure).
  • start of exposure start of exposure
  • end of exposure end of exposure
  • continuous exposure can be achieved by controlling the reset and transfer at different times for multiple adjacent pixels 100.
  • readout is performed, for example, line by line sequentially in the vertical direction (column direction).
  • Fig. 8 is a timing chart of sampling exposure according to this embodiment.
  • Fig. 9 is a timing chart of another sampling exposure according to this embodiment.
  • Fig. 10 is a diagram showing an exposure pattern for each frame of sampling exposure according to this embodiment.
  • the flashing frequency of the traffic light is, for example, 120 Hz or 100 Hz.
  • the flashing period is, for example, 1/120 (s) or 1/100 (s).
  • the sampling exposure interval is 1/40 (s), the sampling exposure section is 1/80 (s), and the exposure pause section is 1/80 (s).
  • the exposure operation is, for example, a repetition of sampling exposure, exposure pause, sampling exposure, and exposure pause.
  • the values in Figure 8 are for illustrative purposes only (the same applies to other figures).
  • an exposure time (e.g., 2 ms) is set so that the flashing of traffic lights can be captured as a change in brightness.
  • the timing of the start and end of sampling exposure differs for each pixel 100 in pixel block A1.
  • the numbers (1) to (4) in Figure 8 correspond to the numbers (1) to (4) in Figures 3 and 4 (the same applies to the other figures).
  • sampling exposure is performed in the order of pixels 100 (1) to (4). This is the same for all pixel blocks A1.
  • the exposure times for pixels 100 (1) to (4) do not overlap in time.
  • the exposure start timing for pixel 100 (2) arrives after the exposure end timing for pixel 100 (1).
  • the exposure start timing for pixel 100 (3) arrives after the exposure end timing for pixel 100 (3).
  • the exposure start timing for pixel 100 (4) arrives after the exposure end timing for pixel 100 (3).
  • sampling exposure is performed in the order of pixels 100 (1) to (4) during the sampling exposure section (1/80 s), and sampling exposure data is read out from the sensor 10 during the exposure pause section (1/80 s).
  • multi-shutter function multi-shutter technology
  • the exposure times for each of the pixels 100 (1) to (4) do not overlap in time, but this is not limited to this and they may overlap in time.
  • the exposure times for each of the pixels 100 (1) to (4) overlap in time.
  • the exposure start timing for the pixel 100 (2) arrives before the exposure end timing for the pixel 100 (1).
  • the exposure start timing for the pixel 100 (3) arrives before the exposure end timing for the pixel 100 (2).
  • the exposure start timing for the pixel 100 (4) arrives before the exposure end timing for the pixel 100 (3).
  • the timing of the sampling exposure is not limited to the timing shown in FIG. 8, but may be, for example, the timing shown in FIG. 9, or may be timing other than the timing shown in FIGS. 8 and 9.
  • the exposure times for each of the pixels 100 (1) to (4) are the same, but may be different, and may be set longer or shorter than those shown in FIGS. 8 and 9. For example, when the brightness around the sensor 10 is darker than normal (predetermined brightness), the exposure time is set longer than the normal exposure time (predetermined exposure time).
  • each frame e.g., frame 1, frame 2, frame 3, frame 4
  • the traffic light flashing frequency is 120 Hz
  • the traffic light flashing frequency is 100 Hz
  • different exposure patterns are repeated alternately. Note that a frame is obtained for each sampling exposure interval (e.g., sampling exposure section) in Figure 8 or Figure 9.
  • the exposure data of a flashing traffic light has a spatially regular variation in brightness. Flicker can be suppressed by capturing this regular variation in brightness and correcting the variation in brightness. For example, flicker from both 120 Hz and 100 Hz traffic lights can be suppressed.
  • Fig. 11 is a diagram for explaining an example of signal processing according to this embodiment.
  • Fig. 12 is a diagram for explaining sampling exposure of traffic light blinking according to this embodiment.
  • Fig. 13 is a diagram for explaining sampling exposure data according to this embodiment.
  • a sampling exposure C1 of the traffic light flashing is performed on the sensor 10.
  • sampling exposure data C2 is output from the sensor 10.
  • the flashing detection unit 21 performs a flashing detection process on the sampling exposure data C2 to obtain a flashing detection result C3.
  • the flashing detection result C3 includes information such as whether or not the signal is flashing and the flashing coordinates.
  • the flashing correction processing unit 22 performs a flashing correction process on the sampling exposure data C2 to obtain an image after the flashing correction process
  • the non-flashing correction processing unit 24 performs a non-flashing correction process on the sampling exposure data C2 to obtain an image after the non-flashing correction process.
  • the synthesis processing unit 25 synthesizes the image after the flashing correction process and the image after the non-flashing correction process to obtain a synthesized image C4. Then, in a subsequent development process, the synthesized image C4 is developed to obtain a synthesized image C5. The individual steps that make up this example of processing will be described in detail below.
  • exposure (1) is a sampling exposure using pixel 100 (1) of each pixel block A1.
  • Exposure (2) is a sampling exposure using pixel 100 (2) of each pixel block A1.
  • Exposure (3) is a sampling exposure using pixel 100 (3) of each pixel block A1.
  • Exposure (4) is a sampling exposure using pixel 100 (4) of each pixel block A1. Sampling exposures are performed in this manner. Thinning is performed in each of exposures (1) to (4). When the thinned-out exposure data is developed, an image such as that shown in Figure 12 is obtained.
  • pixels 100 are exposed at the same time, but rather multiple adjacent pixels 100 are treated as one unit (pixel block A1), and each pixel 100 in pixel block A1 is exposed in sequence. Therefore, the number of pixels 100 used in one sampling (pixels 100 to be exposed) is 1/the number of adjacent pixels 100. Thinning is performed on all pixels 100, and exposure is performed sequentially.
  • each sampling exposure uses multiple adjacent pixels 100 (pixel block A1) that are different in space. Therefore, when each sampling exposure data is collected as data for all pixels 100, if there is a brightness difference in each sampling exposure due to the flashing of traffic lights, it will appear as a brightness difference in the spatial direction. This brightness difference that appears in the spatial direction forms a repeating pattern, with multiple adjacent pixels 100 serving as one unit (pixel block A1). The collected data for each sampling exposure data is treated as all pixel data for one frame (sampling exposure data C2).
  • the sampling exposure data C2 is a combination of the exposure data (data that has been thinned out) from each of exposures (1) to (4).
  • a flickering pattern which is a spatially regular change in brightness, appears. From the sampling exposure data C2, the "area where the traffic light is flashing (for example, a spatially regular change in brightness)" within the shooting angle of view is detected, and the flickering detection result C3 is obtained.
  • FIG. 14 is a flowchart showing the flow of blink detection processing according to this embodiment.
  • FIG. 15 is a diagram for explaining a target block D1 and a scanning block D2 according to this embodiment.
  • FIG. 16 is a diagram for explaining exposure data of traffic light blinking according to this embodiment.
  • FIG. 17 is a diagram for explaining exposure data of contours and lines according to this embodiment.
  • FIG. 18 is a diagram for explaining calculation of a Mix ratio according to this embodiment.
  • step S11 the blinking detection unit 21 treats multiple adjacent pixels as a single pixel block A1, and selects a target block D1 and surrounding blocks (pixel blocks A1) of size (N x N).
  • step S12 the blinking detection unit 21 finds the maximum and minimum pixel values for each of the (N x N) blocks.
  • the (N x N) block is the scanning block D2 that is scanned relative to the image of the sampling exposure data C2.
  • the scanning block D2 includes a target block D1 located in the center and multiple peripheral blocks that surround the target block D1.
  • Each of the target block D1 and the peripheral blocks is a pixel block A1.
  • N 3, and the number of blocks is 9.
  • step S13 the blinking detection unit 21 obtains the maximum/minimum value from the maximum and minimum values for each (N x N) block.
  • step S14 the blinking detection unit 21 sorts the (N x N) number of obtained maximum/minimum values in descending order.
  • step S15 the blinking detection unit 21 selects the (N+1)th largest maximum/minimum value.
  • step S16 the blinking detection unit 21 determines whether the selected maximum/minimum value is less than or equal to the first threshold. If the blinking detection unit 21 determines that the selected maximum/minimum value is not less than or equal to the first threshold (greater than the first threshold) (step S16: No), in step S17, it determines that the area of interest, which is the block of interest D1, is a blinking area.
  • step S16 determines that the selected maximum/minimum value is equal to or less than the first threshold value (step S16: Yes)
  • step S18 the blinking detection unit 21 determines whether the selected maximum/minimum value is equal to or greater than the second threshold value.
  • the second threshold value is smaller than the first threshold value.
  • step S18 if the blinking detection unit 21 determines that the selected maximum/minimum value is not greater than the second threshold (is smaller than the second threshold) (step S18: No), in step S19, it determines that the area of interest is a non-blinking area.
  • step S18 the blinking detection unit 21 determines that the selected maximum/minimum value is equal to or greater than the second threshold value (step S18: Yes)
  • step S20 it determines that the area of interest is a Mix area (combined area) and calculates the Mix ratio (combined ratio).
  • the blinking detection unit 21 calculates the mix ratio based on the mix ratio setting graph E1, as shown in FIG. 18.
  • the mix ratio is the mix ratio between the blinking area and the non-blinking area.
  • the blinking detection unit 21 sets the mix ratio by varying it between 0% and 100% when the (N+1)th largest maximum/minimum value is between the first threshold and the second threshold.
  • the mix ratio is used in the synthesis process of the synthesis processing unit 25.
  • the mix ratio setting graph E1 is an example of mix ratio setting information (synthesis ratio setting information).
  • the flicker detection unit 21 detects the presence or absence of spatially regular luminance changes and their coordinates due to the flickering of traffic signals, such as traffic lights, from the sampling exposure data (detection of flickering presence or absence and flickering coordinates).
  • the sampling exposure data of a flickering traffic signal has spatially regular luminance changes. By capturing and correcting this regular luminance change, flicker can be suppressed.
  • Flicker is a phenomenon in which changes in brightness due to flickering, for example, are captured in an image.
  • Fig. 19 is a diagram for explaining an example of processing by the blinking correction processing unit 22 according to this embodiment.
  • the blinking correction processing unit 22 calculates the average value of each pixel value of the adjacent pixels 100 in the pixel block A1 (step S31), and replaces each pixel value of the adjacent pixels 100 in the pixel block A1 with the calculated average value (step S32).
  • the blinking correction processing unit 22 then reads each pixel value (past value) of the adjacent pixels 100 at the same coordinates as the pixel value (current value) of the replaced adjacent pixels 100, and calculates a composite value for each pixel 100 using the current and past values.
  • the blinking correction processing unit 22 uses the composite value as the pixel value of each adjacent pixel 100.
  • the composite value is, for example, (current value + past value) / 2. This series of processes is performed for the entire pixel block A1.
  • the flickering correction processing unit 22 performs a conversion process that replaces the spatially regular luminance changes caused by the flickering of the traffic light with the average value of the four pixels 100 (four adjacent pixels 100) within pixel block A1. Furthermore, in order to suppress temporal fluctuations in the calculated average values of the four pixels 100, the flickering correction processing unit 22 performs a calculation process that calculates and outputs the average value of the current four pixels 100 and the average value of the corresponding past (previous) four pixels 100.
  • the storage unit 23 stores the average values of the past (previous) four pixels 100 for the aforementioned calculation process.
  • Fig. 20 is a diagram for explaining an example of processing by the non-blinking correction processing unit 24 according to this embodiment.
  • the non-blinking correction processing unit 24 has an amplifier 24a.
  • This non-blinking correction processing unit 24 performs non-blinking correction processing by increasing the gain for each pixel block A1, i.e., for each pixel 100, using the amplifier 24a. As a result, the input signal is amplified and output. In other words, the brightness of the image after non-blinking correction processing is increased.
  • Fig. 21 is a diagram for explaining an example of processing by the synthesis processing unit 25 according to this embodiment.
  • the synthesis processing unit 25 synthesizes the image after the flashing correction processing (signal from the flashing correction processing unit 22) and the image after the non-flashing correction processing (signal from the non-flashing correction processing unit 24) based on the presence or absence of spatially regular brightness changes and the coordinates (flashing detection results) determined by the flashing detection unit 21.
  • the synthesis processing unit 25 changes the mix ratio to synthesize the image after the flashing correction processing and the image after the non-flashing correction processing.
  • the mix ratio is the mix ratio calculated by the flashing detection unit 21 based on the mix ratio setting graph E1.
  • the mix ratio is calculated for each pixel block A1 (target block D1) (see Figure 14). For example, if the target area, which is target block D1, is a blinking area, the mix ratio is determined to be 100% from the mix ratio setting graph E1. If the target area is a non-blinking area, the mix ratio is determined to be 0% from the mix ratio setting graph E1. If the target area is a synthesis area, the mix ratio is determined to a predetermined ratio from the mix ratio setting graph E1. Using these mix ratios, the signal from the blinking portion correction process and the signal from the non-blinking portion correction process are synthesized for each pixel block A1 to generate a synthesized image.
  • the mix ratio will change continuously between 0% and 100%.
  • the signal from the blinking portion correction process and the signal from the non-blinking portion correction process are synthesized based on the following conditions:
  • the mix ratio is 1.0 (100%) and the corrected output is a signal from the blinking correction processing unit 22. If the (N+1)th largest maximum/minimum value is equal to or less than the second threshold, the mix ratio is 0.0 (0%) and the corrected output is a signal from the non-blinking correction processing unit 24.
  • the mix ratio is (((N+1)th largest maximum/minimum value) - second threshold)/(first threshold - second threshold).
  • ⁇ 1-7 Modified Examples> ⁇ 1-7-1. Modification 1> A first modification of the sampling exposure according to this embodiment will be described with reference to Fig. 22.
  • Fig. 22 is a timing chart of the first modification of the sampling exposure according to this embodiment.
  • an exposure (exposure for a purpose other than the sampling exposure) may be inserted during an exposure pause section, and exposure data corresponding to the exposure inserted during the exposure pause section may be read out during a sampling exposure section that follows the exposure pause section.
  • exposure data corresponding to the exposure inserted during the exposure pause section may be read out during a sampling exposure section that follows the exposure pause section.
  • this is the same as the sampling exposure shown in Figure 8.
  • the exposure times for each of the pixels 100 (1) to (4) during the exposure pause section overlap in time.
  • the exposure times for each of the pixels 100 (1) to (4) during the exposure pause section are the same.
  • the exposure start timing and end timing for each of the pixels 100 (1) to (4) during the exposure pause section are the same.
  • Tsamp_end in Figure 22 is the end time of the reading of the sampling exposure.
  • the exposure end timing (the timing at which the transfer element 104 is disconnected) of the exposure inserted in the exposure pause section is, for example, the same as Tsamp_end or later than Tsamp_end.
  • the amount of exposure for each pixel 100 is increased, making it possible to prevent insufficient exposure, for example, at night. It can also be used appropriately for exposure other than that of traffic lights, for example.
  • Fig. 23 is a timing chart showing the second modification of the sampling exposure according to this embodiment.
  • the exposure times of some of the pixels 100 (1) to (4) during the exposure pause section are different. Apart from these different exposure times, the exposure is the same as the sampling exposure shown in Figure 22. However, for example, HDR (high dynamic range) is inserted as the exposure during the exposure pause section.
  • HDR high dynamic range
  • the exposure times of the pixels 100 (1) and (3) during the exposure pause section are the same, and the exposure times of the pixels 100 (2) and (4) during the exposure pause section are the same. However, the exposure times of the pixels 100 (1) and (3) during the exposure pause section are longer than the exposure times of the pixels 100 (2) and (4) during the exposure pause section.
  • the exposure start timing of each of the pixels 100 (1) and (3) during the exposure pause section is the same, and the exposure start timing of each of the pixels 100 (2) and (4) during the exposure pause section is the same.
  • the exposure start timing of each of the pixels 100 (1) and (3) during the exposure pause section is earlier than the exposure start timing of each of the pixels 100 (2) and (4) during the exposure pause section.
  • the exposure end timing of each of the pixels 100 (1) to (4) during the exposure pause section is the same.
  • Tsamp_end in Figure 23, like Figure 22, is the end time of the reading of the sampling exposure.
  • the exposure end timing (the timing at which the transfer element 104 is disconnected) of the exposure inserted in the exposure pause section is, for example, the same as Tsamp_end or later than Tsamp_end.
  • the amount of exposure for each pixel 100 is increased, making it possible to prevent insufficient exposure at night, for example, and also to appropriately handle exposure other than that of traffic lights. It is also possible to compensate for insufficient dynamic range, for example.
  • the exposure time and exposure start timing of each of the pixels 100 (1) and (3) during the exposure pause section are the same, and the exposure time and exposure start timing of each of the pixels 100 (2) and (4) during the exposure pause section are the same, but this is not limited to this.
  • the exposure times and exposure start timings of some of the pixels 100 (1) to (4) during the exposure pause section may be the same, or may be different.
  • Fig. 24 and Fig. 25 are diagrams each showing a detailed configuration example 1 of a part of the sensor 10 according to this embodiment.
  • the vertical drive unit 12 includes, for example, a vertical transfer timing circuit (read timing circuit) 12a and a shutter/reset control circuit 12b.
  • the signal lines 15 include, for example, multiple control lines 15a.
  • the vertical transfer timing circuit 12a outputs a control signal (B3. Read) to the selection element 105 of each pixel 100 for each row of the pixel array section 11.
  • the shutter/reset control circuit 12b outputs a control signal (B1. Reset) to the reset element 103 of each pixel 100 in pixel block A1, and also outputs a control signal (B2. Transfer) to the transfer element 104 of each pixel 100.
  • the column signal processing unit 13 includes, for example, multiple amplifiers 13a and multiple ADCs (Analog to Digital Converters) 13b.
  • the amplifiers 13a and ADCs 13b are connected to signal lines 16 and are connected in series with each other.
  • An amplifier 13a and an ADC 13b are provided for each signal line 16.
  • each pixel 100 aligned in the vertical direction is connected to one signal line 16 for every two vertically adjacent pixels 100.
  • the two vertically adjacent pixels 100 are, for example, the two vertically adjacent pixels 100 in pixel block A1.
  • the start and end of exposure for each pixel 100 in pixel block A1 i.e., reset and shutter, can be controlled independently using a small number of control lines 15a. Because of the presence of the charge holding unit 102, exposure and readout can be performed independently, and readout is performed sequentially for each signal line 16 (line) in the vertical direction. Because the readout timing differs for each signal line 16, each pixel 100 lined up in the column direction can share a signal line 16.
  • Fig. 26 and Fig. 27 are diagrams each showing a second detailed configuration example of a part of the sensor 10 according to this embodiment.
  • the vertical drive unit 12 like the above-mentioned configuration example 1, has a vertical transfer timing circuit (readout timing circuit) 12a and a shutter/reset control circuit 12b.
  • the signal line 15 also includes multiple control lines 15a.
  • the vertical transfer timing circuit 12a and shutter/reset control circuit 12b are the same as those in the above-mentioned configuration example 1.
  • the column signal processing unit 13 has multiple amplifiers 13a and multiple ADCs 13b, similar to the first configuration example described above.
  • the amplifiers 13a and ADCs 13b are similar to those in the first configuration example described above.
  • each pixel 100 in pixel block A1 is connected to one signal line 16 for each pixel block A1.
  • the pixels 100 in pixel block A1 are, for example, four pixels 100 that are adjacent in the vertical and horizontal directions in pixel block A1.
  • Configuration Example 2 as described above can achieve the same effects as Configuration Example 1 described above. Furthermore, compared to Configuration Example 1 described above, the number of amplifiers 13a and ADCs 13b can be reduced, and the number of signal lines 16 can also be reduced.
  • the information processing device includes a blinking detection unit 21 that detects the presence or absence of blinking and its coordinates from an image based on exposure data (e.g., sampling exposure data), a blinking correction processing unit 22 that performs a blinking correction process to correct pixel values of the image to suppress blinking of the image, a non-blinking correction processing unit 24 that performs a non-blinking correction process to correct pixel values of the image to adjust the brightness of the image (e.g., to increase the brightness of the image), and a synthesis processing unit 25 that synthesizes the image that has undergone the blinking correction process and the image that has undergone the non-blinking correction process based on the presence or absence of blinking and the coordinates (see FIG.
  • a blinking detection unit 21 that detects the presence or absence of blinking and its coordinates from an image based on exposure data (e.g., sampling exposure data)
  • a blinking correction processing unit 22 that performs a blinking correction process to correct pixel values of the image to suppress blink
  • the image that has undergone the blinking correction process and the image that has undergone the non-blinking correction process are synthesized to generate a synthesized image, thereby suppressing flicker in the captured image that corresponds to the blinking cycle of a traffic light or the like.
  • the blinking detection unit 21 may detect the presence or absence of blinking and the coordinates for each pixel block A1 containing multiple pixels 100 (see Figures 14 and 15, etc.). This allows for reliable detection of blinking in the image.
  • the blinking detection unit 21 may determine, for each pixel block A1, the area of interest that is the pixel block A1 as a blinking area, a non-blinking area, or a synthesis area, and the synthesis processing unit 25 may synthesize, for each pixel block A1, an image that has undergone blinking correction processing and an image that has undergone non-blinking correction processing, depending on whether the area of interest is a blinking area, a non-blinking area, or a synthesis area (see Figures 14 and 15, etc.). This makes it possible to achieve appropriate synthesis of each image.
  • the synthesis processing unit 25 may synthesize an image that has undergone blinking correction processing and an image that has undergone non-blinking correction processing based on the respective synthesis ratios of the blinking area, non-blinking area, and synthesis area (see Figures 14 and 15, etc.). This makes it possible to achieve appropriate synthesis of each image.
  • the blinking detection unit 21 may calculate the maximum and minimum pixel values for each pixel block A1 in a scanning block D2 having multiple pixel blocks A1, including a pixel block A1 (e.g., block D1) that is an area of interest, calculate the maximum/minimum pixel values for each pixel block A1, sort the maximum/minimum pixel values for each pixel block A1 in descending order, select a predetermined maximum/minimum value, and determine the area of interest as a blinking area, a non-blinking area, or a composite area depending on the selected predetermined maximum/minimum value (see Figures 14 and 15). This allows for reliable detection of blinking in the image.
  • a pixel block A1 e.g., block D1
  • the maximum/minimum pixel values for each pixel block A1 sort the maximum/minimum pixel values for each pixel block A1 in descending order, select a predetermined maximum/minimum value, and determine the area of interest as a blinking area, a
  • the blinking detection unit 21 may determine the area of interest as a blinking area if the selected maximum/minimum value of the predetermined number is greater than a first threshold, determine the area of interest as a non-blinking area if the selected maximum/minimum value of the predetermined number is smaller than a second threshold that is smaller than the first threshold, and determine the area of interest as a combined area if the selected maximum/minimum value of the predetermined number is between the first and second thresholds (see Figures 14 and 15). This allows for reliable detection of blinking in the image.
  • the pixel block A1 (e.g., the block D1) that is the area of interest may be located in the center of the scanning block D2 (see Figures 14 and 15). This allows for reliable detection of flickering in the image.
  • the blinking detection unit 21 may set the synthesis ratio between the image that has undergone blinking correction processing and the image that has undergone non-blinking correction processing (see Figures 14 and 15). This makes it possible to achieve appropriate synthesis of each image.
  • the blinking detection unit 21 may also set the combining ratio based on combining ratio setting information (e.g., Mix ratio setting graph E1) that indicates the relationship between a predetermined maximum/minimum value and the combining ratio (see FIG. 18). This allows the combining ratio to be determined reliably.
  • combining ratio setting information e.g., Mix ratio setting graph E1
  • the blinking detection unit 21 may set the combination ratio to, for example, 100% so that the synthesis processing unit 25 uses only images that have undergone blinking correction processing; and if the blinking detection unit 21 determines that the area of interest is a non-blinking area, it may set the combination ratio to, for example, 0% so that the synthesis processing unit 25 uses only images that have undergone non-blinking correction processing (see Figures 14 and 15). This makes it possible to achieve simple processing.
  • the synthesis processing unit 25 may synthesize an image that has undergone blinking correction processing and an image that has undergone non-blinking correction processing based on the synthesis ratio (see FIG. 21). This allows the image that has undergone blinking correction processing and the image that has undergone non-blinking correction processing to be appropriately synthesized.
  • the combination processing unit 25 may use only the image that has undergone blinking correction processing; if the area of interest is a non-blinking area (for example, if the combination ratio is 0%), it may use only the image that has undergone non-blinking correction processing; and if the area of interest is a combination area (for example, if the combination ratio is between 0% and 100%), it may combine the image that has undergone blinking correction processing and the image that has undergone non-blinking correction processing based on the combination ratio (see FIG. 21). This makes it possible to achieve simple processing.
  • the synthesis processing unit 25 may synthesize an image that has undergone blinking correction processing and an image that has undergone non-blinking correction processing based on the formula: synthesis ratio x signal output from the blinking correction processing unit + (100% - synthesis ratio) x signal output from the non-blinking correction processing unit (see Figure 21). This allows the image that has undergone blinking correction processing and the image that has undergone non-blinking correction processing to be appropriately synthesized.
  • the blinking correction processing unit 22 may calculate the average value of the pixel values of each of the pixels 100 for each pixel block A1 containing multiple pixels 100, and replace the pixel values of each of the multiple pixels 100 in the pixel block A1 with the calculated average value (see FIG. 19). This allows for appropriate blinking correction.
  • the flickering correction processing unit 22 may combine current pixel values, which are the pixel values of each of the multiple pixels 100 in the replaced pixel block A1, with past pixel values, which are the pixel values of each of the multiple pixels 100 in the previous pixel block A1 that have the same coordinates as the replaced pixel block A1 (see Figure 19). This allows for appropriate flickering correction.
  • the flickering correction processing unit 22 may combine the current pixel value and the past pixel value based on the formula (current pixel value + past pixel value)/2 (see Figure 19). This allows for appropriate flickering correction.
  • the non-blinking correction processing unit 24 may increase the pixel values of the image as a non-blinking correction process (see Figure 20). This makes it possible to adjust the brightness of the image to be increased.
  • the exposure data may also be data acquired using multi-shutter technology, which sets the exposure start and end times for each pixel 100 in a pixel block A1 that includes multiple pixels 100 (see Figures 8 to 10, etc.).
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be realized as a device (e.g., electronic device) mounted on any type of moving body, such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility device, an airplane, a drone, a ship, a robot, a construction machine, or an agricultural machine (tractor).
  • the technology according to the present disclosure may be realized as a device (e.g., electronic device) mounted on an endoscopic surgery system, a microsurgery system, or the like.
  • FIG. 28 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a mobile object control system to which the technology disclosed herein can be applied.
  • the vehicle control system 7000 includes multiple electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside-vehicle information detection unit 7400, an inside-vehicle information detection unit 7500, and an integrated control unit 7600.
  • the communication network 7010 connecting these multiple control units may be an in-vehicle communication network conforming to any standard, such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark).
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • Each control unit includes a microcomputer that performs arithmetic processing in accordance with various programs, a memory unit that stores the programs executed by the microcomputer or parameters used in various calculations, and a drive circuit that drives various controlled devices.
  • Each control unit includes a network I/F for communicating with other control units via the communication network 7010, as well as a communication I/F for communicating with devices or sensors inside and outside the vehicle via wired or wireless communication.
  • Figure 28 illustrates the functional configuration of the integrated control unit 7600, including a microcomputer 7610, a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I/F 7660, an audio/video output unit 7670, an in-vehicle network I/F 7680, and a memory unit 7690.
  • Other control units similarly include microcomputers, communication I/Fs, memory units, etc.
  • the drivetrain control unit 7100 controls the operation of devices related to the vehicle's drivetrain in accordance with various programs.
  • the drivetrain control unit 7100 functions as a control device for a driveforce generating device for generating vehicle driveforce, such as an internal combustion engine or drive motor, a driveforce transmission mechanism for transmitting driveforce to the wheels, a steering mechanism for adjusting the steering angle of the vehicle, and a braking device for generating vehicle braking force.
  • the drivetrain control unit 7100 may also function as a control device for an ABS (Antilock Brake System) or ESC (Electronic Stability Control), etc.
  • a vehicle state detection unit 7110 is connected to the drivetrain control unit 7100.
  • the vehicle state detection unit 7110 includes at least one of the following: a gyro sensor that detects the angular velocity of the axial rotational movement of the vehicle body; an acceleration sensor that detects the acceleration of the vehicle; or a sensor for detecting the amount of accelerator pedal operation, the amount of brake pedal operation, the steering angle of the steering wheel, engine rotation speed, or wheel rotation speed.
  • the drivetrain control unit 7100 performs arithmetic processing using signals input from the vehicle state detection unit 7110, and controls the internal combustion engine, drive motor, electric power steering device, brake device, etc.
  • the body system control unit 7200 controls the operation of various devices installed in the vehicle body according to various programs.
  • the body system control unit 7200 functions as a control device for a keyless entry system, a smart key system, a power window device, or various lamps such as headlamps, backup lamps, brake lamps, turn signals, and fog lamps.
  • radio waves transmitted from a portable device that serves as a key or signals from various switches can be input to the body system control unit 7200.
  • the body system control unit 7200 accepts these radio waves or signal inputs and controls the vehicle's door lock device, power window device, lamps, etc.
  • the battery control unit 7300 controls the secondary battery 7310, which is the power supply source for the drive motor, in accordance with various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 7300 from a battery device equipped with the secondary battery 7310. The battery control unit 7300 performs calculations using these signals, and controls the temperature regulation of the secondary battery 7310 or the cooling device or other components equipped in the battery device.
  • the outside vehicle information detection unit 7400 detects information outside the vehicle equipped with the vehicle control system 7000.
  • an imaging unit 7410 and an outside vehicle information detection unit 7420 is connected to the outside vehicle information detection unit 7400.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside vehicle information detection unit 7420 includes at least one of, for example, an environmental sensor for detecting the current weather or climate, or a surrounding information detection sensor for detecting other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rain, a fog sensor that detects fog, a sunshine sensor that detects the level of sunlight, and a snow sensor that detects snowfall.
  • the surrounding information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 7410 and the outside vehicle information detection unit 7420 may each be provided as an independent sensor or device, or may be provided as a device that integrates multiple sensors or devices.
  • Figure 29 shows an example of the installation locations of the imaging unit 7410 and the vehicle exterior information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, and 7918 are installed, for example, at least one of the front nose, side mirrors, rear bumper, back door, and the top of the windshield inside the vehicle cabin of the vehicle 7900.
  • the imaging unit 7910 installed on the front nose and the imaging unit 7918 installed on the top of the windshield inside the vehicle cabin mainly capture images of the front of the vehicle 7900.
  • the imaging units 7912 and 7914 installed on the side mirrors mainly capture images of the sides of the vehicle 7900.
  • the imaging unit 7916 installed on the rear bumper or back door mainly captures images of the rear of the vehicle 7900.
  • the imaging unit 7918 which is mounted above the windshield inside the vehicle, is primarily used to detect preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lane marks, etc.
  • Imaging range a indicates the imaging range of the imaging unit 7910 provided on the front nose
  • imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided on the side mirrors, respectively
  • imaging range d indicates the imaging range of the imaging unit 7916 provided on the rear bumper or back door.
  • External vehicle information detection units 7920, 7922, 7924, 7926, 7928, and 7930 installed on the front, rear, sides, corners, and above the windshield inside the vehicle cabin of vehicle 7900 may be, for example, ultrasonic sensors or radar devices.
  • External vehicle information detection units 7920, 7926, and 7930 installed on the front nose, rear bumper, back door, and above the windshield inside the vehicle cabin of vehicle 7900 may be, for example, LIDAR devices.
  • These external vehicle information detection units 7920 to 7930 are primarily used to detect preceding vehicles, pedestrians, obstacles, etc.
  • the outside vehicle information detection unit 7400 causes the imaging unit 7410 to capture images outside the vehicle and receives the captured image data.
  • the outside vehicle information detection unit 7400 also receives detection information from the connected outside vehicle information detection unit 7420. If the outside vehicle information detection unit 7420 is an ultrasonic sensor, radar device, or LIDAR device, the outside vehicle information detection unit 7400 emits ultrasonic waves or electromagnetic waves, and receives information on the received reflected waves. Based on the received information, the outside vehicle information detection unit 7400 may perform object detection processing or distance detection processing for people, vehicles, obstacles, signs, or text on the road surface. Based on the received information, the outside vehicle information detection unit 7400 may also perform environmental recognition processing to recognize rainfall, fog, road conditions, etc. Based on the received information, the outside vehicle information detection unit 7400 may also calculate the distance to objects outside the vehicle.
  • the outside vehicle information detection unit 7400 may also perform image recognition processing or distance detection processing to recognize people, cars, obstacles, signs, or text on the road surface based on the received image data.
  • the outside vehicle information detection unit 7400 may also perform processing such as distortion correction or alignment on the received image data, and may also generate an overhead image or panoramic image by combining image data captured by different image capture units 7410.
  • the outside vehicle information detection unit 7400 may also perform viewpoint conversion processing using image data captured by different image capture units 7410.
  • the in-vehicle information detection unit 7500 detects information inside the vehicle.
  • a driver state detection unit 7510 that detects the driver's state.
  • the driver state detection unit 7510 may include a camera that captures an image of the driver, a biosensor that detects the driver's biometric information, or a microphone that collects audio from within the vehicle cabin.
  • the biosensor is provided, for example, on the seat or steering wheel, and detects the biometric information of a passenger sitting in the seat or the driver gripping the steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the driver's level of fatigue or concentration based on the detection information input from the driver state detection unit 7510, or may determine whether the driver is dozing off.
  • the in-vehicle information detection unit 7500 may perform processing such as noise canceling on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation of the vehicle control system 7000 in accordance with various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device that can be operated by the occupant for input, such as a touch panel, button, microphone, switch, or lever. Data obtained by voice recognition of voice input through a microphone may be input to the integrated control unit 7600.
  • the input unit 7800 may be, for example, a remote control device that uses infrared or other radio waves, or an externally connected device such as a mobile phone or PDA (Personal Digital Assistant) that is compatible with the operation of the vehicle control system 7000.
  • the input unit 7800 may be, for example, a camera, in which case the occupant can input information using gestures.
  • the input unit 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input unit 7800 and outputs the signal to the integrated control unit 7600.
  • the passenger or the like inputs various data to the vehicle control system 7000 and instructs it to perform processing operations.
  • the memory unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, etc.
  • the memory unit 7690 may also be realized by a magnetic memory device such as an HDD (Hard Disc Drive), a semiconductor memory device, an optical memory device, or a magneto-optical memory device.
  • the general-purpose communication I/F 7620 is a general-purpose communication I/F that mediates communication between various devices present in the external environment 7750.
  • the general-purpose communication I/F 7620 may implement cellular communication protocols such as GSM (registered trademark) (Global System of Mobile communications), WiMAX (registered trademark), LTE (registered trademark) (Long Term Evolution) or LTE-Advanced (LTE-A), or other wireless communication protocols such as wireless LAN (also known as Wi-Fi (registered trademark)) and Bluetooth (registered trademark).
  • GSM Global System of Mobile communications
  • WiMAX registered trademark
  • LTE registered trademark
  • LTE-Advanced LTE-Advanced
  • wireless LAN also known as Wi-Fi (registered trademark)
  • Bluetooth registered trademark
  • the general-purpose communication I/F 7620 may connect to devices (e.g., application servers or control servers) present on an external network (e.g., the Internet, a cloud network, or an operator-specific network) via, for example, a base station or access point. Additionally, the general-purpose communication I/F 7620 may connect to a terminal located near the vehicle (for example, a terminal of a driver, pedestrian, or store, or an MTC (Machine Type Communication) terminal) using, for example, P2P (Peer To Peer) technology.
  • P2P Peer To Peer
  • the dedicated communication I/F 7630 is a communication I/F that supports communication protocols designed for use in vehicles.
  • the dedicated communication I/F 7630 may implement standard protocols such as WAVE (Wireless Access in Vehicle Environment), which is a combination of the lower layer IEEE 802.11p and the upper layer IEEE 1609, DSRC (Dedicated Short Range Communications), or a cellular communication protocol.
  • WAVE Wireless Access in Vehicle Environment
  • DSRC Dedicated Short Range Communications
  • the dedicated communication I/F 7630 typically performs V2X communication, a concept that includes one or more of vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication.
  • the positioning unit 7640 performs positioning by receiving, for example, GNSS signals from GNSS (Global Navigation Satellite System) satellites (e.g., GPS signals from GPS (Global Positioning System) satellites), and generates location information including the vehicle's latitude, longitude, and altitude.
  • GNSS Global Navigation Satellite System
  • GPS Global Positioning System
  • the positioning unit 7640 may determine the current location by exchanging signals with a wireless access point, or may obtain location information from a terminal with positioning capabilities, such as a mobile phone, PHS, or smartphone.
  • the beacon receiver 7650 receives, for example, radio waves or electromagnetic waves transmitted from radio stations installed on the road, and acquires information such as the current location, congestion, road closures, and travel time.
  • the functions of the beacon receiver 7650 may be included in the dedicated communication I/F 7630 described above.
  • the in-vehicle device I/F 7660 is a communication interface that mediates connections between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I/F 7660 may establish wireless connections using wireless communication protocols such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I/F 7660 may also establish a wired connection such as USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface), or MHL (Mobile High-Definition Link) via a connection terminal (and a cable, if necessary) not shown.
  • USB Universal Serial Bus
  • HDMI High-Definition Multimedia Interface
  • MHL Mobile High-Definition Link
  • the in-vehicle device 7760 may include, for example, at least one of a mobile device or wearable device owned by the passenger, or an information device carried into or attached to the vehicle.
  • the in-vehicle device 7760 may also include a navigation device that searches for a route to an arbitrary destination.
  • the in-vehicle device I/F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I/F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I/F 7680 sends and receives signals in accordance with a specific protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 controls the vehicle control system 7000 in accordance with various programs based on information acquired via at least one of the general-purpose communication I/F 7620, dedicated communication I/F 7630, positioning unit 7640, beacon receiving unit 7650, in-vehicle device I/F 7660, and in-vehicle network I/F 7680.
  • the microcomputer 7610 may calculate control target values for the driving force generating device, steering mechanism, or braking device based on acquired information from inside and outside the vehicle, and output control commands to the drivetrain control unit 7100.
  • the microcomputer 7610 may perform cooperative control aimed at realizing the functions of an Advanced Driver Assistance System (ADAS), including vehicle collision avoidance or impact mitigation, following driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, and vehicle lane departure warning.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 may perform cooperative control for the purpose of autonomous driving, which allows the vehicle to travel autonomously without relying on driver operation, by controlling the driving force generation device, steering mechanism, braking device, etc. based on the acquired information about the vehicle's surroundings.
  • the microcomputer 7610 may generate three-dimensional distance information between the vehicle and surrounding objects such as structures and people based on information acquired via at least one of the general-purpose communication I/F 7620, dedicated communication I/F 7630, positioning unit 7640, beacon receiving unit 7650, in-vehicle equipment I/F 7660, and in-vehicle network I/F 7680, and may create local map information including information about the area around the vehicle's current location. Furthermore, the microcomputer 7610 may predict dangers such as a vehicle collision, approaching pedestrians, or entering a closed road based on the acquired information, and generate a warning signal.
  • the warning signal may be, for example, a signal to generate a warning sound or turn on a warning lamp.
  • the audio/video output unit 7670 transmits at least one audio and/or image output signal to an output device capable of visually or audibly notifying vehicle occupants or the outside of the vehicle of information.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are exemplified as output devices.
  • the display unit 7720 may include, for example, at least one of an on-board display and a head-up display.
  • the display unit 7720 may have an AR (Augmented Reality) display function.
  • the output device may also be other devices such as headphones, wearable devices such as eyeglass-type displays worn by the occupants, projectors, or lamps.
  • the output device When the output device is a display device, the display device visually displays the results obtained by various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, and graphs.
  • the output device is an audio output device, the audio output device converts audio signals consisting of reproduced audio data or acoustic data into analog signals and outputs them audibly.
  • At least two control units connected via the communication network 7010 may be integrated into a single control unit.
  • each control unit may be made up of multiple control units.
  • the vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions performed by one of the control units may be carried out by another control unit.
  • predetermined calculation processing may be performed by one of the control units.
  • a sensor or device connected to one of the control units may be connected to another control unit, and multiple control units may send and receive detection information to each other via the communication network 7010.
  • a computer program for realizing each function of the imaging device 1 according to this embodiment described with reference to FIG. 1 can be implemented in any control unit, etc.
  • a computer-readable recording medium on which such a computer program is stored can also be provided. Examples of recording media include magnetic disks, optical disks, magneto-optical disks, and flash memory.
  • the above-mentioned computer program may be distributed, for example, via a network, without using a recording medium.
  • the imaging device 1 in the vehicle control system 7000 described above, can be applied to the integrated control unit 7600 of the application example shown in FIG. 28.
  • the processing unit 20 of the imaging device 1 corresponds to the microcomputer 7610 of the integrated control unit 7600.
  • the processing unit 20 of the imaging device 1 is not limited to this.
  • At least some of the components of the imaging device 1 according to this embodiment described using FIG. 1 may be implemented in a module (e.g., an integrated circuit module configured on a single die) for the integrated control unit 7600 shown in FIG. 28.
  • a module e.g., an integrated circuit module configured on a single die
  • at least some of the components of the imaging device 1 according to this embodiment described using FIG. 1 may be implemented by multiple control units of the vehicle control system 7000 shown in FIG. 28.
  • the present technology can also be configured as follows. (1) a blinking detection unit that detects the presence or absence of blinking and its coordinates from an image based on exposure data; a blinking correction processing unit that performs a blinking correction process to correct pixel values of the image so as to suppress blinking of the image; a non-blinking correction processing unit that performs a non-blinking correction process to correct pixel values of the image so as to adjust brightness of the image; a synthesis processing unit that synthesizes the image that has been subjected to the blinking correction processing and the image that has been subjected to the non-blinking correction processing based on the presence or absence of blinking and the coordinates; An information processing device comprising: (2) the blinking detection unit detects the presence or absence of blinking and the coordinates of the blinking for each pixel block including a plurality of pixels; An information processing device according to (1).
  • the blinking detection unit determines, for each pixel block, an area of interest that is the pixel block as a blinking area, a non-blinking area, or a synthesis area; the synthesis processing unit synthesizes the image on which the blinking correction processing has been performed and the image on which the non-blinking correction processing has been performed, depending on whether the area of interest is the blinking area, the non-blinking area, or the synthesis area, for each pixel block.
  • An information processing device according to (2).
  • the synthesis processing unit synthesizes the image on which the blinking correction processing has been performed and the image on which the non-blinking correction processing has been performed based on synthesis ratios of the blinking area, the non-blinking area, and the synthesis area, respectively.
  • the blinking detection unit in a scanning block having a plurality of pixel blocks including the pixel block that is the area of interest, calculates a maximum value and a minimum value of pixel values for each of the pixel blocks, calculates the maximum value/minimum value of pixel values for each of the pixel blocks, sorts the maximum value/minimum value of pixel values for each of the pixel blocks in descending order, selects a predetermined-th maximum value/minimum value, and determines the area of interest as the blinking area, the non-blinking area, or the composite area according to the selected predetermined-th maximum value/minimum value;
  • An information processing device according to (3) or (4).
  • the blinking detection unit determines the area of interest as the blinking area when the selected maximum/minimum value of the predetermined number is greater than a first threshold, determines the area of interest as the non-blinking area when the selected maximum/minimum value of the predetermined number is smaller than a second threshold that is smaller than the first threshold, and determines the area of interest as the combined area when the selected maximum/minimum value of the predetermined number is between the first threshold and the second threshold.
  • the pixel block that is the area of interest is located at the center of the scanning block; An information processing device according to (5) or (6).
  • the blinking detection unit sets a synthesis ratio of the image that has been subjected to the blinking correction processing and the image that has been subjected to the non-blinking correction processing.
  • An information processing device any one of (3) to (7).
  • the combination processing unit sets the combination ratio so that only the image on which the blinking correction processing has been performed is used, and when the area of interest is determined that the area of interest is the non-blinking area, the combination processing unit sets the combination ratio so that only the image on which the non-blinking correction processing has been performed is used.
  • An information processing device according to (8) or (9).
  • the synthesis processing unit synthesizes the image on which the blinking correction processing has been performed and the image on which the non-blinking correction processing has been performed based on the synthesis ratio.
  • An information processing device according to any one of (8) to (10).
  • the synthesis processing unit when the attention area is the flashing area, uses only the image on which the flashing correction processing has been performed, when the attention area is the non-flashing area, uses only the image on which the non-flash correction processing has been performed, and when the attention area is the synthesis area, synthesizes the image on which the flashing correction processing has been performed and the image on which the non-flash correction processing has been performed based on the synthesis ratio.
  • the synthesis processing unit when the attention area is the flashing area, uses only the image on which the flashing correction processing has been performed, when the attention area is the non-flashing area, uses only the image on which the non-flash correction processing has been performed, and when the attention area is the synthesis area, synthesizes the image on which the flashing correction processing has been performed and the image on which the non-flash correction processing has been performed based on the synthesis ratio.
  • the synthesis processing unit synthesizes the image on which the blinking correction processing has been performed and the image on which the non-blinking correction processing has been performed based on the formula: the synthesis ratio ⁇ the signal output from the blinking correction processing unit + (100% ⁇ the synthesis ratio) ⁇ the signal output from the non-blinking correction processing unit. (12) An information processing device according to (12). (14) the blinking correction processing unit calculates, for each pixel block including a plurality of pixels, an average value of pixel values of the plurality of pixels, and replaces the pixel values of the plurality of pixels in the pixel block with the calculated average value, An information processing device according to any one of (1) to (13).
  • the flicker correction processing unit combines current pixel values, which are the pixel values of each of the multiple pixels in the replaced pixel block, with past pixel values, which are the pixel values of each of the multiple pixels in the past pixel block at the same coordinates as the replaced pixel block.
  • the blinking correction processing unit combines the current pixel value and the past pixel value based on an equation of (the current pixel value + the past pixel value)/2;
  • the non-blinking correction processing unit increases pixel values of the image as the non-blinking correction processing; An information processing device according to any one of (1) to (16).
  • the exposure data is data acquired by a multi-shutter technique in which an exposure start and an exposure end are set for each pixel in a pixel block including a plurality of pixels;
  • An information processing device according to any one of (1) to (17).
  • a sensor for generating exposure data a blinking detection unit that detects the presence or absence of blinking and its coordinates from an image based on the exposure data;
  • a blinking correction processing unit that performs a blinking correction process to correct pixel values of the image so as to suppress blinking of the image;
  • a non-blinking correction processing unit that performs a non-blinking correction process to correct pixel values of the image so as to adjust brightness of the image;
  • a synthesis processing unit that synthesizes the image that has been subjected to the blinking correction processing and the image that has been subjected to the non-blinking correction processing based on the presence or absence of blinking and the coordinates;
  • An imaging device comprising: (20) The information processing device Detecting the presence or absence
  • Imaging device 10 Sensor 11 Pixel array section 12 Vertical drive section 12a Vertical transfer timing circuit 12b Shutter/reset control circuit 13 Column signal processing section 13a Amplifier 13b ADC 14 Control unit 15 Signal line 15a Control line 16 Signal line 17 Signal line 18 Signal line 20 Processing unit 21 Blinking detection unit 22 Blinking correction processing unit 23 Storage unit 24 Non-blinking correction processing unit 24a Amplifier 25 Combining processing unit 100 Pixel 101 Photoelectric conversion unit 102 Charge holding unit 103 Reset element 104 Transfer element 105 Selection element A1 Pixel block D1 Target block D2 Scanning block E1 Mix ratio setting graph

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

実施形態に係る情報処理装置は、露光データに基づく画像から点滅の有無および座標を検出する点滅検出部と、前記画像の点滅を抑えるように前記画像の画素値を補正する点滅補正処理を行う点滅補正処理部と、前記画像の明るさを調整するように前記画像の画素値を補正する非点滅補正処理を行う非点滅補正処理部と、前記点滅の有無および座標に基づいて、前記点滅補正処理が行われた前記画像および前記非点滅補正処理が行われた前記画像を合成する合成処理部と、を備える。

Description

情報処理装置、撮像装置および情報処理方法
　本開示は、情報処理装置、撮像装置および情報処理方法に関する。
　交通信号機などの信号機は、例えば、発光ダイオード（ＬＥＤ）を有する。ＬＥＤを有する信号機は、商用電源により駆動され、交流電源周波数（例えば、５０または６０Ｈｚ）の周期に従って点滅する。一方、自動車などの移動体に搭載される撮像装置は、一定の周期で撮像を行う。撮像条件によっては、消灯状態の信号機が撮像されることがある。このため、点灯状態の信号機を撮像するための技術が提案されている（例えば、特許文献１参照）。
特開２０１３－０３８６００号公報
　撮像装置が点滅する信号機を撮像する場合、例えば、信号機の点滅の周期に応じて周期的な輝度変化（明るさの変化）、すなわちフリッカが撮像画像に現れることがある。このため、撮像画像のフリッカを抑えることが求められている。
　そこで、本開示では、撮像画像のフリッカを抑えることが可能な情報処理装置、撮像装置および情報処理方法を提供する。
　実施形態に係る情報処理装置は、露光データに基づく画像から点滅の有無および座標を検出する点滅検出部と、前記画像の点滅を抑えるように前記画像の画素値を補正する点滅補正処理を行う点滅補正処理部と、前記画像の明るさを調整するように前記画像の画素値を補正する非点滅補正処理を行う非点滅補正処理部と、前記点滅の有無および座標に基づいて、前記点滅補正処理が行われた前記画像および前記非点滅補正処理が行われた前記画像を合成する合成処理部と、を備える。
　実施形態に係る撮像装置は、露光データを生成するセンサと、前記露光データに基づく画像から点滅の有無および座標を検出する点滅検出部と、前記画像の点滅を抑えるように前記画像の画素値を補正する点滅補正処理を行う点滅補正処理部と、前記画像の明るさを調整するように前記画像の画素値を補正する非点滅補正処理を行う非点滅補正処理部と、前記点滅の有無および座標に基づいて、前記点滅補正処理が行われた前記画像および前記非点滅補正処理が行われた前記画像を合成する合成処理部と、を備える。
　実施形態に係る情報処理方法は、情報処理装置が、前記露光データに基づく画像から点滅の有無および座標を検出することと、前記画像の点滅を抑えるように前記画像の画素値を補正する点滅補正処理を行うことと、前記画像の明るさを調整するように前記画像の画素値を補正する非点滅補正処理を行うことと、前記点滅の有無および座標に基づいて、前記点滅補正処理が行われた前記画像および前記非点滅補正処理が行われた前記画像を合成することと、を含む。
実施形態に係る撮像装置の構成例を示す図である。 実施形態に係るセンサの構成例を示す図である。 実施形態に係る画素アレイ部の画素ブロックを説明するための図である。 実施形態に係る隣接４画素が同色であるベイヤー配列を説明するための図である。 実施形態に係る隣接９画素が同色であるベイヤー配列を説明するための図である。 実施形態に係る画素の構成例を示す図である。 実施形態に係る画素のリセットおよび転送のタイミングチャートを示す図である。 実施形態に係るサンプリング露光のタイミングチャートを示す図である。 実施形態に係るサンプリング露光の他のタイミングチャートを示す図である。 実施形態に係るサンプリング露光のフレームごとの露光パターンを示す図である。 実施形態に係る信号処理の処理例を説明するための図である。 実施形態に係る信号機の点滅のサンプリング露光を説明するための図である。 実施形態に係るサンプリング露光データを説明するための図である。 実施形態に係る点滅検出処理の流れを示すフローチャートである。 実施形態に係る注目ブロックおよび走査ブロックを説明するための図である。 実施形態に係る信号機の点滅の露光データを説明するための図である。 実施形態に係る輪郭や線の露光データを説明するための図である。 実施形態に係るＭｉｘ比の算出を説明するための図である。 実施形態に係る点滅補正処理部の処理例を説明するための図である。 実施形態に係る非点滅補正処理部の処理例を説明するための図である。 実施形態に係る合成処理部の処理例を説明するための図である。 実施形態に係るサンプリング露光の変形例１のタイミングチャートを示す図である。 実施形態に係るサンプリング露光の変形例２のタイミングチャートを示す図である。 実施形態に係るセンサの一部の詳細な構成例１を示す図である。 実施形態に係るセンサの一部の詳細な構成例１を示す図である。 実施形態に係るセンサの一部の詳細な構成例２を示す図である。 実施形態に係るセンサの一部の詳細な構成例２を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。実施形態は、実施例や変形例なども含む。なお、実施形態により本開示に係る技術が限定されるものではない。また、実施形態において、基本的に同一の部位には同一の符号を付することにより重複する説明を省略する。
　以下に示す項目順序に従って本開示を説明する。
　１．実施形態
　１－１．撮像装置の構成例
　１－２．センサの構成例
　１－３．画素アレイ部の構成例
　１－４．画素の構成例
　１－５．サンプリング露光の露光例
　１－６．信号処理の処理例
　１－６－１．全体の処理例
　１－６－２．点滅検出部の処理例
　１－６－３．点滅補正処理部の処理例
　１－６－４．非点滅補正処理部の処理例
　１－６－５．合成処理部の処理例
　１－７．変形例
　１－７－１．変形例１
　１－７－２．変形例２
　１－８．センサの詳細な構成例
　１－８－１．構成例１
　１－８－２．構成例２
　１－９．作用・効果
　２．他の実施形態
　３．応用例
　４．付記
　＜１．実施形態＞
　＜１－１．撮像装置の構成例＞
　本実施形態に係る撮像装置１の構成例について図１を参照して説明する。図１は、本実施形態に係る撮像装置１の構成例を示す図である。
　図１に示すように、撮像装置１は、センサ１０と、処理部２０とを備える。
　センサ１０は、被写体の画像データ（例えば、サンプリング露光データ）を生成するイメージセンサである。例えば、センサ１０は、マルチシャッタ技術によりサンプリング露光データを取得する。図１の例では、センサ１０に対して光を集光するレンズなどの光学系が図示されていないが、その光学系は設けられることが望ましい。
　処理部２０は、点滅検出部２１と、点滅補正処理部２２と、保存部２３と、非点滅補正処理部２４と、合成処理部２５とを有する。この処理部２０は、情報処理装置の一例である。
　点滅検出部２１は、サンプリング露光データから、交通信号機などの信号機の点滅（例えば、空間的に規則的な輝度変化）の有無および座標を検出する。点滅検出結果は、例えば、点滅有無や点滅座標などの情報を含む。点滅座標は、例えば、画像のＸＹ座標などを含む。点滅有無や点滅座標は、例えば、点滅エリアや非点滅エリア、それら以外のエリアの特定などに用いられる。
　点滅補正処理部２２は、サンプリング露光データの信号機の点滅を抑えるように画像の画素値を補正する点滅補正処理を行う。例えば、点滅補正処理部２２は、サンプリング露光データの画素値を平均化する。保存部２３は、前述の補正処理のため、必要な情報を保存する。
　非点滅補正処理部２４は、サンプリング露光データの画像の明るさを調整するように（例えば、明るさを上げるように）画像の画素値を補正する非点滅補正処理を行う。例えば、非点滅補正処理部２４は、サンプリング露光データの画素値を増幅する。
　合成処理部２５は、点滅検出結果に基づいて、点滅補正処理後の画像および非点滅補正処理後の画像を合成する合成処理を行い、合成処理後の画像を後段の現像処理に出力する。例えば、合成処理部２５は、点滅検出結果に応じて合成比を変えて合成処理を行う。合成処理後の画像は、例えば、信号機の点滅が補正されたクワッドベイヤー配列の生データである。
　このような点滅検出部２１、点滅補正処理部２２、保存部２３、非点滅補正処理部２４および合成処理部２５などについて詳しくは後述する。
　なお、前述の現像処理としては、例えば、各種の現像処理が用いられる。一例として、入力画像の画素配列を異なる画素配列に変換するリモザイク処理が実行されてもよい。リモザイク処理では、例えば、クワッドベイヤー配列を持つ画像がベイヤー配列に変換される。この変換では、例えば、入力画像の構成画素中、色変換処理対象となる変換対象画素位置における八方向の画素値勾配が検出され、八方向の画素値勾配に基づいて、変換対象画素の補間画素値算出態様が決定され、決定された処理態様に従って変換対象画素位置の補間画素値が算出され、その補間画素値が用いられる。このような処理はあくまでも一例であり、他の処理が実行されてもよい。
　処理部２０は、例えば、ハードウェアおよびソフトウェアの両方または一方により構成されてもよく、その構成は特に限定されるものではない。処理部２０は、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）、ＣＰＬＤ（Complex　Programmable　Logic　Device）などの集積回路により実現されてもよい。また、処理部２０は、例えば、ＣＰＵ（Central　Processing　Unit）やＭＣＵ（Micro　Controller　Unit）、ＭＰＵ（Micro　Processor　Unit）などのコンピュータによって、ＲＯＭ（Read　Only　Memory）に予め記憶されたプログラムがＲＡＭ（Random　Access　Memory）などを作業領域として実行されることにより実現されてもよい。
　撮像装置１は、例えば、自動車やドローン、自動配送ロボットなどの移動体に用いられる。自動配送ロボットは、例えば、屋外や屋内を走行する。屋外で自律走行をする自動配達ロボットは、道路の信号機に従って走行および停止をする。また、屋内（例えば、工場内）で自律走行をする自動搬送ロボットは、マルチドットＬＥＤ掲示板（表示部）に従って走行および停止をする。マルチドットＬＥＤ掲示板は、例えば、道路の信号機と同様の表示、あるいは、矢印の表示や文字の表示などを行うことが可能である。マルチドットＬＥＤ掲示板は、信号機の一例である。なお、撮像装置１は、信号機以外にも、点滅を伴う表示部を撮像する場合にも用いられる。
　＜１－２．センサの構成例＞
　本実施形態に係るセンサ１０の構成例について図２から図５を参照して説明する。図２は、本実施形態に係るセンサ１０の構成例を示す図である。
　図２に示すように、センサ１０は、画素アレイ部１１と、垂直駆動部１２と、カラム信号処理部１３と、制御部１４とを備える。
　画素アレイ部１１は、複数の画素１００が配置されて構成されたものである。図２の例では、各画素１００は、二次元の行列状に配列されている。画素１００は、入射光の光電変換を行う光電変換部を備えており、照射された入射光に基づいて画素信号（画素値）を生成するものである。光電変換部としては、例えば、フォトダイオードが用いられる。
　各画素１００のそれぞれには、信号線１５及び信号線１６が接続される。画素１００は、信号線１５により伝達される制御信号により制御されて画素信号を生成し、生成した画素信号を、信号線１６を介してカラム信号処理部１３に出力する。信号線１５は、二次元行列の行ごとに配置され、例えば、一行に配置された複数の画素１００に共通に接続される。信号線１６は、二次元行列の列ごとに配置され、例えば、一列に配置された複数の画素１００に共通に接続される。
　垂直駆動部１２は、画素１００の制御信号を生成するものである。この垂直駆動部１２は、画素アレイ部１１の二次元行列の行ごとに制御信号を生成し、生成した制御信号を、各信号線１５を介して各画素１００に出力する。
　カラム信号処理部１３は、画素１００により生成された画素信号の処理を行うものである。このカラム信号処理部１３は、所定数の画素１００のそれぞれから信号線１６を介して伝達される画素信号の処理を同時に行う。例えば、カラム信号処理部１３は、画素１００により生成された画素信号をアナログからデジタルに変換するアナログデジタル変換、また、画素信号のオフセット誤差を除去する相関二重サンプリングなどを行う。処理後の画素信号、すなわち画像データ（例えば、サンプリング露光Ｒｅａｄｏｕｔデータ）は、処理部２０に対して出力される。
　制御部１４は、垂直駆動部１２およびカラム信号処理部１３を制御するものである。この制御部１４は、外部回路などから入力されたクロックや動作モードなどを指令するデータに基づいて、垂直駆動部１２およびカラム信号処理部１３を制御する制御信号を生成する。そして、制御部１４は、垂直駆動部１２に信号線１７を介して制御信号を出力し、また、カラム信号処理部１３に信号線１８を介して制御信号を出力し、垂直駆動部１２及びカラム信号処理部１３を制御する。
　前述のようなセンサ１０は、基本的に、被写体から入射する光を受光して光電変換し、光量に応じた電気信号、すなわち画像信号（画像データ）を出力する。撮像装置１の種類は、特に限定されるものではなく、表面照射型でも裏面照射型であってもよい。また、撮像装置１は、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）、あるいは、他の方式のいずれのものであってもよい。
　＜１－３．画素アレイ部の構成例＞
　本実施形態に係る画素アレイ部１１の構成例について図３から図５を参照して説明する。図３は、本実施形態に係る画素アレイ部１１の画素ブロックＡ１を説明するための図である。図４は、本実施形態に係る隣接４画素（隣接する四つの画素１００）が同色であるベイヤー配列を説明するための図である。図５は、本実施形態に係る隣接９画素（隣接する九つの画素１００）が同色であるベイヤー配列を説明するための図である。
　図３に示すように、画素アレイ部１１には、複数の画素ブロックＡ１が設定されている。画素ブロックＡ１は、縦横２×２で隣接する四つの画素１００が一組となるブロックである。図３の例では、画素ブロックＡ１における四つの画素１００は、（１）～（４）の数字により区別されている。また、図３中の水平方向は行方向に相当し、図３中の垂直方向は列方向に相当する（他の図も同様）。画素１００は、カラーフィルタ（例えば、赤色、緑色、青色など）を有する画素である。ただし、カラー表示の必要がなければ、画素１００は、カラーフィルタを有さない画素であってもよい。
　図４に示すように、画素アレイ部１１は、画素ブロックＡ１が縦横２×２でＲＧＧＢ配列（赤色、緑色、緑色および青色の配列）を繰り返すベイヤー配列（クワッドベイヤー配列）に設定されている。画素ブロックＡ１は、縦横２×２で隣接する同色の四つの画素１００が一組となるブロックである。図４の例でも、図３の例と同様、画素ブロックＡ１における四つの画素１００は、（１）～（４）の数字により区別されている。
　なお、このようなベイヤー配列が用いられるが、他のベイヤー配列が用いられてもよい。例えば、図５に示すように、画素アレイ部１１は、図４と同様、画素ブロックＡ１が縦横２×２でＲＧＧＢ配列（赤色、緑色、緑色および青色の配列）を繰り返すベイヤー配列に設定されてもよい。画素ブロックＡ１は、縦横３×３で隣接する同色の九つの画素１００が一組となるブロックである。図５の例では、画素ブロックＡ１における九つの画素１００は、（１）～（９）の数字により区別されている。このようなベイヤー配列が用いられてもよい。
　＜１－４．画素の構成例＞
　本実施形態に係る画素１００の構成例について図６および図７を参照して説明する。図６は、本実施形態に係る画素１００の構成例を示す図である。図７は、本実施形態に係る画素１００のリセットおよび転送のタイミングチャートを示す図である。
　図６に示すように、画素１００は、光電変換部１０１と、電荷保持部１０２と、リセット素子１０３と、転送素子１０４と、選択素子１０５とを備える。
　光電変換部１０１は、入射光の光電変換を行うものである。光電変換部１０１としては、例えば、フォトダイオードが用いられる。
　電荷保持部１０２は、光電変換部１０１の光電変換により生成される電荷を保持するものである。電荷保持部１０２としては、例えば、容量が用いられる。
　リセット素子１０３は、光電変換部１０１の電荷をリセットするものである。リセット素子１０３は、光電変換部１０１の一端に接続されている。リセットは、例えば、光電変換部１０１と電源線との間を導通させて光電変換部１０１の電荷を排出することにより行われる。リセット素子１０３に対する制御信号（Ｂ１．リセット）は、前述の垂直駆動部１２から入力される。リセット素子１０３としては、例えば、トランジスタが用いられる。
　転送素子１０４は、光電変換部１０１の光電変換により生成される電荷を光電変換部１０１から電荷保持部１０２に転送するものである。転送素子１０４は、光電変換部１０１と電荷保持部１０２との間に接続されている。転送素子１０４に対する制御信号（Ｂ２．転送）は、前述の垂直駆動部１２から入力される。転送素子１０４としては、例えば、トランジスタが用いられる。
　選択素子１０５は、電荷保持部１０２により保持された電荷を信号線１６に送るものである。この選択素子１０５は、読み出し対象の画素１００を選択するものとして機能する。選択素子１０５は、電荷保持部１０２と信号線１６の間に接続されている。選択素子１０５に対する制御信号（Ｂ３．読み出し）は、前述の垂直駆動部１２から入力される。選択素子１０５としては、例えば、トランジスタが用いられる。
　このような画素１００によれば、電荷蓄積用の電荷保持部１０２が存在するため、露光（電荷の蓄積）と読み出し（電荷の読み出し）を独立に制御することができる。この画素１００の構造は、マルチシャッタを実現するセンサ１０の画素構造の一例である。なお、図６に示す画素１００の構成は、あくまでも例示であり、他の構成であってもよい。
　図７に示すように、制御信号（Ｂ１．リセット）がオンからオフになるタイミングで露光が開始し、制御信号（Ｂ２．転送）がオンになるタイミングで露光が終了する。リセットのオンパルスの終端（露光開始）から転送のオンパルスの始端（露光終了）までが露光時間となる。例えば、隣接する複数の画素１００に対して、リセットと転送を異なるタイミングに制御することで、連続的な露光を実現することができる。なお、読み出しは、例えば、垂直方向（列方向）に一ラインずつ順次行われる。
　＜１－５．サンプリング露光の露光例＞
　本実施形態に係るサンプリング露光の露光例について図８から図１０を参照して説明する。図８は、本実施形態に係るサンプリング露光のタイミングチャートを示す図である。図９は、本実施形態に係るサンプリング露光の他のタイミングチャートを示す図である。図１０は、本実施形態に係るサンプリング露光のフレームごとの露光パターンを示す図である。
　図８に示すように、信号機の点滅の周波数は、例えば、１２０Ｈｚまたは１００Ｈｚである。点滅の周期、例えば、１／１２０（ｓ）または１／１００（ｓ）である。サンプリング露光間隔は１／４０（ｓ）であり、サンプリング露光区間は１／８０（ｓ）であり、露光休止区間は１／８０（ｓ）である。露光の動作は、例えば、サンプリング露光、露光休止、サンプリング露光および露光休止の繰り返しである。図８中の数値は、あくまでも例示である（他の図も同様）。
　マルチシャッタ技術を用いるサンプリング露光では、信号機の点滅を輝度の変化として捉えられるような露光時間（例えば、２ｍｓ）が設定されている。マルチシャッタ技術では、画素ブロックＡ１の画素１００ごとに、サンプリング露光の露光開始および露光終了のタイミングが異なる。図８中の（１）～（４）の数字は、図３や図４中の（１）～（４）の数字に対応する（他の図も同様）。図８の例では、サンプリング露光は、（１）～（４）の画素１００の順序で実行される。これは、全ての画素ブロックＡ１で同様である。
　全ての画素ブロックＡ１において、（１）～（４）の画素１００ごとの露光時間は、時間的に重ならない。例えば、（１）の画素１００の露光終了のタイミングの後に、（２）の画素１００の露光開始のタイミングが到来する。同様に、（２）の画素１００の露光終了のタイミングの後に、（３）の画素１００の露光開始のタイミングが到来する。（３）の画素１００の露光終了のタイミングの後に、（４）の画素１００の露光開始のタイミングが到来する。
　このような条件下で、サンプリング露光区間（１／８０ｓ）において、サンプリング露光が（１）～（４）の画素１００の順序で実行され、露光休止区画（１／８０ｓ）において、サンプリング露光データがセンサ１０から読み出される。信号機の点滅の一周期に対して、複数回のサンプリング露光を行うことで、信号機の点滅をサンプリングすることができる。マルチシャッタ機能（マルチシャッタ技術）により、（１）～（４）の画素１００のそれぞれの露光の開始および終了を独立に制御することで、全ての画素ブロックＡ１において、画素ブロックＡ１内の四つの画素１００を連続的に露光させることができる。
　なお、図８の例では、（１）～（４）の画素１００ごとの露光時間は、時間的に重ならないが、これに限定されるものではなく、時間的に重なってもよい。図９に示すように、（１）～（４）の画素１００ごとの露光時間は、時間的に重なる。例えば、（１）の画素１００の露光終了のタイミングの前に、（２）の画素１００の露光開始のタイミングが到来する。同様に、（２）の画素１００の露光終了のタイミングの前に、（３）の画素１００の露光開始のタイミングが到来する。（３）の画素１００の露光終了のタイミングの前に、（４）の画素１００の露光開始のタイミングが到来する。
　すなわち、サンプリング露光のタイミングは、図８に示すタイミングに限定されるものではなく、例えば、図９に示すタイミングであってもよく、あるいは、図８や図９に示すタイミング以外のタイミングであってもよい。また、（１）～（４）の画素１００のそれぞれの露光時間は同じであるが、異なっていてもよく、図８や図９より長くあるいは短く設定されてもよい。例えば、露光時間は、センサ１０の周囲の明るさが通常時（所定の明るさ）より暗いとき、通常時の露光時間（所定の露光時間）より長く設定される。
　図１０に示すように、露光パターンに関して、各フレーム（例えば、フレーム１、フレーム２、フレーム３、フレーム４）において、信号機の点滅の周波数が１２０Ｈｚである場合には、同じ露光パターンが繰り返される。一方、信号機の点滅の周波数が１００Ｈｚである場合には、異なる露光パターンが交互に繰り返される。なお、フレームは、図８または図９中のサンプリング露光間隔（例えば、サンプリング露光区画）ごとに得られるものである。
　サンプリング露光をした結果、点滅している信号機を撮影すると、空間状の明滅パターンが得られる。空間上の明滅の周期的な露光パターンの形状は１００Ｈｚの信号機と１２０Ｈｚの信号機で異なるが、センサ１０はどちらの信号機でも明滅の周期的な露光パターンを検出することができる。サンプリング露光によって、点滅をしている信号機の露光データは、空間的に規則的な輝度変化を持つ。この規則的な輝度変化を捉え、その輝度変化を補正することでフリッカを抑圧することができる。例えば、１２０Ｈｚの信号機のフリッカや１００Ｈｚの信号機のフリッカのどちらも抑えることができる。
　＜１－６．信号処理の処理例＞
　＜１－６－１．全体の処理例＞
　本実施形態に係る信号処理の全体の処理例について図１１から図１３を参照して説明する。図１１は、本実施形態に係る信号処理の処理例を説明するための図である。図１２は、本実施形態に係る信号機の点滅のサンプリング露光を説明するための図である。図１３は、本実施形態に係るサンプリング露光データを説明するための図である。
　図１１に示すように、信号機の点滅のサンプルリング露光Ｃ１がセンサ１０に対して行われる。これに応じて、サンプリング露光データＣ２がセンサ１０から出力される。点滅検出部２１では、サンプリング露光データＣ２に対する点滅検出処理によって点滅検出結果Ｃ３が得られる。点滅検出結果Ｃ３は、例えば、点滅有無や点滅座標などの情報を含む。点滅補正処理部２２では、サンプリング露光データＣ２に対する点滅補正処理によって点滅補正処理後の画像が得られ、非点滅補正処理部２４では、サンプリング露光データＣ２に対する非点滅補正処理によって非点滅補正処理後の画像が得られる。合成処理部２５では、点滅補正処理後の画像と非点滅補正処理後の画僧が合成され、合成処理後の画像Ｃ４が得られる。その後、後段の現像処理では、合成処理後の画像Ｃ４が現像処理され、後段の現像処理後の画像Ｃ５が得られる。この一例の処理を構成する各処理について詳しくは後述する。
　図１２に示すように、信号機の点滅のサンプルリング露光Ｃ１において、露光（１）は各画素ブロックＡ１のそれぞれの（１）の画素１００によるサンプリング露光である。露光（２）は、各画素ブロックＡ１のそれぞれの（２）の画素１００によるサンプリング露光である。露光（３）は、各画素ブロックＡ１のそれぞれの（３）の画素１００によるサンプリング露光である。露光（４）は、各画素ブロックＡ１のそれぞれの（４）の画素１００によるサンプリング露光である。このようなサンプリング露光が行われる。それぞれの露光（１）～露光（４）では、間引きが実行される。間引きが実行された露光データが現像されると、図１２に示すような画像となる。
　サンプリング露光では、全ての画素１００を同時に露光させず、隣接する複数の画素１００を一つの単位（画素ブロックＡ１）として、画素ブロックＡ１内の各画素１００を順番に露光する。そのため、１回のサンプリングで使われる画素１００（露光する画素１００）は、１／隣接する複数の画素１００の数となる。全ての画素１００に対して間引きが実行され、露光がシーケンシャルに実行される。
　このとき、それぞれのサンプリング露光は、空間上で異なる、隣接する複数の画素１００（画素ブロックＡ１）が用いられる。このため、それぞれのサンプリング露光データが全ての画素１００のデータとして集合すると、それぞれのサンプリング露光に信号機の点滅による輝度差がある場合、空間方向の輝度差として現れる。その空間方向に現れる輝度差は、隣接する複数の画素１００を一つの単位（画素ブロックＡ１）として、繰り返しパターンとなる。なお、それぞれのサンプリング露光データを集合させたデータが１フレームの全画素データ（サンプリング露光データＣ２）として扱われる。
　図１３に示すように、サンプリング露光データＣ２は、各露光（１）～露光（４）のそれぞれの露光データ（間引きが実行されたデータ）が合わせられたものである。空間的に規則的な輝度変化である明滅パターンが現れる。サンプリング露光データＣ２から、撮影画角内の「信号機が点滅している領域（例えば、空間的に規則的な輝度変化）」が検出され、点滅検出結果Ｃ３が得られる。
　＜１－６－２．点滅検出部の処理例＞
　本実施形態に係る点滅検出部２１の処理例について図１４から図１８を参照して説明する。図１４は、本実施形態に係る点滅検出処理の流れを示すフローチャートである。図１５は、本実施形態に係る注目ブロックＤ１および走査ブロックＤ２を説明するための図である。図１６は、本実施形態に係る信号機の点滅の露光データを説明するための図である。図１７は、本実施形態に係る輪郭や線の露光データを説明するための図である。図１８は、本実施形態に係るＭｉｘ比（Ｍｉｘ比率）の算出を説明するための図である。
　図１４に示すように、ステップＳ１１において、点滅検出部２１は、隣接複数画素を１つの画素ブロックＡ１とし、注目ブロックＤ１および周辺ブロック（画素ブロックＡ１）を（Ｎ×Ｎ）サイズで選択する。ステップＳ１２において、点滅検出部２１は、（Ｎ×Ｎ）のブロックのそれぞれに対して、画素値の最大値と最小値を求める。
　ここで、図１５に示すように、（Ｎ×Ｎ）のブロックは、サンプリング露光データＣ２の画像に対して走査される走査ブロックＤ２である。走査ブロックＤ２は、中央に位置する注目ブロックＤ１と、その注目ブロックＤ１の周囲に存在する複数の周辺ブロックを含む。注目ブロックＤ１および周辺ブロックのそれぞれは、画素ブロックＡ１である。図１５の例では、Ｎ＝３であり、ブロック数は９である。
　図１４に戻り、ステップＳ１３において、点滅検出部２１は、（Ｎ×Ｎ）のブロック毎に、最大値および最小値から最大値／最小値を求める。ステップＳ１４において、点滅検出部２１は、（Ｎ×Ｎ）の数だけ得られた最大値／最小値を大きい順にソートする。ステップＳ１５において、点滅検出部２１は、Ｎ＋１番目に大きい最大値／最小値を選択する。
　ステップＳ１６において、点滅検出部２１は、選択した最大値／最小値が第１閾値以下であるか否かを判断する。点滅検出部２１は、選択した最大値／最小値が第１閾値以下でない（第１閾値よりも大きい）と判断すると（ステップＳ１６：Ｎｏ）、ステップＳ１７において、注目ブロックＤ１である注目エリアを点滅エリアと判定する。
　一方、ステップＳ１６において、点滅検出部２１は、選択した最大値／最小値が第１閾値以下であると判断すると（ステップＳ１６：Ｙｅｓ）、ステップＳ１８において、点滅検出部２１は、選択した最大値／最小値が第２閾値以上であるか否かを判断する。第２閾値は、第１閾値よりも小さい。
　ステップＳ１８において、点滅検出部２１は、選択した最大値／最小値が第２閾値以上でない（第２閾値よりも小さい）と判断すると（ステップＳ１８：Ｎｏ）、ステップＳ１９において、注目エリアを非点滅エリアと判定する。
　一方、ステップＳ１８において、点滅検出部２１は、選択した最大値／最小値が第２閾値以上であると判断すると（ステップＳ１８：Ｙｅｓ）、ステップＳ２０において、注目エリアをＭｉｘエリア（合成エリア）と判定し、Ｍｉｘ比（合成比）を算出する。
　このような処理が、水平方向（Ｘ方向）と垂直方向（Ｙ方向）に走査ブロックＤ２をずらしながら（図１５参照）、画像の全エリアに対して実行される。これにより、点滅の誤検出を抑えることができる。図１６に示すように、信号機の点滅は空間的に広がっている。このため、注目ブロックＤ１と各周辺ブロックの画素値は同じになる。一方、図１７に示すように、輪郭や線は空間的に広がっていない。このため、注目ブロックＤ１と各周辺ブロックの画素値が同じにならない。このような差異があるため、輪郭や線と点滅とを区別して検出することができる。
　ステップＳ２０のＭｉｘ比（Ｍｉｘ比率）の算出では、点滅検出部２１は、図１８に示すように、Ｍｉｘ比設定グラフＥ１に基づいてＭｉｘ比を算出する。Ｍｉｘ比は、点滅エリアと非点滅エリアとのＭｉｘ比である。図１８の例では、点滅検出部２１は、Ｎ＋１番目に大きい最大値／最小値が第１閾値と第２閾値の間となる場合、Ｍｉｘ比を０％から１００％の間で変化させて設定する。Ｍｉｘ比は、合成処理部２５の合成処理で用いられる。Ｍｉｘ比設定グラフＥ１は、Ｍｉｘ比設定情報（合成比設定情報）の一例である。
　以上のように、点滅検出部２１は、サンプリング露光データから、交通信号機などの信号機の点滅による空間的に規則的な輝度変化の有無および座標を検出する（点滅有無および点滅座標検出）。点滅をしている信号機のサンプリング露光データは、空間的に規則的な輝度変化を持つ。この規則的な輝度変化を捉え、それを補正することで、フリッカを抑制することができる。フリッカは、例えば、明滅による明るさの変化が画像に写ってしまう現象である。
　＜１－６－３．点滅補正処理部の処理例＞
　本実施形態に係る点滅補正処理部２２の処理例について図１９を参照して説明する。図１９は、本実施形態に係る点滅補正処理部２２の処理例を説明するための図である。
　図１９に示すように、点滅補正処理部２２は、画素ブロックＡ１の隣接複数画素１００の各画素値の平均値を算出し（ステップＳ３１）、算出した平均値で画素ブロックＡ１の隣接複数画素１００の各画素値を置き換える（ステップＳ３２）。そして、点滅補正処理部２２は、置き換えた隣接複数画素１００の各画素値（現在値）と同じ座標の過去の隣接複数画素１００の各画素値（過去値）を読み出し、画素１００ごとに現在値および過去値を用いて合成値を算出する。そして、点滅補正処理部２２は、隣接複数画素１００の各画素値として合成値を用いる。合成値は、例えば、（現在値＋過去値）／２である。このような一連の処理は、全画素ブロックＡ１に対して実行される。
　このように、点滅補正処理部２２は、信号機の点滅による空間的に規則的な輝度変化を画素ブロックＡ１内の四つの画素１００（隣接する四つの画素１００）の平均値に置き換える変換処理を行う。また、点滅補正処理部２２は、求めた四つの画素１００の平均値の時間的な変動を抑えるため、今回の四つの画素１００の平均値と、対応する過去（前回）の四つの画素１００の平均値との平均を算出して出力する算出処理を行う。保存部２３は、前述の算出処理のため、過去（前回）の四つの画素１００の平均値を保存する。
　＜１－６－４．非点滅補正処理部の処理例＞
　本実施形態に係る非点滅補正処理部２４の処理例について図２０を参照して説明する。図２０は、本実施形態に係る非点滅補正処理部２４の処理例を説明するための図である。
　図２０に示すように、非点滅補正処理部２４は、増幅器２４ａを有する。この非点滅補正処理部２４は、増幅器２４ａにより画素ブロックＡ１ごと、すなわち、画素１００ごとにゲインを上げる非点滅補正処理を行う。これにより、入力信号が大きくされて出力される。つまり、非点滅補正処理後の画像の明るさが上げられる。
　＜１－６－５．合成処理部の処理例＞
　本実施形態に係る合成処理部２５の処理例について図２１を参照して説明する。図２１は、本実施形態に係る合成処理部２５の処理例を説明するための図である。
　図２１に示すように、合成処理部２５は、点滅検出部２１により求められた空間的に規則的な輝度変化の有無および座標（点滅検出結果）に基づいて、点滅補正処理後の画像（点滅補正処理部２２からの信号）と非点滅補正処理後の画像（非点滅補正処理部２４からの信号）を合成する。このとき、合成処理部２５は、Ｍｉｘ比を変えて点滅補正処理後の画像と非点滅補正処理後の画像を合成する。Ｍｉｘ比は、点滅検出部２１によりＭｉｘ比設定グラフＥ１に基づいて算出されたＭｉｘ比である。
　Ｍｉｘ比は、画素ブロックＡ１（注目ブロックＤ１）ごとに算出されている（図１４参照）。例えば、注目ブロックＤ１である注目エリアが点滅エリアである場合、Ｍｉｘ比はＭｉｘ比設定グラフＥ１から１００％に決定されている。また、注目エリアが非点滅エリアである場合、Ｍｉｘ比はＭｉｘ比設定グラフＥ１から０％に決定されている。注目エリアが合成エリアである場合、Ｍｉｘ比はＭｉｘ比設定グラフＥ１から所定比に決定されている。このようなＭｉｘ比が用いられ、画素ブロックＡ１ごとに点滅部補正処理からの信号と非点滅部補正処理からの信号が合成され、合成画像が生成される。
　なお、点滅検出において、Ｎ＋１番目に大きい最大値／最小値が第１閾値と第２閾値との間になる場合に、Ｍｉｘ比が０％から１００％の間で連続的に変化することになる。合成処理では、例えば、点滅部補正処理からの信号と非点滅部補正処理からの信号を下記のような条件に基づいて合成する。
　Ｎ＋１番目に大きい最大値／最小値が第１閾値以上である場合には、Ｍｉｘ比は１．０（１００％）であり、補正出力は点滅補正処理部２２からの信号となる。Ｎ＋１番目に大きい最大値／最小値が第２閾値以下である場合には、Ｍｉｘ比は０．０（０％）であり、補正出力は非点滅補正処理部２４からの信号となる。
　Ｎ＋１番目に大きい最大値／最小値が第１閾値と第２閾値の間である場合には、Ｍｉｘ比は、Ｍｉｘ比＝（（Ｎ＋１番目に大きい最大値／最小値）－第２閾値）／（第１閾値－第２閾値）である。補正出力は、補正出力＝Ｍｉｘ比×点滅補正処理部２２からの信号＋（１．０－Ｍｉｘ比）×非点滅補正処理部２４からの信号である。
　＜１－７．変形例＞
　＜１－７－１．変形例１＞
　本実施形態に係るサンプリング露光の変形例１について図２２を参照して説明する。図２２は、本実施形態に係るサンプリング露光の変形例１のタイミングチャートを示す図である。
　図２２に示すように、露光休止区間において露光（サンプリング露光とは別の目的の露光）が挿入され、その露光休止区画に連続するサンプリング露光区画において、露光休止区画に挿入された露光に対応する露光データが読み出されてもよい。この露光および露光データの読み出しの挿入以外は、図８に示すサンプリング露光と同じである。
　露光休止区間における（１）～（４）の画素１００ごとの露光時間は、時間的に重なる。例えば、露光休止区間における（１）～（４）の画素１００のそれぞれの露光時間は同じである。また、露光休止区間における（１）～（４）の画素１００のそれぞれの露光開始タイミングは同じであり、それぞれの露光終了タイミングも同じである。
　なお、図２２中のＴｓａｍｐ＿ｅｎｄは、サンプリング露光の読み出しの終了時刻である。露光休止区画に挿入された露光の露光終了タイミング（転送素子１０４の切断タイミング）は、例えば、Ｔｓａｍｐ＿ｅｎｄと同じ、あるいは、Ｔｓａｍｐ＿ｅｎｄよりも遅い。
　このような変形例１によれば、各画素１００のそれぞれの露光量が増加するので、例えば、夜間などの露光不足を抑えることができる。また、例えば、信号機以外の露光にも適切に対応することができる。
　＜１－７－２．変形例２＞
　本実施形態に係るサンプリング露光の変形例２について図２３を参照して説明する。図２３は、本実施形態に係るサンプリング露光の変形例２のタイミングチャートを示す図である。
　図２３に示すように、露光休止区間における（１）～（４）の画素１００のいくつかの露光時間は異なる。この露光時間が異なること以外は、図２２に示すサンプリング露光と同じである。ただし、露光休止区間における露光としては、例えば、ＨＤＲ（ハイダイナミックレンジ）が挿入される。
　露光休止区間における（１）および（３）の画素１００のそれぞれの露光時間は同じであり、露光休止区間における（２）および（４）の画素１００のそれぞれの露光時間は同じである。ただし、露光休止区間における（１）および（３）の画素１００のそれぞれの露光時間は、露光休止区間における（２）および（４）の画素１００のそれぞれの露光時間よりも長い。
　また、露光休止区間における（１）および（３）の画素１００のそれぞれの露光開始タイミングは同じであり、露光休止区間における（２）および（４）の画素１００のそれぞれの露光開始タイミングは同じである。ただし、露光休止区間における（１）および（３）の画素１００のそれぞれの露光開始タイミングは、露光休止区間における（２）および（４）の画素１００のそれぞれの露光開始タイミングよりも早い。露光休止区間における（１）～（４）の画素１００のそれぞれの露光終了タイミングは同じである。
　なお、図２３中のＴｓａｍｐ＿ｅｎｄは、図２２と同様、サンプリング露光の読み出しの終了時刻である。露光休止区画に挿入された露光の露光終了タイミング（転送素子１０４の切断タイミング）は、例えば、Ｔｓａｍｐ＿ｅｎｄと同じ、あるいは、Ｔｓａｍｐ＿ｅｎｄよりも遅い。
　このような変形例２によれば、変形例１と同様、各画素１００のそれぞれの露光量が増加するので、例えば、夜間などの露光不足を抑えることができ、また、信号機以外の露光にも適切に対応することができる。また、例えば、ダイナミックレンジ不足を補うことができる。
　なお、露光休止区間における（１）および（３）の画素１００のそれぞれの露光時間および露光開始タイミングは同じであり、露光休止区間における（２）および（４）の画素１００のそれぞれの露光時間および露光開始タイミングは同じであるが、これに限定されるものではない。例えば、他の組み合わせで露光休止区間における（１）～（４）の画素１００のいくつかの露光時間や露光開始タイミングなどが同じであってもよく、また、異なっていてもよい。
　＜１－８．センサの詳細な構成例＞
　＜１－８－１．構成例１＞
　本実施形態に係るセンサ１０の詳細な構成例１について図２４および図２５を参照して説明する。図２４および図２５のそれぞれは、本実施形態に係るセンサ１０の一部の詳細な構成例１を示す図である。
　図２４に示すように、垂直駆動部１２は、例えば、垂直転送タイミング回路（読み出しタイミング回路）１２ａと、シャッタ・リセット制御回路１２ｂと、を有する。信号線１５は、例えば、複数の制御線１５ａを含む。
　垂直転送タイミング回路１２ａは、画素アレイ部１１の行ごとに、各画素１００のそれぞれの選択素子１０５に制御信号（Ｂ３．読み出し）を出力する。シャッタ・リセット制御回路１２ｂは、画素ブロックＡ１の画素１００ごとに、画素１００のリセット素子１０３に制御信号（Ｂ１．リセット）を出力し、また、画素１００の転送素子１０４に制御信号（Ｂ２．転送）を出力する。
　図２５に示すように、カラム信号処理部１３は、例えば、複数の増幅器１３ａと、複数のＡＤＣ（Analog　to　Digital　Converter）１３ｂとを有する。増幅器１３ａおよびＡＤＣ１３ｂは、信号線１６に接続されており、互いに直列に接続されている。この増幅器１３ａおよびＡＤＣ１３ｂは、信号線１６ごとに設けられている。
　図２４および図２５に示すように、垂直方向に並ぶ各画素１００は、垂直方向に隣接する二つの画素１００ごとに一本の信号線１６に接続されている。垂直方向に隣接する二つの画素１００は、例えば、画素ブロックＡ１において垂直方向に隣接する二つの画素１００である。
　このような構成例１によれば、少ない制御線１５ａで、画素ブロックＡ１の各画素１００の露光開始と露光終了、すなわちリセットとシャッタを独立に制御することができる。電荷保持部１０２があるため、露光と読み出しを独立に行うことができ、読み出しは、垂直方向に一本の信号線１６（一ライン）ずつ順次に実行される。読み出しのタイミングは信号線１６ごとに異なるので、列方向に並ぶ各画素１００は、信号線１６を共有することができる。
　＜１－８－２．構成例２＞
　本実施形態に係るセンサ１０の詳細な構成例２について図２６および図２７を参照して説明する。図２６および図２７のそれぞれは、本実施形態に係るセンサ１０の一部の詳細な構成例２を示す図である。
　図２６に示すように、垂直駆動部１２は、前述の構成例１と同様、垂直転送タイミング回路（読み出しタイミング回路）１２ａと、シャッタ・リセット制御回路１２ｂとを有する。信号線１５も、前述の構成例１と同様、複数の制御線１５ａを含む。垂直転送タイミング回路１２ａおよびシャッタ・リセット制御回路１２ｂは、前述の構成例１と同様である。
　図２７に示すように、カラム信号処理部１３は、前述の構成例１と同様、複数の増幅器１３ａと、複数のＡＤＣ１３ｂとを有する。増幅器１３ａおよびＡＤＣ１３ｂは、前述の構成例１と同様である。
　図２６および図２７に示すように、画素ブロックＡ１の各画素１００は、画素ブロックＡ１ごとに一本の信号線１６に接続されている。画素ブロックＡ１の各画素１００は、例えば、画素ブロックＡ１において垂直方向および水平方向に隣接する四つの画素１００である。
　このような構成例２によれば、前述の構成例１と同様の効果を得ることができる。また、前述の構成例１に比べ、増幅器１３ａおよびＡＤＣ１３ｂの個数を減らすことができ、また、信号線１６の本数を減らすことができる。
　＜１－９．作用・効果＞
　以上説明したように、実施形態に係る情報処理装置（例えば、処理部２０）は、露光データ（例えば、サンプリング露光データ）に基づく画像から点滅の有無および座標を検出する点滅検出部２１と、画像の点滅を抑えるように画像の画素値を補正する点滅補正処理を行う点滅補正処理部２２と、画像の明るさを調整するように（例えば、画像の明るさを上げるように）画像の画素値を補正する非点滅補正処理を行う非点滅補正処理部２４と、点滅の有無および座標に基づいて、点滅補正処理が行われた画像および非点滅補正処理が行われた画像を合成する合成処理部２５と、を備える（図１など参照）。これにより、点滅補正処理が行われた画像および非点滅補正処理が行われた画像が合成され、合成画像が生成されるので、例えば、交通信号機などの信号機の点滅の周期に応じた、撮像画像のフリッカを抑えることができる。
　また、点滅検出部２１は、複数の画素１００を含む画素ブロックＡ１ごとに点滅の有無および座標を検出してもよい（図１４および図１５など参照）。これにより、画像の点滅を確実に検出することができる。
　また、点滅検出部２１は、画素ブロックＡ１ごとに、画素ブロックＡ１である注目エリアを点滅エリア、非点滅エリアまたは合成エリアとして決定し、合成処理部２５は、画素ブロックＡ１ごとに、注目エリアが点滅エリア、非点滅エリアまたは合成エリアであることに応じて、点滅補正処理が行われた画像および非点滅補正処理が行われた画像を合成してもよい（図１４および図１５など参照）。これにより、各画像の適切な合成を実現することができる。
　また、合成処理部２５は、点滅エリア、非点滅エリアおよび合成エリアのそれぞれの合成比に基づいて、点滅補正処理が行われた画像および非点滅補正処理が行われた画像を合成してもよい（図１４および図１５など参照）。これにより、各画像の適切な合成を実現することができる。
　また、点滅検出部２１は、注目エリアとなる画素ブロックＡ１（例えば、注目ブロックＤ１）を含む複数の画素ブロックＡ１を有する走査ブロックＤ２において、画素ブロックＡ１のそれぞれに対して画素値の最大値および最小値を求め、画素ブロックＡ１ごとに画素値の最大値／最小値を求め、画素ブロックＡ１ごとの画素値の最大値／最小値を大きい順に並べ替え、所定番目の最大値／最小値を選択し、選択した所定番目の最大値／最小値に応じて、注目エリアを点滅エリア、非点滅エリアまたは合成エリアとして決定してもよい（図１４および図１５参照）。これにより、画像の点滅を確実に検出することができる。
　また、点滅検出部２１は、選択した所定番目の最大値／最小値が第１閾値より大きい場合、注目エリアを点滅エリアとして決定し、選択した所定番目の最大値／最小値が、第１閾値より小さい第２閾値より小さい場合、注目エリアを非点滅エリアとして決定し、選択した所定番目の最大値／最小値が第１閾値と第２閾値との間である場合、注目エリアを合成エリアとして決定してもよい（図１４および図１５参照）。これにより、画像の点滅を確実に検出することができる。
　また、注目エリアとなる画素ブロックＡ１（例えば、注目ブロックＤ１）は、走査ブロックＤ２の中央に位置してもよい（図１４および図１５参照）。これにより、画像の点滅を確実に検出することができる。
　また、点滅検出部２１は、注目エリアを合成エリアとして決定した場合、点滅補正処理が行われた画像および非点滅補正処理が行われた画像の合成比を設定してもよい（図１４および図１５参照）。これにより、各画像の適切な合成を実現することができる。
　また、点滅検出部２１は、所定番目の最大値／最小値および合成比の関係を示す合成比設定情報（例えば、Ｍｉｘ比設定グラフＥ１）に基づいて、合成比を設定してもよい（図１８参照）。これにより、合成比を確実に求めることができる。
　また、点滅検出部２１は、注目エリアを点滅エリアとして決定した場合、合成処理部２５が、点滅補正処理が行われた画像だけを用いるように合成比を例えば１００％に設定し、注目エリアを非点滅エリアとして決定した場合、合成処理部２５が、非点滅補正処理が行われた画像だけを用いるように合成比を例えば０％に設定してもよい（図１４および図１５参照）。これにより、簡略な処理を実現することができる。
　また、合成処理部２５は、合成比に基づいて、点滅補正処理が行われた画像および非点滅補正処理が行われた画像を合成してもよい（図２１参照）。これにより、点滅補正処理が行われた画像および非点滅補正処理が行われた画像を適切に合成することができる。
　また、合成処理部２５は、注目エリアが点滅エリアである場合（例えば、合成比が１００％である場合）、点滅補正処理が行われた画像だけを用い、注目エリアが非点滅エリアである場合（例えば、合成比が０％である場合）、非点滅補正処理が行われた画像だけを用い、注目エリアが合成エリアである場合（例えば、合成比が０％から１００％の間である場合）、合成比に基づいて、点滅補正処理が行われた画像および非点滅補正処理が行われた画像を合成してもよい（図２１参照）。これにより、簡略な処理を実現することができる。
　また、合成処理部２５は、注目エリアが合成エリアである場合、合成比×点滅補正処理部から出力された信号＋（１００％－合成比）×非点滅補正処理部から出力された信号という式に基づいて、点滅補正処理が行われた画像および非点滅補正処理が行われた画像を合成してもよい（図２１参照）。これにより、点滅補正処理が行われた画像および非点滅補正処理が行われた画像を適切に合成することができる。
　また、点滅補正処理部２２は、点滅補正処理として、複数の画素１００を含む画素ブロックＡ１ごとに、複数の画素１００のそれぞれの画素値の平均値を算出し、算出した平均値で画素ブロックＡ１の複数の画素１００のそれぞれの画素値を置き換えてもよい（図１９参照）。これにより、点滅補正を適切に行うことができる。
　また、点滅補正処理部２２は、置き換えた画素ブロックＡ１の複数の画素１００のそれぞれの画素値である現在の画素値と、置き換えた画素ブロックＡ１と同じ座標の過去の画素ブロックＡ１の複数の画素１００のそれぞれの画素値である過去の画素値とを合成してもよい（図１９参照）。これにより、点滅補正を適切に行うことができる。
　また、点滅補正処理部２２は、（現在の画素値＋過去の画素値）／２という式に基づいて、現在の画素値および過去の画素値を合成してもよい（図１９参照）。これにより、点滅補正を適切に行うことができる。
　また、非点滅補正処理部２４は、非点滅補正処理として、画像の画素値を大きくしてもよい（図２０参照）。これにより、画像の明るさを上げるように調整することができる。
　また、露光データは、複数の画素１００を含む画素ブロックＡ１の画素１００ごとに露光開始および露光終了を設定するマルチシャッタ技術により取得されたデータであってもよい（図８から図１０など参照）。
　＜２．他の実施形態＞
　上述した実施形態（実施例、変形例も含む）に係る各構成や各処理などは、上記の実施形態以外にも種々の異なる形態にて実施されてもよい。例えば、各構成や各処理などは、上述した例に限らず、種々の態様であってもよい。また、例えば、上記文書中や図面中で示した構成、処理手順、具体的名称、あるいは、各種のデータやパラメータなどを含む情報は、特記する場合を除いて任意に変更されてもよい。
　また、上述した実施形態（実施例、変形例も含む）に係る各構成や各処理などは、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各構成や各処理などの分散・統合の具体的形態は図示のものに限られず、その全部または一部は、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散あるいは統合されて構成されてもよい。
　また、上述した実施形態（実施例、変形例も含む）に係る各構成や各処理などは、適宜組み合わせされてもよい。例えば、実施形態の少なくとも一部が他の実施形態の少なくとも一部と適宜組み合わされてもよい。また、実施形態における効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　＜３．応用例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置（例えば、電子機器）として実現されてもよい。また、例えば、本開示に係る技術は、内視鏡手術システムや顕微鏡手術システムなどに搭載される装置（例えば、電子機器）として実現されてもよい。
　図２８は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２８に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２８では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図２９は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２９には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図２８に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２８の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図２８に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　なお、図１を用いて説明した本実施形態に係る撮像装置１の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　以上説明した車両制御システム７０００において、図１を用いて説明した本実施形態に係る撮像装置１は、図２８に示した応用例の統合制御ユニット７６００に適用することができる。例えば、撮像装置１の処理部２０は、統合制御ユニット７６００のマイクロコンピュータ７６１０などに相当する。ただし、撮像装置１の処理部２０は、それに限定されるものではない。
　また、図１を用いて説明した本実施形態に係る撮像装置１の少なくとも一部の構成要素は、図２８に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１を用いて説明した本実施形態に係る撮像装置１の少なくとも一部の構成要素は、図２８に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。
　＜４．付記＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　露光データに基づく画像から点滅の有無および座標を検出する点滅検出部と、
　前記画像の点滅を抑えるように前記画像の画素値を補正する点滅補正処理を行う点滅補正処理部と、
　前記画像の明るさを調整するように前記画像の画素値を補正する非点滅補正処理を行う非点滅補正処理部と、
　前記点滅の有無および座標に基づいて、前記点滅補正処理が行われた前記画像および前記非点滅補正処理が行われた前記画像を合成する合成処理部と、
　を備える、情報処理装置。
（２）
　前記点滅検出部は、複数の画素を含む画素ブロックごとに前記点滅の有無および座標を検出する、
　（１）に記載の情報処理装置。
（３）
　前記点滅検出部は、前記画素ブロックごとに、前記画素ブロックである注目エリアを点滅エリア、非点滅エリアまたは合成エリアとして決定し、
　前記合成処理部は、前記画素ブロックごとに、前記注目エリアが前記点滅エリア、前記非点滅エリアまたは前記合成エリアであることに応じて、前記点滅補正処理が行われた前記画像および前記非点滅補正処理が行われた前記画像を合成する、
　（２）に記載の情報処理装置。
（４）
　前記合成処理部は、前記点滅エリア、前記非点滅エリアおよび前記合成エリアのそれぞれの合成比に基づいて、前記点滅補正処理が行われた前記画像および前記非点滅補正処理が行われた前記画像を合成する、
　（３）に記載の情報処理装置。
（５）
　前記点滅検出部は、前記注目エリアとなる前記画素ブロックを含む複数の前記画素ブロックを有する走査ブロックにおいて、前記画素ブロックのそれぞれに対して画素値の最大値および最小値を求め、前記画素ブロックごとに前記画素値の最大値／最小値を求め、前記画素ブロックごとの前記画素値の最大値／最小値を大きい順に並べ替え、所定番目の最大値／最小値を選択し、選択した前記所定番目の最大値／最小値に応じて、前記注目エリアを前記点滅エリア、前記非点滅エリアまたは前記合成エリアとして決定する、
　（３）または（４）に記載の情報処理装置。
（６）
　前記点滅検出部は、選択した前記所定番目の最大値／最小値が第１閾値より大きい場合、前記注目エリアを前記点滅エリアとして決定し、選択した前記所定番目の最大値／最小値が、前記第１閾値より小さい第２閾値より小さい場合、前記注目エリアを前記非点滅エリアとして決定し、選択した前記所定番目の最大値／最小値が前記第１閾値と前記第２閾値との間である場合、前記注目エリアを前記合成エリアとして決定する、
　（５）に記載の情報処理装置。
（７）
　前記注目エリアとなる前記画素ブロックは、前記走査ブロックの中央に位置する、
　（５）または（６）に記載の情報処理装置。
（８）
　前記点滅検出部は、前記注目エリアを前記合成エリアとして決定した場合、前記点滅補正処理が行われた前記画像および前記非点滅補正処理が行われた前記画像の合成比を設定する、
　（３）から（７）のいずれか一つに記載の情報処理装置。
（９）
　前記点滅検出部は、所定番目の最大値／最小値および合成比の関係を示す合成比設定情報に基づいて、前記合成比を設定する、
　（８）に記載の情報処理装置。
（１０）
　前記点滅検出部は、前記注目エリアを前記点滅エリアとして決定した場合、前記合成処理部が、前記点滅補正処理が行われた前記画像だけを用いるように前記合成比を設定し、前記注目エリアを前記非点滅エリアとして決定した場合、前記合成処理部が、前記非点滅補正処理が行われた前記画像だけを用いるように前記合成比を設定する、
　（８）または（９）に記載の情報処理装置。
（１１）
　前記合成処理部は、前記合成比に基づいて、前記点滅補正処理が行われた前記画像および前記非点滅補正処理が行われた前記画像を合成する、
　（８）から（１０）のいずれか一つに記載の情報処理装置。
（１２）
　前記合成処理部は、前記注目エリアが前記点滅エリアである場合、前記点滅補正処理が行われた前記画像だけを用い、前記注目エリアが前記非点滅エリアである場合、前記非点滅補正処理が行われた前記画像だけを用い、前記注目エリアが前記合成エリアである場合、前記合成比に基づいて、前記点滅補正処理が行われた前記画像および前記非点滅補正処理が行われた前記画像を合成する、
　（１１）に記載の情報処理装置。
（１３）
　前記合成処理部は、前記注目エリアが前記合成エリアである場合、前記合成比×前記点滅補正処理部から出力された信号＋（１００％－前記合成比）×前記非点滅補正処理部から出力された信号という式に基づいて、前記点滅補正処理が行われた前記画像および前記非点滅補正処理が行われた前記画像を合成する、
　（１２）に記載の情報処理装置。
（１４）
　前記点滅補正処理部は、前記点滅補正処理として、複数の画素を含む画素ブロックごとに、前記複数の画素のそれぞれの画素値の平均値を算出し、算出した平均値で前記画素ブロックの前記複数の画素のそれぞれの画素値を置き換える、
　（１）から（１３）のいずれか一つに記載の情報処理装置。
（１５）
　前記点滅補正処理部は、置き換えた前記画素ブロックの前記複数の画素のそれぞれの画素値である現在の画素値と、置き換えた前記画素ブロックと同じ座標の過去の前記画素ブロックの前記複数の画素のそれぞれの画素値である過去の画素値とを合成する。
　（１４）に記載の情報処理装置。
（１６）
　前記点滅補正処理部は、（前記現在の画素値＋前記過去の画素値）／２という式に基づいて、前記現在の画素値および前記過去の画素値を合成する、
　（１５）に記載の情報処理装置。
（１７）
　前記非点滅補正処理部は、前記非点滅補正処理として、前記画像の画素値を大きくする、
　（１）から（１６）のいずれか一つに記載の情報処理装置。
（１８）
　前記露光データは、複数の画素を含む画素ブロックの前記画素ごとに露光開始および露光終了を設定するマルチシャッタ技術により取得されたデータである、
　（１）から（１７）のいずれか一つに記載の情報処理装置。
（１９）
　露光データを生成するセンサと、
　前記露光データに基づく画像から点滅の有無および座標を検出する点滅検出部と、
　前記画像の点滅を抑えるように前記画像の画素値を補正する点滅補正処理を行う点滅補正処理部と、
　前記画像の明るさを調整するように前記画像の画素値を補正する非点滅補正処理を行う非点滅補正処理部と、
　前記点滅の有無および座標に基づいて、前記点滅補正処理が行われた前記画像および前記非点滅補正処理が行われた前記画像を合成する合成処理部と、
　を備える、撮像装置。
（２０）
　情報処理装置が、
　露光データに基づく画像から点滅の有無および座標を検出することと、
　前記画像の点滅を抑えるように前記画像の画素値を補正する点滅補正処理を行うことと、
　前記画像の明るさを調整するように前記画像の画素値を補正する非点滅補正処理を行うことと、
　前記点滅の有無および座標に基づいて、前記点滅補正処理が行われた前記画像および前記非点滅補正処理が行われた前記画像を合成することと、
　を含む、情報処理方法。
（２１）
　（１）から（１８）のいずれか一つに記載の情報処理装置を備える、撮像装置。
（２２）
　（２１）に記載の撮像装置を備える、移動体。
　１　　　撮像装置
　１０　　センサ
　１１　　画素アレイ部
　１２　　垂直駆動部
　１２ａ　垂直転送タイミング回路
　１２ｂ　シャッタ・リセット制御回路
　１３　　カラム信号処理部
　１３ａ　増幅器
　１３ｂ　ＡＤＣ
　１４　　制御部
　１５　　信号線
　１５ａ　制御線
　１６　　信号線
　１７　　信号線
　１８　　信号線
　２０　　処理部
　２１　　点滅検出部
　２２　　点滅補正処理部
　２３　　保存部
　２４　　非点滅補正処理部
　２４ａ　増幅器
　２５　　合成処理部
　１００　画素
　１０１　光電変換部
　１０２　電荷保持部
　１０３　リセット素子
　１０４　転送素子
　１０５　選択素子
　Ａ１　　画素ブロック
　Ｄ１　　注目ブロック
　Ｄ２　　走査ブロック
　Ｅ１　　Ｍｉｘ比設定グラフ

Claims (20)

  1. 　露光データに基づく画像から点滅の有無および座標を検出する点滅検出部と、
    　前記画像の点滅を抑えるように前記画像の画素値を補正する点滅補正処理を行う点滅補正処理部と、
    　前記画像の明るさを調整するように前記画像の画素値を補正する非点滅補正処理を行う非点滅補正処理部と、
    　前記点滅の有無および座標に基づいて、前記点滅補正処理が行われた前記画像および前記非点滅補正処理が行われた前記画像を合成する合成処理部と、
    　を備える、情報処理装置。
  2. 　前記点滅検出部は、複数の画素を含む画素ブロックごとに前記点滅の有無および座標を検出する、
    　請求項１に記載の情報処理装置。
  3. 　前記点滅検出部は、前記画素ブロックごとに、前記画素ブロックである注目エリアを点滅エリア、非点滅エリアまたは合成エリアとして決定し、
    　前記合成処理部は、前記画素ブロックごとに、前記注目エリアが前記点滅エリア、前記非点滅エリアまたは前記合成エリアであることに応じて、前記点滅補正処理が行われた前記画像および前記非点滅補正処理が行われた前記画像を合成する、
    　請求項２に記載の情報処理装置。
  4. 　前記合成処理部は、前記点滅エリア、前記非点滅エリアおよび前記合成エリアのそれぞれの合成比に基づいて、前記点滅補正処理が行われた前記画像および前記非点滅補正処理が行われた前記画像を合成する、
    　請求項３に記載の情報処理装置。
  5. 　前記点滅検出部は、前記注目エリアとなる前記画素ブロックを含む複数の前記画素ブロックを有する走査ブロックにおいて、前記画素ブロックのそれぞれに対して画素値の最大値および最小値を求め、前記画素ブロックごとに前記画素値の最大値／最小値を求め、前記画素ブロックごとの前記画素値の最大値／最小値を大きい順に並べ替え、所定番目の最大値／最小値を選択し、選択した前記所定番目の最大値／最小値に応じて、前記注目エリアを前記点滅エリア、前記非点滅エリアまたは前記合成エリアとして決定する、
    　請求項３に記載の情報処理装置。
  6. 　前記点滅検出部は、選択した前記所定番目の最大値／最小値が第１閾値より大きい場合、前記注目エリアを前記点滅エリアとして決定し、選択した前記所定番目の最大値／最小値が、前記第１閾値より小さい第２閾値より小さい場合、前記注目エリアを前記非点滅エリアとして決定し、選択した前記所定番目の最大値／最小値が前記第１閾値と前記第２閾値との間である場合、前記注目エリアを前記合成エリアとして決定する、
    　請求項５に記載の情報処理装置。
  7. 　前記注目エリアとなる前記画素ブロックは、前記走査ブロックの中央に位置する、
    　請求項５に記載の情報処理装置。
  8. 　前記点滅検出部は、前記注目エリアを前記合成エリアとして決定した場合、前記点滅補正処理が行われた前記画像および前記非点滅補正処理が行われた前記画像の合成比を設定する、
    　請求項３に記載の情報処理装置。
  9. 　前記点滅検出部は、所定番目の最大値／最小値および合成比の関係を示す合成比設定情報に基づいて、前記合成比を設定する、
    　請求項８に記載の情報処理装置。
  10. 　前記点滅検出部は、前記注目エリアを前記点滅エリアとして決定した場合、前記合成処理部が、前記点滅補正処理が行われた前記画像だけを用いるように前記合成比を設定し、前記注目エリアを前記非点滅エリアとして決定した場合、前記合成処理部が、前記非点滅補正処理が行われた前記画像だけを用いるように前記合成比を設定する、
    　請求項８に記載の情報処理装置。
  11. 　前記合成処理部は、前記合成比に基づいて、前記点滅補正処理が行われた前記画像および前記非点滅補正処理が行われた前記画像を合成する、
    　請求項８に記載の情報処理装置。
  12. 　前記合成処理部は、前記注目エリアが前記点滅エリアである場合、前記点滅補正処理が行われた前記画像だけを用い、前記注目エリアが前記非点滅エリアである場合、前記非点滅補正処理が行われた前記画像だけを用い、前記注目エリアが前記合成エリアである場合、前記合成比に基づいて、前記点滅補正処理が行われた前記画像および前記非点滅補正処理が行われた前記画像を合成する、
    　請求項１１に記載の情報処理装置。
  13. 　前記合成処理部は、前記注目エリアが前記合成エリアである場合、前記合成比×前記点滅補正処理部から出力された信号＋（１００％－前記合成比）×前記非点滅補正処理部から出力された信号という式に基づいて、前記点滅補正処理が行われた前記画像および前記非点滅補正処理が行われた前記画像を合成する、
    　請求項１２に記載の情報処理装置。
  14. 　前記点滅補正処理部は、前記点滅補正処理として、複数の画素を含む画素ブロックごとに、前記複数の画素のそれぞれの画素値の平均値を算出し、算出した平均値で前記画素ブロックの前記複数の画素のそれぞれの画素値を置き換える、
    　請求項１に記載の情報処理装置。
  15. 　前記点滅補正処理部は、置き換えた前記画素ブロックの前記複数の画素のそれぞれの画素値である現在の画素値と、置き換えた前記画素ブロックと同じ座標の過去の前記画素ブロックの前記複数の画素のそれぞれの画素値である過去の画素値とを合成する。
    　請求項１４に記載の情報処理装置。
  16. 　前記点滅補正処理部は、（前記現在の画素値＋前記過去の画素値）／２という式に基づいて、前記現在の画素値および前記過去の画素値を合成する、
    　請求項１５に記載の情報処理装置。
  17. 　前記非点滅補正処理部は、前記非点滅補正処理として、前記画像の画素値を大きくする、
    　請求項１に記載の情報処理装置。
  18. 　前記露光データは、複数の画素を含む画素ブロックの前記画素ごとに露光開始および露光終了を設定するマルチシャッタ技術により取得されたデータである、
    　請求項１に記載の情報処理装置。
  19. 　露光データを生成するセンサと、
    　前記露光データに基づく画像から点滅の有無および座標を検出する点滅検出部と、
    　前記画像の点滅を抑えるように前記画像の画素値を補正する点滅補正処理を行う点滅補正処理部と、
    　前記画像の明るさを調整するように前記画像の画素値を補正する非点滅補正処理を行う非点滅補正処理部と、
    　前記点滅の有無および座標に基づいて、前記点滅補正処理が行われた前記画像および前記非点滅補正処理が行われた前記画像を合成する合成処理部と、
    　を備える、撮像装置。
  20. 　情報処理装置が、
    　露光データに基づく画像から点滅の有無および座標を検出することと、
    　前記画像の点滅を抑えるように前記画像の画素値を補正する点滅補正処理を行うことと、
    　前記画像の明るさを調整するように前記画像の画素値を補正する非点滅補正処理を行うことと、
    　前記点滅の有無および座標に基づいて、前記点滅補正処理が行われた前記画像および前記非点滅補正処理が行われた前記画像を合成することと、
    　を含む、情報処理方法。
PCT/JP2025/019046 2024-06-05 2025-05-27 情報処理装置、撮像装置および情報処理方法 Pending WO2025253973A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024091434 2024-06-05
JP2024-091434 2024-06-05

Publications (1)

Publication Number Publication Date
WO2025253973A1 true WO2025253973A1 (ja) 2025-12-11

Family

ID=97961033

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2025/019046 Pending WO2025253973A1 (ja) 2024-06-05 2025-05-27 情報処理装置、撮像装置および情報処理方法

Country Status (1)

Country Link
WO (1) WO2025253973A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013038600A (ja) * 2011-08-08 2013-02-21 Fujitsu Semiconductor Ltd 画像処理装置、撮像装置、撮像システム、及びデータ処理方法
JP2018019387A (ja) * 2016-07-15 2018-02-01 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、撮影装置、及び、信号処理方法
JP2019004203A (ja) * 2017-06-12 2019-01-10 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、撮像装置、画像処理方法、および、プログラム。
JP2023131002A (ja) * 2022-03-08 2023-09-21 キヤノン株式会社 車載カメラシステム、車載カメラシステム制御方法、及び情報処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013038600A (ja) * 2011-08-08 2013-02-21 Fujitsu Semiconductor Ltd 画像処理装置、撮像装置、撮像システム、及びデータ処理方法
JP2018019387A (ja) * 2016-07-15 2018-02-01 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、撮影装置、及び、信号処理方法
JP2019004203A (ja) * 2017-06-12 2019-01-10 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、撮像装置、画像処理方法、および、プログラム。
JP2023131002A (ja) * 2022-03-08 2023-09-21 キヤノン株式会社 車載カメラシステム、車載カメラシステム制御方法、及び情報処理装置

Similar Documents

Publication Publication Date Title
US11895398B2 (en) Imaging device and imaging system
US20220166958A1 (en) Imaging system, method of controlling imaging system, and object recognition system
US10805548B2 (en) Signal processing apparatus, imaging apparatus, and signal processing method
JP7500798B2 (ja) 固体撮像装置、補正方法、および電子装置
EP3474534B1 (en) Image processing apparatus, imaging apparatus, and image processing system
TWI788818B (zh) 攝像裝置及攝像方法
JP2018064007A (ja) 固体撮像素子、および電子装置
WO2021200523A1 (ja) 撮像装置及び撮像方法
WO2020080383A1 (ja) 撮像装置及び電子機器
WO2019116746A1 (ja) 画像処理装置、画像処理方法及び撮像装置
JP2023093778A (ja) 撮像装置及び撮像方法
JPWO2018131514A1 (ja) 信号処理装置、信号処理方法、およびプログラム
WO2025047518A1 (ja) 光検出装置
US20240323561A1 (en) Image processing device, image processing method, and image processing system
WO2025253973A1 (ja) 情報処理装置、撮像装置および情報処理方法
WO2022209256A1 (ja) 撮像素子、撮像装置及び撮像素子の制御方法
WO2025074741A1 (ja) 撮像装置、撮像方法、及び撮像システム
JP2018011246A (ja) 固体撮像装置、補正方法、および電子装置
WO2021229983A1 (ja) 撮像装置及びプログラム
WO2026094685A1 (ja) 固体撮像装置及び電子機器
WO2025013515A1 (ja) 光検出装置、撮像装置及び電子機器
WO2025047365A1 (ja) 撮像装置、および故障検知方法
JP2024163442A (ja) 情報処理装置および情報処理方法、並びにプログラム
WO2025069821A1 (ja) 光検出装置及び光検出システム
KR20250039378A (ko) 고체 촬상 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25819732

Country of ref document: EP

Kind code of ref document: A1