WO2019116746A1 - 画像処理装置、画像処理方法及び撮像装置 - Google Patents

画像処理装置、画像処理方法及び撮像装置 Download PDF

Info

Publication number
WO2019116746A1
WO2019116746A1 PCT/JP2018/039696 JP2018039696W WO2019116746A1 WO 2019116746 A1 WO2019116746 A1 WO 2019116746A1 JP 2018039696 W JP2018039696 W JP 2018039696W WO 2019116746 A1 WO2019116746 A1 WO 2019116746A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
value
color information
unit
correction
Prior art date
Application number
PCT/JP2018/039696
Other languages
English (en)
French (fr)
Inventor
和幸 奥池
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US16/768,809 priority Critical patent/US11375137B2/en
Publication of WO2019116746A1 publication Critical patent/WO2019116746A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging

Definitions

  • the present disclosure relates to an image processing apparatus, an image processing method, and an imaging apparatus.
  • Patent Document 1 describes that a correction value for flicker correction is calculated for each color component of an input image, and flicker correction is performed for each color component of the input image. .
  • a first correction unit that calculates an average luminance value of an image and corrects the luminance of the image based on a periodic change of the average luminance value, and acquires color information of the image.
  • a second correction unit configured to correct the color information based on a periodic change of the color information.
  • a luminance average value of an image is calculated, the luminance of the image is corrected based on a periodic change of the luminance average value, color information of the image is acquired, and a period of the color information is calculated. And correcting the color information based on a temporal change.
  • an imaging element for capturing an image of a subject and a first correction unit that calculates a luminance average value of the image and corrects the luminance of the image based on a periodic change of the luminance average value
  • an image processing apparatus having a second correction unit that acquires color information of the image and corrects the color information based on a periodic change of the color information.
  • an object detection unit capable of detecting a target object, and an object tracking unit which keeps track of the location of the object in a frame after detecting a countermeasure It is a schematic diagram which shows the example which it has. Similar to FIG. 2, it is a schematic view showing an example using an imaging device capable of setting an analog gain for each of RGB.
  • an image sensor is a rolling shutter (RS)
  • RS rolling shutter
  • it is a schematic diagram which shows the flicker correction which used the analog gain by a 1st flicker correction part and a 2nd flicker correction part.
  • It is a schematic diagram which shows the example which complements the value of the part which can not acquire an integral value by a complementation algorithm using the flicker period 1 period of the integral value for every R, G, B.
  • It is a schematic diagram which shows the method of estimating the correction value i, Comprising:
  • It is a schematic diagram which shows the complementation method at the time of frame rate fps and light source frequency Hz.
  • It is a schematic diagram for demonstrating the method of tracking a target object.
  • It is a block diagram showing an example of rough composition of a vehicle control system.
  • It is explanatory drawing which shows an example of the installation position of a vehicle exterior information detection part and an imaging part.
  • the imaging apparatus 1000 includes an imaging element 100, an A / D conversion unit 110, an exposure amount calculation unit 120, a flicker detection unit 130, a first flicker correction unit 140, and a second flicker correction unit 150.
  • a signal processing unit 160 and an exposure control unit 170 are included.
  • the imaging element 100 captures an object at a high frame rate of, for example, about 1000 fps.
  • the high-speed frame rate refers to, for example, a frame rate of a frequency twice or more the frequency of the flicker phenomenon described later.
  • the imaging element 100 has a sensor surface in which a plurality of pixels are arranged in a matrix, and is constructed by pixel values according to the light reception amount of the pixels arranged in the imaging effective area used for imaging an image. Output a captured image.
  • pixels specialized for detecting the brightness of the imaging environment are arranged on the sensor surface of the imaging element 100. It may be done.
  • the OPD pixel can detect an OPD value indicating the brightness of the imaging environment.
  • color filters of red (R), green (G), and blue (B) are arranged in the effective pixels in accordance with the Bayer arrangement.
  • the OPD pixels are made colorless to detect brightness. Therefore, by performing pre-processing on the pixel value of each pixel acquired by the imaging element 100, the color is the same as the color originally disposed in the arrangement location of the OPD pixel, and the neighborhood of the OPD pixel is
  • the pixel values of a plurality of effective pixels may be linearly interpolated to obtain pixel values at locations corresponding to the arrangement positions of the OPD pixels.
  • the image data (pixel value) picked up by the image pickup element 100 is converted into a digital signal by the A / D conversion unit 110, and is input to the flicker detection unit 130.
  • the flicker detection unit 130 performs flicker detection. Thereby, the frequency of the flicker light source is estimated.
  • the average value of the luminance of the image is stored for each of a plurality of imaging frames, and the stored data is subjected to the discrete Fourier transform (DFT) to obtain frequency and phase.
  • DFT discrete Fourier transform
  • the brightness of the object in a plurality of imaging frames should change according to the cycle of the flicker phenomenon. is there. Therefore, in the present embodiment, the average value of the luminances of a plurality of pixels corresponding to the image of the object is acquired for each of a plurality of imaging frames acquired at a predetermined frame rate. Then, DFT (Discrete Fourier Transform) is applied to estimate a temporal change of luminance, that is, a frequency component (frequency, width of lighting time, lighting interval, etc.) in the temporal change of luminance.
  • DFT Discrete Fourier Transform
  • the imaging frame used when estimating periodic information is acquired at a frame rate faster than the periodicity of the flicker phenomenon, it is possible to estimate the periodic information of the flicker phenomenon by applying DFT. is there.
  • estimation of period information is not limited to the above-mentioned example, You may use another method.
  • the periodic information of the flicker phenomenon may be estimated by analyzing a plurality of imaging frames in a predetermined period and counting the number of frames from the bright state to the dark state of the object until it becomes bright again.
  • FIG. 5 is a schematic view showing processing by the exposure amount calculation unit 120, the first flicker correction unit 140, the second flicker correction unit 150, and the exposure amount control unit 170.
  • the exposure amount calculation unit 120 calculates the exposure amount from the detection value and the photometric mode.
  • the detection value acquisition step (step S10) when the screen is divided into n frames, the integrated value of the luminance value and the number of pixels contained in each frame are acquired.
  • the photometric mode acquisition step (step S12) the weight of each frame is acquired.
  • the evaluation value is obtained from the following equation.
  • how to obtain the evaluation value is not limited to this method, and may be obtained by another calculation method.
  • an exposure amount which converges to the target value is obtained based on the deviation between the evaluation value and the target value (step S14).
  • the first flicker correction unit 140 uses the estimated flicker frequency and the luminance value information for the flicker cycle to calculate the exposure amount calculated by the exposure amount calculation unit 120 with respect to the entire screen. Correct the flicker. Specifically, the first flicker correction unit 140 corrects the exposure amount so that the correction amount does not cause the image to be blacked out or white, and notifies the exposure amount control unit 170 of the exposure amount to perform analog Perform flicker correction using gain.
  • the exposure amount control unit 170 calculates, with the first flicker correction unit 10, the exposure amount calculated by the exposure amount calculation unit 120 so as to obtain an appropriate exposure amount based on the image data captured by the imaging element 100.
  • the exposure control of the image sensor 100 is performed based on the corrected amount.
  • FIG. 5 shows processing by the first flicker correction unit 140, the exposure control unit 170, and the second flicker correction unit 150 subsequent to the processing by the exposure amount calculation unit 120.
  • the first flicker correction unit 140 calculates a correction exposure amount in which the flicker correction amount is added to the exposure amount obtained by the exposure amount calculation unit 120 (step S16).
  • the exposure control unit 170 uses the corrected exposure amount to calculate the shutter and gain values, and the values are reflected on the image sensor 100 (step S18). As a result, the analog value acquired by the imaging device 100 is corrected, and the correction by the analog gain can be performed.
  • unlike correction using digital gain it is possible to suppress blackening and overexposure of an image.
  • the second flicker correction unit 150 corrects the difference in the wavelength characteristics (the characteristics for each R / G / B) for each flicker light source by performing digital gain modulation different for each RGB.
  • the second flicker correction unit 150 corrects the difference that has already been corrected by the first flicker correction unit 140.
  • the flow of the process will be described based on FIG. 5.
  • the second flicker correction unit 150 calculates an exposure amount for flicker correction (step S20). Then, the correction amount obtained by subtracting the correction amount in the first flicker correction unit 140 is applied (step S22).
  • the image corrected by the second flicker correction unit 150 is subjected to desired signal processing by the signal processing unit 160 and output as an image signal.
  • FIG. 6 is a flowchart showing a process of switching the correction method in accordance with whether or not the imaging device 100 is a global shutter (GS).
  • step S30 it is determined whether the image sensor 100 is a global shutter (GS) sensor. If the image sensor 100 is a global shutter (GS) sensor, the process proceeds to step S32, and correction is performed on the entire screen. On the other hand, if the imaging device 100 is not a global shutter (GS) sensor but a rolling shutter (RS) sensor, the process proceeds to step S34, and correction is performed line by line. In step S36, signal processing by the signal processing unit 160 is performed.
  • GS global shutter
  • RS rolling shutter
  • FIG. 8 is a schematic view showing flicker correction using digital gain by the first flicker correction unit 140 and the second flicker correction unit 150 when the imaging device 100 is a global shutter (GS).
  • GS global shutter
  • images of 10 frames arranged in the longitudinal direction in time series are schematically shown at the leftmost side.
  • the flicker waveform and the flicker waveform after correction are shown.
  • the R, G, B signals before correction and the R, G, B signals after correction are shown.
  • the first flicker correction unit 140 sets an average value d of one flicker cycle of the flicker waveform b of each frame as a correction target value.
  • the flicker waveform b shows how the pixel value of the OPD pixel changes due to the flicker phenomenon, and in the case of the global shutter (GS), the pixel value of the OPD pixel changes for each frame.
  • the correction value c which is is obtained for each frame.
  • the result of applying the correction value c to the flicker waveform b is the corrected flicker waveform e shown in FIG.
  • the exposure amount control unit 170 performs exposure control based on the correction amount c, in the flicker waveform e after correction, the average value a before correction is moved onto the flicker waveform e. Thereby, it is possible to suppress the fluctuation due to the flicker phenomenon for the luminance component.
  • the correction method is selected depending on whether the imaging device 100 is the global shutter (GS) or the rolling shutter (RS). In FIG. 8, since the imaging element 100 is a global shutter (GS), flicker correction is performed for each of RGB for the entire screen.
  • a waveform f shown in FIG. 8 shows the relationship between the luminance Y and the pixel values of R, G and B before correction by the second flicker correction unit 150. Since the first flicker correction unit 140 performs the correction with the luminance Y, the average value a before the correction is corrected to the target value for the luminance Y.
  • the correction by the first flicker correction unit 140 is performed, there is a difference in phase and amplitude between the luminance signal Y and the R, G, B signals.
  • the R signal, the G signal, and the B signal after the correction by the first flicker correction unit 140 are shown in the state before the “processing performed by the second flicker processing unit” in FIG. 8. It becomes like waveform f. In the waveform f, it can be seen that a deviation occurs with respect to the central target value for each of the R signal, G signal, and B signal.
  • the second flicker correction unit 150 calculates a correction amount for each RGB from the RGB values of the entire screen, and applies the correction amount to the entire screen.
  • the processing in the second flicker correction unit 150 is obtained by applying the correction method in the first flicker correction unit 140 to each of R, G, and B.
  • the pixel values of the R signal are integrated over the entire screen of one frame, the integrated value is averaged over one flicker cycle, and this is used as a target value.
  • the pixel values of the R signal are integrated over the entire screen of one frame, and the pixel gain of the R signal is multiplied by the digital gain corresponding to the correction value with the deviation from the target value as the correction value. To correct.
  • the same correction is performed for the B signal and the G signal.
  • the digital gain By applying the digital gain to the entire screen, for example, when the subject moves in a partial area in the screen, the influence of the movement on the correction value can be suppressed, and flicker with high robustness is achieved. Correction can be realized.
  • the second flicker correction unit 150 corrects the deviation of each RGB.
  • the correction result is as shown by a waveform g shown in “processing performed by the second flicker processing unit” in FIG. As shown in the waveform g, it can be seen that the R signal, the G signal, and the B signal are corrected to the center target value.
  • FIG. 9 is a schematic view showing flicker correction using an analog gain by the first flicker correction unit 140 and the second flicker correction unit 150 when the imaging device 100 is a rolling shutter (RS).
  • RS rolling shutter
  • FIG. 9 the behavior of the flicker waveform b in the frame is different from that in FIG. 8, but the contents of the process are the same as in FIG.
  • a correction amount c is obtained from the entire screen of each frame, and correction is performed for each line.
  • the average value d of one flicker cycle is set as a correction target value
  • the difference between the average value a and the average value d of the flicker waveform b of each frame is set as a correction value c.
  • the result of application of the correction value c is a flicker waveform e after correction shown in “processing performed by the first flicker processing unit” shown in FIG.
  • the exposure amount control unit 170 performs exposure control based on the correction amount c, in the flicker waveform e after correction, the average value a before correction is moved onto the flicker waveform e.
  • the second flicker correction unit 150 performs the same process as that shown in FIG. That is, the remainder obtained by subtracting the portion corrected by the flicker correction unit 140 is corrected by the flicker correction unit 150 for each of R, G, and B.
  • the pixel values of the R signal are integrated over the entire screen of one frame, the integrated value is averaged over one flicker cycle, and this is used as a target value.
  • the integrated value of the pixel values of the R signal of the frame to be corrected is obtained, and the difference between the target value and the integrated value of the R signal of the frame to be corrected is used as a digital gain to correct each pixel value of the R signal.
  • the correction result is as shown by a waveform g shown in “the process performed by the second flicker processing unit” in FIG.
  • the luminance signal Y, R signal, G signal, and B signal each match the center target value.
  • the waveform g corrected by the second flicker correction unit 150 as the distance from the center line of each frame increases, the deviation between the R, G, and B signals and the target value occurs.
  • the process by the first flicker correction unit 140 is the same as that in FIG.
  • the correction processing is shown taking the case of the R signal as an example.
  • the correction amount h is a value obtained from the difference between the integrated value of the R signal of each frame and the target value.
  • the correction value i is an estimated value obtained by estimating from the correction value h of each frame.
  • the second flicker correction unit 150 further corrects the pixel values of the R signal, the G signal, and the B signal already corrected by the first flicker correction unit 140 using the correction value h and the correction value i.
  • the correction amount for each line is estimated for each RGB from the RGB values of the entire surface, and the correction is performed for each line.
  • FIG. 11 is a schematic view showing a method of predicting the correction value i, and shows an interpolation method in the case of a frame rate of 1000 fps and a light source frequency of 100 Hz as an example.
  • an average value of pixel values (a screen average value plotted by a square in the drawing) is obtained for each of R, G, and B in the screen for each frame.
  • an estimated value indicated by a broken line in FIG. 11 is obtained.
  • the estimation based on the screen average value can be performed, for example, using Lagrange interpolation generally used as interpolation processing. As shown in FIG. 11, it can be seen that the estimated value periodically increases and decreases in accordance with the flicker phenomenon.
  • the screen average value of each signal of RGB in the screen is already obtained up to the tenth frame shown in FIG.
  • the screen average value of each of the RGB signals of the 11th and 12th frames is N + 1 frames before, N frames before, N-1 frames before, N- It can be obtained from the screen average value two frames before.
  • the RGB signals for each of the 11th and 12th frames can be estimated from the screen average value before N + 1 frames, N frames before, N-1 frames before and N-2 frames before.
  • the result can be applied to the correction amount of the current frame.
  • an average OPD value M cycles before M is an arbitrary integer
  • the correction amount for the entire screen may be determined, and the correction may be performed on a screen basis.
  • FIG. 1B is a schematic diagram showing an example in which the processing by the first flicker correction unit 140 and the processing by the second flicker correction unit 150 are performed in parallel. As shown in FIG. 1B, the processing by the first flicker correction unit 140 and the processing by the second flicker correction unit 150 can be performed in parallel.
  • FIG. 2 is a schematic view showing an example using the imaging device 100 capable of setting an analog gain for each of RGB.
  • the flicker correction unit 180 having both the function of the first flicker correction unit 140 and the function of the second flicker correction unit 150 can be used, It is not necessary to separate the first flicker correction unit 140 and the second flicker correction unit 150.
  • the exposure control unit 170 controls the exposure amount for each RGB based on the analog gain for each RGB.
  • FIG. 3 shows an object detection unit 190 capable of detecting a target object in addition to the configuration of FIG. 1A, and an object that keeps track of the location of the object in a frame after detecting the object
  • FIG. 7 is a schematic view showing an example having an object tracking unit 200.
  • the third flicker correction unit 210 is provided at the rear stage of the object tracking unit 200.
  • the function of the third flicker correction unit 210 is the same as the function of the second flicker correction unit 150, but the second flicker correction unit 150 and the second flicker correction unit 150 in that the correction value is calculated in a predetermined area including the tracked object. It is different.
  • FIG. 3 shows an object detection unit 190 capable of detecting a target object in addition to the configuration of FIG. 1A, and an object that keeps track of the location of the object in a frame after detecting the object
  • FIG. 7 is a schematic view showing an example having an object tracking unit 200.
  • the third flicker correction unit 210 is provided at the rear stage of the object tracking unit 200.
  • FIG. 4 is a schematic view showing an example using an imaging device 100 capable of setting an analog gain for each of RGB as in FIG.
  • the first flicker correction unit 140 and the second flicker correction unit 150 are not provided, and the function of the first flicker correction unit 140 and the second flicker correction are the same as in FIG.
  • a flicker correction unit 180 provided with the function of the unit 150 is provided.
  • the object detection unit 190 and the object tracking unit 200 are provided, and the third flicker correction unit 210 is provided downstream of the object tracking unit 200. ing. Therefore, it is possible to calculate the correction amount for each RGB from the vicinity of the target object of interest and apply it to the entire screen.
  • FIG. 7A is a flowchart showing the flow of processing in the configuration example shown in FIG. Hereinafter, the flow of processing in the configuration example shown in FIG. 3 will be described based on FIG. 7A.
  • step S40 it is determined whether the imaging device 100 is a global shutter (GS). If it is a global shutter (GS), the process proceeds to step S42.
  • step S42 it is determined by the object detection unit 190 whether or not the object is detected.
  • step S42 If an object is detected in step S42, the process proceeds to step S44.
  • step S44 the object tracking unit 200 tracks the object.
  • step S46 the third flicker correction unit 210 calculates a correction value for each RGB based on the image of the predetermined area including the target object in the screen.
  • step S48 the second flicker correction unit 140 calculates a correction amount for each RGB from the entire screen.
  • step S50 flicker correction is performed on the entire screen based on the correction values obtained in steps S46 and S48.
  • step S55 signal processing by the signal processing unit is performed.
  • the second flicker correction unit 210 does not perform the flicker correction by the third flicker correction unit 210.
  • Flicker correction according to 140 is performed.
  • the flicker correction in the vicinity of the area of the object by the third flicker correction unit 210 is performed.
  • the object to be focused on is to perform flicker correction in the vicinity of the area of the object by the third flicker correction unit 210. Flicker correction on an object can be performed with high accuracy.
  • flicker correction by the third flicker correction unit 210 is started, flicker correction by the second flicker correction unit 140 is stopped.
  • step S40 If it is determined in step S40 that the shutter is not a global shutter (GS), that is, if it is a rolling shutter (RS), the process proceeds to step S52.
  • step S52 the second flicker correction unit 140 calculates correction values for each RGB from the entire screen, and in the next step S54, correction is performed for each line as shown in FIG.
  • step S55 the signal processing unit 160 performs signal processing.
  • step S40 it is determined in step S40 that the shutter is a rolling shutter (RS)
  • step S60 it is determined by the object detection unit 190 whether or not the object is detected.
  • step S60 If an object is detected in step S60, the process proceeds to step S62.
  • step S62 the object tracking unit 200 tracks the object.
  • step S64 the third flicker correction unit 210 calculates a correction value for each RGB based on the image of the predetermined area including the target object in the screen.
  • flicker correction is performed on the entire screen.
  • step S66 the second flicker correction unit 150 calculates the correction amount for each RGB from the entire screen.
  • step S70 flicker correction is performed line by line as shown in FIG.
  • step S55 flicker correction is performed on the entire screen based on the correction values obtained in steps S68 and S70.
  • the imaging device 100 is tracking a target when the imaging device 100 is a rolling shutter (RS)
  • each RGB is selected based on an image of a predetermined region including the target.
  • Flicker correction is performed.
  • the image sensor 100 is a rolling shutter (RS)
  • the correction amount is calculated for each RGB from the entire screen, and flicker correction is performed for each line.
  • FIG. 12 is a schematic view showing an example of detection of an object by the object detection unit 190. As shown in FIG. The example shown in FIG. 12 shows a method for detecting an object to be tracked from a plurality of imaging frames imaged at a high frame rate.
  • FIG. 12 shows a human hand as an example of the object. It is assumed that this hand moves minutely in a narrow area for typing on the keyboard. In the present embodiment, the object is not limited to such human hands.
  • image processing is performed on the captured color imaging frame to generate a grayscale image capturing frame (original images 200 and 202) as shown on the left side of FIG.
  • a grayscale image capturing frame original images 200 and 202
  • the pixel value of red (R) of each pixel in the color imaging frame is extracted as color information.
  • a gray-scaled imaging frame a pixel having a high R pixel value is white, and a pixel having a low R pixel value is black.
  • the position of the hand of the original image 202 of the next frame is moved.
  • the R pixel value of each pixel of the gray-scaled imaging frame is compared with a predetermined threshold, for example, the pixel value of a pixel equal to or larger than the predetermined threshold is converted to 1 and the pixel value of the pixel smaller than the predetermined threshold Convert to 0.
  • a predetermined threshold for example, the pixel value of a pixel equal to or larger than the predetermined threshold is converted to 1 and the pixel value of the pixel smaller than the predetermined threshold Convert to 0.
  • red, green, and blue (RGB) pixel values may be extracted, or an average value of three pixel values may be used. Alternatively, after weighting each pixel value, a value obtained by integrating each pixel value may be used. Further, when generating a grayscaled imaging frame, it is preferable to select a suitable color and method according to the characteristics of the object to be detected.
  • RGB red, green, and blue
  • motion is generated in the image 214 by comparing the images 210 and 212 of the two binarized imaging frames shown in the upper center of FIG. 12 and extracting the image 214 obtained by taking the difference between the imaging frames. Extract a specific area (object).
  • the area in which the hand has moved is shown in white because the difference in pixel value is one. Therefore, in the image 214, a white area is detected as the movement of the object (hand). And an object can be tracked by repeating such processing.
  • the detection of the object is not limited to the method described above.
  • the feature points of the object are stored in advance, and the feature points stored in the imaging frame are extracted.
  • the object may be detected.
  • the person is detected based on the feature points (eyes, nose, and mouth) of the face of the person.
  • the object tracking unit 200 performs tracking on the detected object (hand).
  • the self-windowing method is used to keep track of the object in successive imaging frames imaged at a high frame rate.
  • the self-window method is a type of algorithm for tracking an object in an imaging frame imaged at a high frame rate.
  • the moving distance (difference) of the object in a plurality of imaging frames is small. Therefore, when an extraction window for extracting the object is set in an area around the object in the previous imaging frame, the object is included in the extraction window also in the next imaging frame. It becomes.
  • the extraction window is set as a pixel area expanded outward by one pixel with respect to the pixel area indicating the object in the previous imaging frame. If the object is not included in the set extraction window at the next imaging frame rate, the object can be included in the extraction window by further increasing the frame rate. And since the movement distance of an object is small, the area of the extraction window which is the range which searches for an object can be narrowed. Therefore, it is possible to easily detect an object by performing image matching or the like in the extraction window. In the example of FIG. 12, it is possible to use the skin color to detect a hand and to track the object depending on whether the pixel values of R, G, and B constituting the skin color are in the extraction window.
  • the extraction window has been described as being set as a pixel area inflated outward by one pixel with respect to the pixel area indicating the object in the previous imaging frame, in this embodiment, the extraction window is inflated by one pixel It is not limited to anything.
  • a pixel area expanded by two or more pixels may be set as the extraction window.
  • the number of pixels to be expanded can be appropriately selected according to, for example, the frame rate, the speed of the object, and the like.
  • the frame rate is made faster.
  • the method is not limited to such a method.
  • the target object may be included in the extraction window by adjusting the number of pixels which expand when setting the extraction window.
  • the self-window method generates a target extraction image by calculating the logical product between the extraction window calculated from the previous imaging frame and the image of the next binarized object, Track objects. Further, according to the self-window method, by comparing the image of the object with the target extraction image of the imaging frames before and after, not only the position information and area (shape) information of the object but also the object Information such as the moving direction and moving speed can also be acquired. As apparent from the above description, in the case of using the self-window method, it is preferable that an imaging frame used when tracking an object is imaged at a high frame rate.
  • the tracking of the object is not limited to the above-described example, and another method may be used.
  • the tracking of the object may be performed based on the feature points common to the front and back imaging frames.
  • occurrence of saturation (overexposure, overexposure) at the time of analog data acquired by the imaging device 100 by performing the flicker correction by the first flicker correction unit 140 Can be suppressed, and S / N can be increased.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is any type of movement, such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, robots, construction machines, agricultural machines (tractors), etc. It may be realized as a device mounted on the body.
  • FIG. 13 is a block diagram showing a schematic configuration example of a vehicle control system 7000 that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • Vehicle control system 7000 comprises a plurality of electronic control units connected via communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an external information detection unit 7400, an in-vehicle information detection unit 7500, and an integrated control unit 7600. .
  • the communication network 7010 connecting the plurality of control units is, for example, an arbitrary standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • Each control unit includes a microcomputer that performs arithmetic processing in accordance with various programs, a storage unit that stores programs executed by the microcomputer or parameters used in various arithmetic operations, and drive circuits that drive devices to be controlled. Equipped with Each control unit is provided with a network I / F for communicating with other control units via the communication network 7010, and by wired communication or wireless communication with an apparatus or sensor inside or outside the vehicle. A communication I / F for performing communication is provided. In FIG.
  • a microcomputer 7610 for a functional configuration of the integrated control unit 7600, a microcomputer 7610, a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, an audio image output unit 7670, An in-vehicle network I / F 7680 and a storage unit 7690 are illustrated.
  • the other control units also include a microcomputer, a communication I / F, a storage unit, and the like.
  • Drive system control unit 7100 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • drive system control unit 7100 includes a drive force generation device for generating a drive force of a vehicle such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to the wheels, and a steering angle of the vehicle. It functions as a control mechanism such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as an ABS (Antilock Brake System) or an ESC (Electronic Stability Control).
  • Vehicle state detection unit 7110 is connected to drive system control unit 7100.
  • the vehicle state detection unit 7110 may be, for example, a gyro sensor that detects an angular velocity of an axial rotational movement of a vehicle body, an acceleration sensor that detects an acceleration of the vehicle, or an operation amount of an accelerator pedal, an operation amount of a brake pedal, and steering of a steering wheel. At least one of the sensors for detecting the angle, the engine speed, the rotational speed of the wheel, etc. is included.
  • Drive system control unit 7100 performs arithmetic processing using a signal input from vehicle state detection unit 7110 to control an internal combustion engine, a drive motor, an electric power steering device, a brake device, and the like.
  • Body system control unit 7200 controls the operation of various devices equipped on the vehicle body according to various programs.
  • the body control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device of various lamps such as a head lamp, a back lamp, a brake lamp, a blinker or a fog lamp.
  • the body system control unit 7200 may receive radio waves or signals of various switches transmitted from a portable device substituting a key.
  • Body system control unit 7200 receives the input of these radio waves or signals, and controls a door lock device, a power window device, a lamp and the like of the vehicle.
  • the battery control unit 7300 controls the secondary battery 7310 which is a power supply source of the drive motor according to various programs. For example, information such as the battery temperature, the battery output voltage, or the remaining capacity of the battery is input to the battery control unit 7300 from the battery device provided with the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and performs temperature adjustment control of the secondary battery 7310 or control of a cooling device or the like provided in the battery device.
  • Outside-vehicle information detection unit 7400 detects information outside the vehicle equipped with vehicle control system 7000.
  • the imaging unit 7410 and the external information detection unit 7420 is connected to the external information detection unit 7400.
  • the imaging unit 7410 includes at least one of a time-of-flight (ToF) camera, a stereo camera, a monocular camera, an infrared camera, and another camera.
  • ToF time-of-flight
  • an environment sensor for detecting the current weather or weather, or another vehicle, an obstacle or a pedestrian around the vehicle equipped with the vehicle control system 7000 is detected in the outside-vehicle information detection unit 7420, for example.
  • the ambient information detection sensors at least one of the ambient information detection sensors.
  • the environment sensor may be, for example, at least one of a raindrop sensor that detects wet weather, a fog sensor that detects fog, a sunshine sensor that detects sunshine intensity, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a light detection and ranging (LIDAR) device.
  • the imaging unit 7410 and the external information detection unit 7420 may be provided as independent sensors or devices, or may be provided as an integrated device of a plurality of sensors or devices.
  • FIG. 14 shows an example of installation positions of the imaging unit 7410 and the external information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, 7918 are provided at, for example, at least one of the front nose of the vehicle 7900, the side mirror, the rear bumper, the back door, and the upper portion of the windshield of the vehicle interior.
  • An imaging unit 7910 provided in the front nose and an imaging unit 7918 provided in the upper part of the windshield in the vehicle cabin mainly acquire an image in front of the vehicle 7900.
  • the imaging units 7912 and 7914 provided in the side mirror mainly acquire an image of the side of the vehicle 7900.
  • An imaging unit 7916 provided in the rear bumper or back door mainly acquires an image behind the vehicle 7900.
  • the imaging unit 7918 provided on the upper part of the windshield in the passenger compartment is mainly used to detect a leading vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 14 illustrates an example of the imaging range of each of the imaging units 7910, 7912, 7914, and 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided on the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided on the side mirrors
  • the imaging range d indicates The imaging range of the imaging part 7916 provided in the rear bumper or the back door is shown.
  • a bird's-eye view of the vehicle 7900 as viewed from above can be obtained.
  • the external information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided on the front, rear, sides, and corners of the vehicle 7900 and above the windshield of the vehicle interior may be, for example, ultrasonic sensors or radar devices.
  • the external information detection units 7920, 7926, 7930 provided on the front nose of the vehicle 7900, the rear bumper, the back door, and the upper part of the windshield of the vehicle interior may be, for example, a LIDAR device.
  • These outside-of-vehicle information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle or the like.
  • the out-of-vehicle information detection unit 7400 causes the imaging unit 7410 to capture an image outside the vehicle, and receives the captured image data. Further, the external information detection unit 7400 receives detection information from the external information detection unit 7420 connected. When the out-of-vehicle information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device, the out-of-vehicle information detection unit 7400 transmits ultrasonic waves or electromagnetic waves and receives information on the received reflected waves.
  • the external information detection unit 7400 may perform object detection processing or distance detection processing of a person, a car, an obstacle, a sign, a character on a road surface, or the like based on the received information.
  • the external information detection unit 7400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions and the like based on the received information.
  • the external information detection unit 7400 may calculate the distance to an object outside the vehicle based on the received information.
  • the external information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a car, an obstacle, a sign, a character on a road surface, or the like based on the received image data.
  • the external information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and combines the image data captured by different imaging units 7410 to generate an overhead image or a panoramic image. It is also good.
  • the external information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410.
  • An in-vehicle information detection unit 7500 detects information in the vehicle.
  • a driver state detection unit 7510 that detects a state of a driver is connected to the in-vehicle information detection unit 7500.
  • the driver state detection unit 7510 may include a camera for imaging the driver, a biometric sensor for detecting the driver's biological information, a microphone for collecting sound in the vehicle interior, and the like.
  • the biological sensor is provided, for example, on a seat or a steering wheel, and detects biological information of an occupant sitting on a seat or a driver who grips the steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, or determine whether the driver does not go to sleep You may The in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 in accordance with various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by, for example, a device such as a touch panel, a button, a microphone, a switch or a lever, which can be input operated by the passenger.
  • the integrated control unit 7600 may receive data obtained by speech recognition of speech input by the microphone.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) corresponding to the operation of the vehicle control system 7000.
  • PDA Personal Digital Assistant
  • the input unit 7800 may be, for example, a camera, in which case the passenger can input information by gesture. Alternatively, data obtained by detecting the movement of the wearable device worn by the passenger may be input. Furthermore, the input unit 7800 may include, for example, an input control circuit that generates an input signal based on the information input by the passenger or the like using the above-described input unit 7800 and outputs the generated signal to the integrated control unit 7600. The passenger or the like operates the input unit 7800 to input various data to the vehicle control system 7000 and instruct processing operations.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, and the like.
  • the storage unit 7690 may be realized by a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • HDD hard disk drive
  • semiconductor storage device an optical storage device
  • magneto-optical storage device or the like.
  • the general-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • General-purpose communication I / F 7620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX (registered trademark), LTE (registered trademark) (Long Term Evolution) or LTE-A (LTE-Advanced).
  • GSM Global System of Mobile communications
  • WiMAX registered trademark
  • LTE registered trademark
  • LTE-A Long Term Evolution-Advanced
  • other wireless communication protocols such as wireless LAN (also referred to as Wi-Fi (registered trademark)), Bluetooth (registered trademark), etc. may be implemented.
  • the general-purpose communication I / F 7620 is connected to, for example, an apparatus (for example, an application server or control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via a base station or access point
  • an apparatus for example, an application server or control server
  • an external network for example, the Internet, a cloud network, or an operator-specific network
  • the general-purpose communication I / F 7620 is a terminal (for example, a driver, a pedestrian or a shop terminal, or an MTC (Machine Type Communication) terminal) existing near the vehicle using, for example, P2P (Peer To Peer) technology. It may be connected with
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol designed for use in a vehicle.
  • the dedicated communication I / F 7630 may be a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or cellular communication protocol, which is a combination of lower layer IEEE 802.11p and upper layer IEEE 1609, for example. May be implemented.
  • the dedicated communication I / F 7630 is typically used for Vehicle to Vehicle communication, Vehicle to Infrastructure communication, Vehicle to Home communication, and Vehicle to Pedestrian. 2.) Perform V2X communication, a concept that includes one or more of the communication.
  • the positioning unit 7640 receives a GNSS signal (for example, a GPS signal from a Global Positioning System (GPS) satellite) from, for example, a Global Navigation Satellite System (GNSS) satellite and executes positioning, thereby performing latitude, longitude, and altitude of the vehicle.
  • Generate location information including Positioning section 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone having a positioning function, a PHS, or a smartphone.
  • the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from a radio station or the like installed on a road, and acquires information such as the current position, traffic jams, closing times or required time.
  • the function of the beacon reception unit 7650 may be included in the above-described dedicated communication I / F 7630.
  • An in-vehicle apparatus I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle apparatuses 7760 existing in the vehicle.
  • the in-car device I / F 7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB). Further, the in-car device I / F 7660 can be connected via a connection terminal (and a cable, if necessary) (not shown) via USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface), or MHL (Mobile High). A wired connection may be established, such as a definition link, etc.
  • the in-vehicle device 7760 includes, for example, at least one of a mobile device or wearable device that the passenger has, or an information device carried in or attached to the vehicle.
  • the in-vehicle device 7760 may include a navigation device for performing route search to any destination
  • the in-vehicle device I / F 7660 controls signals with these in-vehicle devices 7760 Or exchange data signals.
  • the in-vehicle network I / F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I / F 7680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is connected via at least one of a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon reception unit 7650, an in-vehicle device I / F 7660, and an in-vehicle network I / F 7680.
  • the vehicle control system 7000 is controlled in accordance with various programs based on the information acquired. For example, the microcomputer 7610 calculates a control target value of the driving force generation device, the steering mechanism or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the driving system control unit 7100. It is also good.
  • the microcomputer 7610 realizes the function of an advanced driver assistance system (ADAS) including collision avoidance or shock mitigation of a vehicle, follow-up traveling based on an inter-vehicle distance, vehicle speed maintenance traveling, vehicle collision warning, vehicle lane departure warning, etc. Cooperative control for the purpose of In addition, the microcomputer 7610 automatically runs without using the driver's operation by controlling the driving force generating device, the steering mechanism, the braking device, etc. based on the acquired information of the surroundings of the vehicle. Coordinated control may be performed for the purpose of driving and the like.
  • ADAS advanced driver assistance system
  • the microcomputer 7610 is information acquired via at least one of a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon reception unit 7650, an in-vehicle device I / F 7660, and an in-vehicle network I / F 7680. Based on the above, three-dimensional distance information between the vehicle and an object such as a surrounding structure or a person may be generated, and local map information including the peripheral information of the current position of the vehicle may be created. Further, the microcomputer 7610 may predict a danger such as a collision of a vehicle or a pedestrian or the like approaching a road or the like on the basis of the acquired information, and may generate a signal for warning.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or aurally notifying information to a passenger or the outside of a vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are illustrated as output devices.
  • the display unit 7720 may include, for example, at least one of an on-board display and a head-up display.
  • the display portion 7720 may have an AR (Augmented Reality) display function.
  • the output device may be another device such as a headphone, a wearable device such as a glasses-type display worn by a passenger, a projector, or a lamp other than these devices.
  • the display device may obtain information obtained from various processes performed by the microcomputer 7610 or information received from another control unit in various formats such as text, images, tables, graphs, etc. Display visually.
  • the audio output device converts an audio signal composed of reproduced audio data or audio data into an analog signal and outputs it in an auditory manner.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be configured by a plurality of control units.
  • the vehicle control system 7000 may comprise another control unit not shown.
  • part or all of the functions of any control unit may be provided to another control unit. That is, as long as transmission and reception of information are performed via the communication network 7010, predetermined arithmetic processing may be performed by any control unit.
  • a sensor or device connected to any control unit is connected to another control unit, a plurality of control units may mutually transmit and receive detection information via the communication network 7010. .
  • the imaging device 1000 information processing device 100 can be applied to the imaging unit 7410 of the application example shown in FIG.
  • a first correction unit that calculates an average luminance value of an image, and corrects the luminance of the image based on a periodic change of the average luminance value.
  • a second correction unit that acquires color information of the image and corrects the color information based on a periodic change of the color information;
  • An image processing apparatus comprising: (2) The first correction unit corrects the luminance of the image to a target value by using a value obtained by averaging the luminance average values of a plurality of frames as a target value.
  • the exposure amount control unit for controlling the exposure amount of the image based on the correction value calculated by the first correction unit based on the periodical change of the luminance average value.
  • the image processing apparatus according to any one of (3).
  • the second correction unit obtains integrated values of values of the plurality of color information of the image, and uses the value obtained by averaging the integrated values in a plurality of frames as a target value.
  • the image processing apparatus according to any one of (1) to (5), wherein each of the plurality of pieces of color information is corrected such that the value becomes the target value.
  • the image processing apparatus wherein the plurality of frames include at least one cycle of a change in the color information due to a flicker phenomenon.
  • the plurality of pieces of color information are color information of three colors of red, green, and blue.
  • the second correction unit uniformly corrects the color information in the entire image.
  • the second correction unit corrects each line of the pixel array of the color information.
  • the second correction unit corrects any line in one frame based on the integrated value, The image processing apparatus according to (6), wherein the correction is performed based on an estimated value estimated from the integrated value for lines other than the arbitrary line. (12) An object detection unit for detecting an object in the image And a tracking unit that tracks the object. The image processing apparatus according to any one of (1) to (11), wherein the second correction unit corrects the color information in a predetermined area including the tracked object.
  • An image processing method comprising: (14) an imaging device for capturing an image of a subject; Calculating a luminance average value of the image, and correcting the luminance of the image based on a periodic change of the luminance average value; acquiring color information of the image; and calculating a period of the color information; An image processing apparatus having a second correction unit that corrects the color information based on a global change; An imaging device comprising:

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】高速フレームレートの撮像において、フリッカを抑制する。 【解決手段】本開示に係る画像処理装置は、画像の輝度平均値を算出し、前記輝度平均値の周期的な変化に基づいて前記画像の輝度を補正する第１の補正部と、前記画像の色情報を取得し、前記色情報の周期的な変化に基づいて前記色情報を補正する第２の補正部と、を備える。この構成により、高速フレームレートの撮像において、フリッカを抑制することが可能となる。

Description

画像処理装置、画像処理方法及び撮像装置
　本開示は、画像処理装置、画像処理方法及び撮像装置に関する。
　従来、例えば下記の特許文献１には、入力された画像の色成分ごとにフリッカ補正のための補正値を算出し、入力された画像の色成分ごとにフリッカ補正を行うことが記載されている。
特開２０１６－８２５１０号公報
　しかしながら、上記特許文献１に記載された技術は、入力画像に対して補正値を計算して画像処理により補正を行っているため、デジタルゲインで変調していることになる。従って、フリッカ振幅が大きくて、白とび、黒潰れがある画像に対しては補正できないという問題がある。
　また、例えばフリッカ周波数に対して撮像のフレームレートが高速の場合、撮像素子のシャッター周期がフリッカ周期よりも短いため、シャッター時間をフリッカ周期の整数倍にしてフリッカを抑制する方法も実施する事ができない。
　そこで、高速フレームレートの撮像において、フリッカを抑制することが求められていた。
　本開示によれば、画像の輝度平均値を算出し、前記輝度平均値の周期的な変化に基づいて前記画像の輝度を補正する第１の補正部と、前記画像の色情報を取得し、前記色情報の周期的な変化に基づいて前記色情報を補正する第２の補正部と、を備える、画像処理装置が提供される。
　本開示によれば、画像の輝度平均値を算出し、前記輝度平均値の周期的な変化に基づいて画像の輝度を補正することと、前記画像の色情報を取得し、前記色情報の周期的な変化に基づいて前記色情報を補正することと、を備える、画像処理方法が提供される。
　本開示によれば、被写体の画像を撮像する撮像素子と、前記画像の輝度平均値を算出し、前記輝度平均値の周期的な変化に基づいて前記画像の輝度を補正する第１の補正部と、前記画像の色情報を取得し、前記色情報の周期的な変化に基づいて前記色情報を補正する第２の補正部と、を有する画像処理装置と、を備える、撮像装置が提供される。
　以上説明したように本開示によれば、高速フレームレートの撮像において、フリッカを抑制することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る撮像装置を示す模式図である。 第１のフリッカ補正部による処理と、第２のフリッカ補正部による処理を並列して行う例を示す模式図である。 アナログゲインをＲＧＢ毎に設定できる撮像素子を用いた例を示す模式図である。 、図１Ａの構成に加えて、目標とする対象物の検出を行うことができる対象物検出部と、対処物を検出した後のフレームにおいて、対象物の場所を把握し続ける対象物トラッキング部を有する例を示す模式図である。 図２と同様に、アナログゲインをＲＧＢ毎に設定できる撮像素子を用いた例を示す模式図である。 露光量計算部、第１のフリッカ補正部、第２のフリッカ補正部、露光量制御部による処理を示す模式図である。 撮像素子がグローバルシャッタ（ＧＳ）であるか否かに応じて、補正の方法を切り換える処理を示すフローチャートである。 図３に示す構成例における処理の流れを示すフローチャートである。 図３に示す構成例における処理の流れを示すフローチャートである。 撮像素子がグローバルシャッタ（ＧＳ）の場合に、第１のフリッカ補正部、第２のフリッカ補正部による、アナログゲインを用いたフリッカ補正を示す模式図である。 撮像素子がローリングシャッタ（ＲＳ）の場合に、第１のフリッカ補正部、第２のフリッカ補正部による、アナログゲインを用いたフリッカ補正を示す模式図である。 Ｒ,Ｇ,Ｂ毎の積算値のフリッカ周期１周期分を使って、積算値を取得できない部分の値を補完アルゴリズムによって補完する例を示す模式図である。 補正値ｉを予測する方法を示す模式図であって、フレームレートｆｐｓ、光源周波数Ｈｚ時の補完方法を示す模式図である。 対象物をトラッキングする手法を説明するための模式図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．撮像装置の構成例
　２．フリッカ補正の詳細
　３．本実施形態のバリエーションについて
　４．対象物の検出、トラッキングについて
　５．応用例
　１．撮像装置の構成例
　まず、図１Ａを参照して、本開示の一実施形態に係る撮像装置１０００の構成について説明する。図１Ａに示すように、撮像装置１０００は、撮像素子１００、Ａ／Ｄ変換部１１０、露光量計算部１２０、フリッカ検出部１３０、第１のフリッカ補正部１４０、第２のフリッカ補正部１５０、信号処理部１６０、露光制御部１７０、を有して構成されている。
　撮像素子１００は、例えば１０００［ｆｐｓ］程度の高速のフレームレートで被写体を撮像する。なお、本実施形態において、高速のフレームレートとは、例えば、後述するフリッカ現象の周波数に対して２倍以上の周波数のフレームレートをいうものとする。
　撮像素子１００は、複数の画素が行列状に配置されたセンサ面を有しており、画像の撮像に利用される撮像有効領域に配置された画素の受光量に応じた画素値により構築される撮像画像を出力する。
　また、撮像素子１００のセンサ面には、通常の撮像に使用される画素の他に、撮像環境の明るさを検出することに特化した画素（ＯＰＤ（Optical　Photo　Detector）画素ともいう）が配置されていても良い。ＯＰＤ画素により、撮像環境の明るさを示すＯＰＤ値を検出することができる。
　ここで、例えば、撮像素子１００では、ベイヤ配列に従って、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタが有効画素に配置されている。ＯＰＤ画素では、明るさを検出するために無色とされている。このため、撮像素子１００が取得した各画素の画素値に対して、前処理を行うことにより、ＯＰＤ画素の配置箇所に本来配置されていた色と同色であって、かつ、そのＯＰＤ画素の近隣にある複数の有効画素の画素値を線形補間し、ＯＰＤ画素の配置位置に対応する箇所の画素値を求めても良い。
　撮像素子１００で撮像された画像データ（画素値）は、Ａ／Ｄ変換部１１０でデジタル信号に変換され、フリッカ検出部１３０に入力される。フリッカ検出部１３０は、フリッカ検出を実施する。これにより、フリッカ光源の周波数が推定される。
　フリッカ検出部１３０による、フリッカ周期情報の推定について説明する。例えば、本実施形態においては、画像の輝度の平均値を複数の撮像フレームごとに格納しておき、格納したデータに対して離散フーリエ変換（Ｄｉｓｃｒｅｔｅ　Ｆｏｕｒｉｅｒ　Ｔｒａｎｓｆｏｒｍ:ＤＦＴ）を用いることにより、周波数、位相等のフリッカ現象の情報を推定する。
　詳細には、対象物がフリッカ現象を生じさせるフリッカ光源（例えば、蛍光灯など）に照射されている場合においては、複数の撮像フレームにおける対象物の輝度は、フリッカ現象の周期に従って変化するはずである。そこで、本実施形態においては、所定のフレームレートで取得された複数の撮像フレームごとに対象物の画像に対応する複数の画素の輝度の平均値を取得する。そして、ＤＦＴ（離散フーリエ変換）を適用することにより、輝度の時間変化、すなわち、輝度の時間変化における周波数成分（周波数、点灯時間の幅、点灯間隔等）を推定する。
　周期情報を推定する際に用いる撮像フレームは、フリッカ現象の周期に比べて高速のフレームレートで取得されていることから、ＤＦＴを適用することにより、フリッカ現象の周期情報を推定することが可能である。
　なお、本実施形態においては、周期情報の推定は、上述の例に限定されるものではなく、他の方法を用いてもよい。例えば、所定の期間における複数の撮像フレームを解析し、対象物が明るい状態から暗くなり、再度明るくなるまでのフレームの数をカウントすることにより、フリッカ現象の周期情報を推定してもよい。
　また、Ａ／Ｄ変換部１１０でデジタル信号に変換された画像データは、露光量計算部１２０、第１のフリッカ補正部１４０、第２のフリッカ補正部１５０に順次入力される。図５は、露光量計算部１２０、第１のフリッカ補正部１４０、第２のフリッカ補正部１５０、露光量制御部１７０による処理を示す模式図である。
　露光量計算部１２０では、検波値と測光モードから露光量を計算する。先ず、検波値取得ステップ（ステップＳ１０）では、画面をｎ枠に分割した時に、それぞれの枠に入っている輝度値の積算値とピクセル数を取得する。測光モード取得ステップ（ステップＳ１２）では、各枠の重みを取得する。これらを用いて、評価値を以下の式から求める。なお、評価値の求め方はこの方法に限られるものではなく、他の計算方法で求めても良い。評価値が求まると、評価値と目標値とのずれに基づいて、目標値に収束する露光量を求める（ステップＳ１４）。
Figure JPOXMLDOC01-appb-M000001
　２．フリッカ補正の詳細
　第１のフリッカ補正部１４０では、推定されたフリッカ周波数とフリッカ周期分の輝度値情報を用いて、露光量計算部１２０で計算された露光量に対して、画面全体に対してフリッカ分を補正する。具体的に、第１のフリッカ補正部１４０は、画が黒潰れ、白とびしない補正量になるように、露光量を補正し、その露光量を露光量制御部１７０に通知することにより、アナログゲインを用いたフリッカ補正を実施する。
　露光量制御部１７０は、撮像素子１００が撮像した画像データに基づいて、適切な露出量になるように露光量計算部１２０が計算した露光量に対して、第１のフリッカ補正部１０で計算された補正量を元に撮像素子１００の露光制御を実施する。
　図５では、露光量計算部１２０による処理に続いて、第１のフリッカ補正部１４０、露光量制御部１７０、第２のフリッカ補正部１５０による処理を示している。第１のフリッカ補正部１４０では、露光量計算部１２０で求められた露光量に対して、フリッカ補正量を加味した補正露光量を計算する（ステップＳ１６）。この補正露光量を用いて、露光制御部１７０でシャッター、ゲイン値が計算され、撮像素子１００に値が反映される（ステップＳ１８）。これにより、撮像素子１００にて取得されるアナログ値が補正されることになり、アナログゲインによる補正を行うことができる。これにより、デジタルゲインを用いた補正と異なり、画像の黒潰れ、白とびを抑制できる。
　また、第２のフリッカ補正部１５０では、ＲＧＢ毎に異なるデジタルゲイン変調を施すことで、フリッカ光源毎の波長特性（Ｒ／Ｇ／Ｂ毎の特性）の違いを補正する。第２のフリッカ補正部１５０では、第１のフリッカ補正部１４０で既に補正されている分の差分を補正する。図５に基づいて処理の流れを説明すると、第２のフリッカ補正部１５０では、フリッカ補正用の露光量を計算する（ステップＳ２０）。そして、第１のフリッカ補正部１４０での補正量を差し引いた補正量を適応する（ステップＳ２２）。第２のフリッカ補正部１５０にて補正された画像は、信号処理部１６０で所望の信号処理が施され、画像信号として出力される。
　第２のフリッカ補正部１５０による処理では、撮像素子１００がグローバルシャッタ（ＧＳ）のセンサであるか否かに応じて、補正の方法が異なる。図６は、撮像素子１００がグローバルシャッタ（ＧＳ）であるか否かに応じて、補正の方法を切り換える処理を示すフローチャートである。
　先ず、ステップＳ３０では、撮像素子１００がグローバルシャッタ（ＧＳ）のセンサであるか否かが判定される。撮像素子１００がグローバルシャッタ（ＧＳ）のセンサの場合は、ステップＳ３２へ進み、画面全体に対して補正を行う。一方、撮像素子１００がグローバルシャッタ（ＧＳ）のセンサではなく、ローリングシャッタ（ＲＳ）のセンサである場合は、ステップＳ３４へ進み、ライン毎に補正を行う。ステップＳ３６では、信号処理部１６０による信号処理が行われる。
　図８は、撮像素子１００がグローバルシャッタ（ＧＳ）の場合に、第１のフリッカ補正部１４０、第２のフリッカ補正部１５０による、デジタルゲインを用いたフリッカ補正を示す模式図である。グローバルシャッタ（ＧＳ）では、全画素で同時に画素値の読み出しが行われる。図８では、最も左側に、時系列に縦方向に並べた１０フレームの画像を模式的に示している。また、第１のフリッカ補正部１４０で行われる処理を説明するために、フリッカ波形と、補正後のフリッカ波形を示している。また、第２のフリッカ補正部１５０で行われる処理を説明するために、補正前のＲ，Ｇ，Ｂの各信号と、補正後のＲ，Ｇ，Ｂの各信号を示している。
　第１のフリッカ補正部１４０では、各フレームのフリッカ波形ｂのフリッカ周期１周期分の平均値ｄを補正の目標値とする。ここで、フリッカ波形ｂは、フリッカ現象によりＯＰＤ画素の画素値が変化する様子を示しており、グローバルシャッタ（ＧＳ）の場合、フレーム毎にＯＰＤ画素の画素値が変化する。
　フリッカ周期１周期前のフリッカ波形ｂに基づき、目標値（平均値ｄ）と各フレームのフリッカ周期１周期前のフリッカ波形ｂの平均値ａを用いて、平均値ａと平均値ｄとの差分である補正値ｃをフレーム毎に求める。補正値ｃをフリッカ波形ｂに適用した結果は、図８に示す補正後のフリッカ波形ｅとなる。露光量制御部１７０が補正量ｃに基づいて露光制御を行うことにより、補正後のフリッカ波形ｅでは、補正前の平均値ａがフリッカ波形ｅ上に移動している。これにより、輝度成分について、フリッカ現象による変動を抑制できる。
　次に、第２のフリッカ補正部１５０によるフリッカ補正について説明する。上述したように、第２のフリッカ補正部１５０では、撮像素子１００がグローバルシャッタ（ＧＳ）かローリングシャッタ（ＲＳ）かに応じて補正方法が選択される。図８では、撮像素子１００がグローバルシャッタ（ＧＳ）であるため、画面全体に対して、ＲＧＢ毎にフリッカ補正を実施する。
　図８に示す、第２のフリッカ補正部１５０で行われる処理では、説明の便宜上、１番目のフレームに対して行われる処理のみを示している。図８に示す波形ｆは、第２のフリッカ補正部１５０による補正前の輝度ＹとＲ,Ｇ,Ｂの画素値の関係を示している。第１のフリッカ補正部１４０において輝度Ｙによる補正を実施したことにより、輝度Ｙについては、補正前の平均値ａが目標値に補正されている。
　一方、第１のフリッカ補正部１４０による補正を行った場合でも、輝度信号ＹとＲ，Ｇ，Ｂ信号との間には位相や振幅で差異がある。具体的に、第１のフリッカ補正部１４０による補正後のＲ信号、Ｇ信号、Ｂ信号は、図８の「第２のフリッカ処理部で行われる処理」の補正前の状態に示されている波形ｆのようになる。波形ｆでは、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれについて、中央の目標値に対してずれが生じていることが判る。
　このため、第２のフリッカ補正部１５０は、画面全体のＲＧＢ値からＲＧＢ毎に補正量を計算し、画面全体に適用する。第２のフリッカ補正部１５０での処理は、第１のフリッカ補正部１４０での補正方法をＲ，Ｇ，Ｂ毎に適用したものとなる。例えば、Ｒ信号を補正する場合、１フレームの画面全体でＲ信号の画素値を積算し、フリッカ１周期分で積算値を平均し、これを目標値とする。補正を行う際には、１フレームの画面全体でＲ信号の画素値を積算し、目標値との乖離分を補正値として、補正値に相当するデジタルゲインをＲ信号の各画素値に乗算することで補正する。Ｂ信号、Ｇ信号についても、同様に補正を行う。デジタルゲインを画面全体に適用することで、例えば、画面内の一部の領域で被写体が動いたような場合に、その動きが補正値に与える影響を抑制することができ、ロバスト性の高いフリッカ補正を実現できる。
　この際、第１のフリッカ補正部１４０での補正がＲ,Ｇ,Ｂ毎に各画素に適用されているため、第１のフリッカ補正部１４０により補正された分を差し引いた残りの目標値とのずれが、ＲＧＢ毎に第２のフリッカ補正部１５０で補正される。補正結果は、図８の「第２のフリッカ処理部で行われる処理」に示されている波形ｇのようになる。波形ｇに示すように、Ｒ信号、Ｇ信号、Ｂ信号が中央の目標値に補正されていることが判る。
　図９は、撮像素子１００がローリングシャッタ（ＲＳ）の場合に、第１のフリッカ補正部１４０、第２のフリッカ補正部１５０による、アナログゲインを用いたフリッカ補正を示す模式図である。ローリングシャッタ（ＲＳ）の場合、ライン毎に画素値の読み出しが行われる。図９に示す処理では、フレーム内でのフリッカ波形ｂの挙動が図８と異なるが、処理の内容は図８と同じである。
　ローリングシャッタ（ＲＳ）の場合、図９の各フレームの画像において、横方向のライン毎に順次に露光が行われる。このため、フリッカ現象による各フレームの横方向におけるライン毎のフリッカ波形ｂは、フリッカ現象に倣い、曲線状に変化する。
　そして、図９に示すように、各フレームの画面全体から補正量ｃを求め、ライン毎に補正を実施する。図８と同様に、フリッカ周期の１周期分の平均値ｄを補正の目標値とし、各フレームのフリッカ波形ｂの平均値ａと平均値ｄとの差分を補正値ｃとする。補正値ｃを適用した結果は、図８に示す「第１のフリッカ処理部で行われる処理」に示される補正後のフリッカ波形ｅとなる。露光量制御部１７０が補正量ｃに基づいて露光制御を行うことにより、補正後のフリッカ波形ｅでは、補正前の平均値ａがフリッカ波形ｅ上に移動している。
　ローリングシャッタ（ＲＳ）の場合、ライン毎に露光が行われて画素値が読み出されるため、各フレームのライン毎にフリッカ現象の輝度が反映されたフリッカ波形ｂとなる。そして、各フレームのライン毎に補正値ｃが一律に適用されるため、各フレームの補正後のフリッカ波形ｅは、ライン毎に値が異なるものになる。
　第２のフリッカ補正部１５０では、図８と同様の処理を行う。すなわち、フリッカ補正部１４０で補正された分を差し引いた残りを、Ｒ，Ｇ，Ｂ毎にフリッカ補正部１５０で補正する。例えば、Ｒ信号を補正する場合、１フレームの画面全体でＲ信号の画素値を積算し、フリッカ１周期分で積算値を平均し、これを目標値とする。そして、補正対象のフレームのＲ信号の画素値の積算値を求め、目標値と補正するフレームのＲ信号の積算値との乖離分をデジタルゲインとして、Ｒ信号の各画素値を補正する。補正結果は、図９の「第２のフリッカ処理部で行われる処理」に示されている波形ｇのようになる。
　図９に示す例では、各フレームの中央のラインでは、輝度信号Ｙ、Ｒ信号、Ｇ信号、Ｂ信号は、それぞれが中央の目標値に一致する。一方、第２のフリッカ補正部１５０による補正後の波形ｇにおいても、各フレームの中央のラインから離れるほど、Ｒ，Ｇ，Ｂ信号と目標値との乖離が生じる。
　このため、図１０に示すように、Ｒ,Ｇ,Ｂ毎の積算値のフリッカ周期１周期分を使って、積算値を取得できない部分の値を補完アルゴリズムによって補完することで予測し、補正を行うようにしても良い。
　図１０において、第１のフリッカ補正部１４０による処理は、図９と同様である。第２のフリッカ補正部１５０の処理では、Ｒ信号の場合を例に挙げて補正の処理を示している。第２のフリッカ補正部１５０の処理において、補正量ｈは、各フレームのＲ信号の積算値と目標値との乖離分から得られる値である。一方、補正値ｉは、各フレームの補正値ｈから推定することで求まる推定値である。フリッカ周波数(通常は１００Ｈｚまたは１２０Ｈｚ)の２倍以上の高速フレームレートで撮影をしている場合においては、サンプリング定理を満たすことで、補正値ｈから補正値ｉを予測することが可能である。
　第２のフリッカ補正部１５０は、補正値ｈ、補正値ｉを用いて、第１のフリッカ補正部１４０で既に補正されたＲ信号、Ｇ信号、Ｂ信号の画素値を更に補正する。
　このように、図１０に示す例では、面全体のＲＧＢ値からライン毎の補正量をＲＧＢ毎に推定し、ライン毎に補正を行う。
　図１１は、補正値ｉを予測する方法を示す模式図であって、一例として、フレームレート１０００ｆｐｓ、光源周波数１００Ｈｚの場合の補間方法を示している。図１１中において、フレーム毎に画面内でのＲ，Ｇ，Ｂのそれぞれについて画素値の平均値（図中に四角でプロットした画面平均値）が求まる。そして、画面平均値に基づいて、図１１中に破線で示す推定値が求まる。画面平均値に基づく推定は、例えば、補間処理として一般的なラグランジュの補間を用いて行うことができる。図１１に示すように、推定値は、フリッカ現象に応じて周期的に増減を繰り返すことが判る。
　例えば、図１１に示す１０フレーム目まで画面内でのＲＧＢの各信号の画面平均値が既に求められているものとする。フリッカ現象の周期がおよそＮフレーム分に相当するものとすると、１１フレーム目、１２フレーム目のＲＧＢの各信号の画面平均値は、Ｎ＋１フレーム前、Ｎフレーム前、Ｎ－１フレーム前、Ｎ－２フレーム前の画面平均値から求めることができる。そして、１１フレーム目、１２フレーム目のライン毎のＲＧＢの各信号は、Ｎ＋１フレーム前、Ｎフレーム前、Ｎ－１フレーム前、Ｎ－２フレーム前の画面平均値から推定することができる。
　以上のように、１周期前の画面平均値を用いて各ラインのフリッカ波形を推定することで、その結果を現フレームの補正量に適用することができる。なお、フレームレートと光源周波数との関係により１周期前の画面平均値を用いることができない場合は、Ｍ周期前（Ｍは任意の整数とする）の平均ＯＰＤ値を用いる。
　なお、ローリングシャッタ（ＲＳ）の場合にライン毎の補正を行わなくても良く、ローリングシャッタ（ＲＳ）の場合であっても、図９に示したように、ライン毎に補正量を求めずに画面全体に対しての補正量を求めて、画面単位で補正を実施しても良い。
　なお、以上の説明では、ベイヤ配列の場合について説明したが、ＲＣＣＢ、ＲＣＣＧなど、ベイヤ配列以外の場合であっても、ベイヤ配列の場合と同様に、輝度と色に分けて処理を行うことで、フリッカを補正することができる。
　３．本実施形態のバリエーションについて
　図１Ｂは、第１のフリッカ補正部１４０による処理と、第２のフリッカ補正部１５０による処理を並列して行う例を示す模式図である。図１Ｂに示すように、第１のフリッカ補正部１４０による処理と、第２のフリッカ補正部１５０による処理は、並行して行うことができる。
　また、図２は、アナログゲインをＲＧＢ毎に設定できる撮像素子１００を用いた例を示す模式図である。アナログゲインをＲＧＢ毎に設定できる撮像素子１００を使用する場合は、第１のフリッカ補正部１４０の機能と第２のフリッカ補正部１５０の機能を共に備えるフリッカ補正部１８０を使用することができ、第１のフリッカ補正部１４０と第２のフリッカ補正部１５０に分離する必要はない。この場合、ＲＧＢ毎のアナログゲインに基づいて、露光制御部１７０により、ＲＧＢ毎に露光量が制御される。
　図３は、図１Ａの構成に加えて、目標とする対象物の検出を行うことができる対象物検出部１９０と、対象物を検出した後のフレームにおいて、対象物の場所を把握し続ける対象物トラッキング部２００を有する例を示す模式図である。また、図３に示す例では、対象物トラッキング部２００の後段に第３のフリッカ補正部２１０が設けられている。第３のフリッカ補正部２１０の機能は、第２のフリッカ補正部１５０の機能と同様であるが、トラッキングした対象物を含む所定領域で補正値を計算する点で第２のフリッカ補正部１５０と相違する。図３に示す例では、第３のフリッカ補正部２１０により、注目した対象物の付近からＲＧＢ毎に補正量を計算し、画面全体に補正を適用することが可能である。対象物の付近からＲＧＢ毎の補正量を算出することで、着目したい対象物におけるフリッカ補正を高精度に行うことができる。
　図４は、図２と同様に、アナログゲインをＲＧＢ毎に設定できる撮像素子１００を用いた例を示す模式図である。図４に示す例では、第１のフリッカ補正部１４０と第２のフリッカ補正部１５０が設けられておらず、図２と同様に、第１のフリッカ補正部１４０の機能と第２のフリッカ補正部１５０の機能を共に備えるフリッカ補正部１８０が設けられている。
　更に、図４に示す例では、図３と同様に、対象物検出部１９０と対象物トラッキング部２００が設けられており、対象物トラッキング部２００の後段に第３のフリッカ補正部２１０が設けられている。従って、注目した対象物の付近からＲＧＢ毎に補正量を計算し、画面全体に適用することが可能である。
　図７Ａは、図３に示す構成例における処理の流れを示すフローチャートである。以下では、図７Ａに基づいて、図３に示す構成例における処理の流れを説明する。先ず、ステップＳ４０では、撮像素子１００がグローバルシャッタ（ＧＳ）であるか否かを判定し、グローバルシャッタ（ＧＳ）の場合はステップＳ４２へ進む。ステップＳ４２では、対象物検出部１９０により対象物を検出したか否かを判定する。
　ステップＳ４２で対象物を検出した場合は、ステップＳ４４へ進む。ステップＳ４４では、対象物トラッキング部２００により対象物のトラッキングを行う。次のステップＳ４６では、画面内の対象物を含む所定領域の画像に基づいて、第３のフリッカ補正部２１０によりＲＧＢ毎に補正値を計算する。
　一方、ステップＳ４２で対象物を検出していない場合は、ステップＳ４８へ進む。ステップＳ４８では、第２のフリッカ補正部１４０により、画面全体からＲＧＢ毎に補正量を算出する。
　ステップＳ４６，Ｓ４８の後はステップＳ５０に進む。ステップＳ５０では、ステップＳ４６，Ｓ４８で求めた補正値に基づき、画面全体でフリッカ補正を行う。次のステップＳ５５では、信号処理部による信号処理を行う。以上のように、図３に示す構成例では、対象物検出部１９０により対象物が検出されていない場合は、第３のフリッカ補正部２１０によるフリッカ補正は行われずに、第２のフリッカ補正部１４０によるフリッカ補正が行われる。そして、第２のフリッカ補正部１４０によるフリッカ補正後の画像から対象物が検出された場合は、第３のフリッカ補正部２１０による対象物の領域付近でのフリッカ補正が行われる。第２のフリッカ補正部１４０によるフリッカ補正後の画像から対象物を検出することで、対象物を確実に検出することが可能となる。また、第２のフリッカ補正部１４０によるフリッカ補正後の画像から対象物が検出された場合は、第３のフリッカ補正部２１０による対象物の領域付近でのフリッカ補正を行うことで、着目したい対象物におけるフリッカ補正を高精度に行うことができる。第３のフリッカ補正部２１０によるフリッカ補正が開始すると、第２のフリッカ補正部１４０によるフリッカ補正は停止される。
　また、ステップＳ４０でグローバルシャッタ（ＧＳ）でない場合、すなわちローリングシャッタ（ＲＳ）の場合は、ステップＳ５２へ進む。ステップＳ５２では、第２のフリッカ補正部１４０により、画面全体からＲＧＢ毎に補正値を計算し、次のステップＳ５４では、図１０に示したようにライン毎に補正を行う。ステップＳ５０，Ｓ５４の後はステップＳ５５へ進み、信号処理部１６０による信号処理が行われる。
　図７Ａの処理では、ローリングシャッタ（ＲＳ）の場合は対象物検出を行わない場合を示したが、図７Ｂに示すように、ローリングシャッタ（ＲＳ）の場合に対象物検出を行うようにしても良い。図７Ｂの処理では、ステップＳ４０，Ｓ４２，Ｓ４４，Ｓ４６，Ｓ４８，Ｓ５０，Ｓ５５の処理は、図７Ａと同様に行われる。ステップＳ４０でローリングシャッタ（ＲＳ）と判定された場合は、ステップＳ６０へ進む。ステップＳ６０では、対象物検出部１９０により対象物を検出したか否かを判定する。
　ステップＳ６０で対象物を検出した場合は、ステップＳ６２へ進む。ステップＳ６２では、対象物トラッキング部２００により対象物のトラッキングを行う。次のステップＳ６４では、画面内の対象物を含む所定領域の画像に基づいて、第３のフリッカ補正部２１０によりＲＧＢ毎に補正値を計算する。次のステップＳ６８では、画面全体でフリッカの補正を行う。
　一方、ステップＳ６０で対象物を検出していない場合は、ステップＳ６６へ進む。ステップＳ６６では、第２のフリッカ補正部１５０により、画面全体からＲＧＢ毎に補正量を算出する。次のステップＳ７０では、図１０に示したように、ライン毎にフリッカ補正を行う。
　ステップＳ６８，Ｓ７０の後はステップＳ５５に進む。ステップＳ５５では、ステップＳ６８，Ｓ７０で求めた補正値に基づき、画面全体でフリッカ補正を行う。以上のように、図７Ｂの処理によれば、撮像素子１００がローリングシャッタ（ＲＳ）の場合に、対象物をトラッキングしている場合は、対象物を含む所定領域の画像に基づいてＲＧＢ毎のフリッカ補正が行われる。また、撮像素子１００がローリングシャッタ（ＲＳ）の場合に、対象物をトラッキングしていない場合は、画面全体からＲＧＢ毎に補正量を算出し、ライン毎にフリッカ補正が行われる。
　４．対象物の検出、トラッキングについて
　図１２は、対象物検出部１９０による対象物の検出の例を示す模式図である。図１２に示す例においては、高速フレームレートで撮像された複数の撮像フレームから、トラッキングの対象となる対象物を検出する方法を示している。図１２では、対象物の一例として人間の手を示している。この手は、キーボードに対するタイピングのために、狭い領域において微小に移動しているものとする。なお、本実施形態において、対象物は、このような人間の手に限定されるものではない。
　先ず、撮像したカラーの撮像フレームに対して画像処理を行い、図１２の左側に示すようなグレースケール化された撮像フレーム（元画像２００，２０２）を生成する。詳細には、例えば赤色（Ｒ）についてグレースケール化された撮像フレームを生成する場合には、カラーの撮像フレームにおける各画素の赤色（Ｒ）の画素値を色情報として抽出する。この場合、グレースケール化された撮像フレームにおいては、Ｒ画素値が高い画素は白くなり、Ｒ画素値が低い場合には黒くなる。元画像２００に対して、次フレームの元画像２０２は手の位置が移動している。
　そして、グレースケール化された撮像フレームの各画素のＲ画素値を所定の閾値と比較し、例えば、所定の閾値以上の画素の画素値を１に変換し、所定の閾値未満の画素の画素値を０に変換する。このようにすることで、図１２の中央に示されるような２値化された撮像フレームの画像２１０，２１２を生成することができる。図１２の中央に示される２値化された２つの画像２１０，２１２では、手の画素値が１に変換され、手の周辺の画素値が０に変換されている。
　なお、グレースケール化された撮像フレームを生成する際には、赤色、緑色、青色（ＲＧＢ）のいずれかの画素値を抽出しても良いし、３つの画素値の平均値を用いても良い。また、各画素値に重み付けした後に、各画素値を積算した値を用いてもよい。また、グレースケール化された撮像フレームを生成する際には、検出しようとする対象物の特徴に応じて、好適な色、方法を選択することが好ましい。
　そして、図１２の中央上段に示す２値化された２つの撮像フレームの画像２１０，２１２を比較し、撮像フレーム間の差分をとった画像２１４を抽出することにより、画像２１４内で動きが生じた特定の領域（対象物）を抽出する。画像２１４において、手が動いた領域は画素値の差分が１になるため、白色で示されている。従って、画像２１４中において、白色で示された領域が、対象物（手）の動きとして検出されることになる。そして、このような処理を繰り返すことにより、対象物をトラッキングすることができる。
　なお、本実施形態においては、対象物の検出は上述の方法に限定されるものではなく、例えば、対象物の特徴点を予め記憶しておき、撮像フレームから記憶した特徴点を抽出することにより、対象物の検出を行ってもよい。例えば、この場合、対象物が人物の顔であった場合には、人物の顔の特徴点（目、鼻、口）に基づいて、人物の検出を行う。
　次に、対象物トラッキング部２００による対象物のトラッキングについて詳細に説明する。図１２の右側の画像２１６に示すように、対象物トラッキング部２００は、検出された対象物（手）に対して、トラッキング（追跡）を行う。
　例えば、セルフウィンドウ法を用いて、高速フレームレートで撮像された連続した複数の撮像フレームにおいて、対象物をトラッキングし続ける。セルフウィンドウ法は、高速フレームレートで撮像された撮像フレームにおいて、対象物をトラッキングするアルゴリズムの一種である。高速フレームレートで撮像した場合、複数の撮像フレームにおける対象物の移動距離（差分）は小さい。従って、前の撮像フレームにおける対象物の周囲の領域に、当該対象物を抽出するための抽出ウィンドウを設定した場合、次の撮像フレームにおいても、当該対象物は上記抽出ウィンドウの中に含まれることとなる。
　より具体的には、抽出ウィンドウは、前の撮像フレームにおける対象物を示す画素領域に対して１画素分だけ外側に膨らませた画素領域として設定される。もし、次の撮像フレームレートにおいて対象物が設定した抽出ウィンドウに含まれていない場合には、フレームレートを更に高速にすることにより、対象物を抽出ウィンドウに含まれるようにすることができる。そして、対象物の移動距離が小さいことから、対象物を探査する範囲である抽出ウィンドウの面積を狭くすることができる。従って、抽出ウィンドウ内で画像のマッチング等を行うことにより、対象物を容易に検出することが可能となる。図１２の例では、手を検出するために肌色を用い、肌色を構成するＲ，Ｇ，Ｂの画素値が抽出ウィンドウにあるか否かで、対象物をトラッキングすることが可能である。
　なお、抽出ウィンドウは、前の撮像フレームにおける対象物を示す画素領域に対して１画素分だけ外側に膨らませた画素領域として設定されるとして説明したが、本実施形態においては１画素分だけ膨らませることに限定されるものではない。例えば、２以上の画素分だけ膨らませた画素領域を抽出ウィンドウとして設定してもよい。膨らませる画素の数は、例えば、フレームレートと対象物の速度等に応じて適宜選択することができる。
　また、次の撮像フレームレートにおいて、対象物が設定した抽出ウィンドウに含まれていない場合には、フレームレートを更に高速にするものとしたが、このような方法に限定されるものではない。例えば、抽出ウィンドウの設定の際に膨らせる画素の数を調整することにより、対象物を当該抽出ウィンドウに含まれるようにしても良い。
　さらに、セルフウィンドウ法は、前の撮像フレームから計算される抽出ウィンドウと、次の２値化された対象物の画像の間での論理積を計算することにより、ターゲット抽出画像を生成し、対象物をトラッキングする。また、セルフウィンドウ法によれば、前後の撮像フレームのターゲット抽出画像との間での対象物の画像を比較することにより、対象物の位置情報、面積（形状）情報だけでなく、対象物の移動方向、移動速度等の情報も取得することができる。以上の説明から明らかなように、セルフウィンドウ法を用いる場合、対象物をトラッキングする際に用いる撮像フレームは、高速フレームレートにて撮像されていることが好ましい。
　なお、本実施形態においては、対象物のトラッキングは、上述の例に限定されるものではなく、他の方法を用いてもよい。例えば、本実施形態においては、前後の撮像フレームに共通する特徴点に基づいて、対象物のトラッキングを行ってもよい。
　以上説明したように本実施形態によれば、第１のフリッカ補正部１４０によるフリッカ補正を行うことで、撮像素子１００で取得されたアナログデータの時点で、サチュレーション(白とび、黒潰れ)の発生を抑制でき、Ｓ／Ｎを高めることができる。また、撮像素子１００の移動、動被写体に対してもロバスト性のあるフリッカ補正方法を提供することが可能となる。
　４．応用例
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１３は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１３に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１３では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図１４は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１４には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図１３に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１３の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図１３に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　以上説明した車両制御システム７０００において、図１等を用いて説明した本実施形態に係る撮像装置１０００情報処理装置１００は、図１３に示した応用例の撮像部７４１０に適用することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）　画像の輝度平均値を算出し、前記輝度平均値の周期的な変化に基づいて前記画像の輝度を補正する第１の補正部と、
　前記画像の色情報を取得し、前記色情報の周期的な変化に基づいて前記色情報を補正する第２の補正部と、
　を備える、画像処理装置。
（２）　前記第１の補正部は、複数のフレームにおける前記輝度平均値を平均して得られる値を目標値として、前記画像の輝度が当該目標値になるように補正する、前記（１）に記載の画像処理装置。
（３）　前記複数のフレームは、フリッカ現象による輝度変化の少なくとも１周期分を含む、前記（２）に記載の画像処理装置。
（４）　前記第１の補正部が前記輝度平均値の周期的な変化に基づいて算出した補正値に基づいて、前記画像の露光量を制御する露光量制御部を備える、前記（１）～（３）のいずれかに記載の画像処理装置。
（５）　前記第２の補正部は、前記第１の補正部による補正が行われた前記画像に対して補正を行う、前記（１）～（４）のいずれかに記載の画像処理装置。
（６）　前記第２の補正部は、前記画像の複数の前記色情報の値をそれぞれの積算値を求め、複数のフレームにおける前記積算値を平均して得られる値を目標値として、前記積算値が当該目標値となるように複数の前記色情報のそれぞれを補正する、前記（１）～（５）のいずれかに記載の画像処理装置。
（７）　前記複数のフレームは、フリッカ現象による前記色情報の変化の少なくとも１周期分を含む、前記（６）に記載の画像処理装置。
（８）　複数の前記色情報は、赤、緑、青の３色の前記色情報である、前記（６）に記載の画像処理装置。
（９）　前記第２の補正部は、前記色情報を前記画像の全体で一律に補正する、前記（１）～（８）のいずれかに記載の画像処理装置。
（１０）　前記第２の補正部は、前記色情報の画素配列のライン毎に補正する、前記（１）～（８）のいずれかに記載の画像処理装置。
（１１）　前記第２の補正部は、１フレーム内の任意のラインについては、前記積算値に基づいて補正を行い、
　前記任意のライン以外のラインについては、前記積算値から推定される推定値に基づいて補正を行う、前記（６）に記載の画像処理装置。
（１２）　前記画像内で対象物を検出する対象物検出部と、
　前記対象物をトラッキングするトラッキング部と、を備え、
　前記第２の補正部は、前記トラッキングした前記対象物を含む所定領域で前記色情報を補正する、前記（１）～（１１）のいずれかに記載の画像処理装置。
（１３）　画像の輝度平均値を算出し、前記輝度平均値の周期的な変化に基づいて画像の輝度を補正することと、
　前記画像の色情報を取得し、前記色情報の周期的な変化に基づいて前記色情報を補正することと、
　を備える、画像処理方法。
（１４）　被写体の画像を撮像する撮像素子と、
　前記画像の輝度平均値を算出し、前記輝度平均値の周期的な変化に基づいて前記画像の輝度を補正する第１の補正部と、前記画像の色情報を取得し、前記色情報の周期的な変化に基づいて前記色情報を補正する第２の補正部と、を有する画像処理装置と、
　を備える、撮像装置。
　１００　　撮像素子
　１４０　　第１のフリッカ補正部
　１５０　　第２のフリッカ補正部
　１７０　　露光制御部
　１０００　撮像装置

Claims (14)

  1. 　画像の輝度平均値を算出し、前記輝度平均値の周期的な変化に基づいて前記画像の輝度を補正する第１の補正部と、
    　前記画像の色情報を取得し、前記色情報の周期的な変化に基づいて前記色情報を補正する第２の補正部と、
    　を備える、画像処理装置。
  2. 　前記第１の補正部は、複数のフレームにおける前記輝度平均値を平均して得られる値を目標値として、前記画像の輝度が当該目標値になるように補正する、請求項１に記載の画像処理装置。
  3. 　前記複数のフレームは、フリッカ現象による輝度変化の少なくとも１周期分を含む、請求項２に記載の画像処理装置。
  4. 　前記第１の補正部が前記輝度平均値の周期的な変化に基づいて算出した補正値に基づいて、前記画像の露光量を制御する露光量制御部を備える、請求項１に記載の画像処理装置。
  5. 　前記第２の補正部は、前記第１の補正部による補正が行われた前記画像に対して補正を行う、請求項１に記載の画像処理装置。
  6. 　前記第２の補正部は、前記画像の複数の前記色情報の値をそれぞれの積算値を求め、複数のフレームにおける前記積算値を平均して得られる値を目標値として、前記積算値が当該目標値となるように複数の前記色情報のそれぞれを補正する、請求項１に記載の画像処理装置。
  7. 　前記複数のフレームは、フリッカ現象による前記色情報の変化の少なくとも１周期分を含む、請求項６に記載の画像処理装置。
  8. 　複数の前記色情報は、赤、緑、青の３色の前記色情報である、請求項６に記載の画像処理装置。
  9. 　前記第２の補正部は、前記色情報を前記画像の全体で一律に補正する、請求項１に記載の画像処理装置。
  10. 　前記第２の補正部は、前記色情報の画素配列のライン毎に補正する、請求項１に記載の画像処理装置。
  11. 　前記第２の補正部は、１フレーム内の任意のラインについては、前記積算値に基づいて補正を行い、
    　前記任意のライン以外のラインについては、前記積算値から推定される推定値に基づいて補正を行う、請求項６に記載の画像処理装置。
  12. 　前記画像内で対象物を検出する対象物検出部と、
    　前記対象物をトラッキングするトラッキング部と、を備え、
    　前記第２の補正部は、前記トラッキングした前記対象物を含む所定領域で前記色情報を補正する、請求項１に記載の画像処理装置。
  13. 　画像の輝度平均値を算出し、前記輝度平均値の周期的な変化に基づいて画像の輝度を補正することと、
    　前記画像の色情報を取得し、前記色情報の周期的な変化に基づいて前記色情報を補正することと、
    　を備える、画像処理方法。
  14. 　被写体の画像を撮像する撮像素子と、
    　前記画像の輝度平均値を算出し、前記輝度平均値の周期的な変化に基づいて前記画像の輝度を補正する第１の補正部と、前記画像の色情報を取得し、前記色情報の周期的な変化に基づいて前記色情報を補正する第２の補正部と、を有する画像処理装置と、
    　を備える、撮像装置。
PCT/JP2018/039696 2017-12-11 2018-10-25 画像処理装置、画像処理方法及び撮像装置 WO2019116746A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/768,809 US11375137B2 (en) 2017-12-11 2018-10-25 Image processor, image processing method, and imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-236879 2017-12-11
JP2017236879A JP2019106588A (ja) 2017-12-11 2017-12-11 画像処理装置、画像処理方法及び撮像装置

Publications (1)

Publication Number Publication Date
WO2019116746A1 true WO2019116746A1 (ja) 2019-06-20

Family

ID=66820240

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/039696 WO2019116746A1 (ja) 2017-12-11 2018-10-25 画像処理装置、画像処理方法及び撮像装置

Country Status (3)

Country Link
US (1) US11375137B2 (ja)
JP (1) JP2019106588A (ja)
WO (1) WO2019116746A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021021633A (ja) * 2019-07-26 2021-02-18 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距システムおよび測距装置の調整方法
EP3922168A1 (en) * 2020-06-10 2021-12-15 Koninklijke Philips N.V. Determining intensity distributions
FR3119233B1 (fr) * 2021-01-22 2023-04-28 St Microelectronics Grenoble 2 Estimation de fréquence de papillotement
US20230254591A1 (en) * 2022-02-09 2023-08-10 Samsung Electronics Co., Ltd. System and method for flicker avoidance in multi-frame multi-exposure image captures

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07177427A (ja) * 1993-12-20 1995-07-14 Victor Co Of Japan Ltd ビデオカメラ
JP2016122941A (ja) * 2014-12-25 2016-07-07 キヤノン株式会社 画像処理装置
JP2017098777A (ja) * 2015-11-25 2017-06-01 キヤノン株式会社 撮像装置及びその制御方法、プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4861234B2 (ja) * 2007-04-13 2012-01-25 株式会社エルモ社 露出制御方法及び撮像装置
CN102648435A (zh) * 2007-09-27 2012-08-22 夏普株式会社 显示装置
JP2009290660A (ja) * 2008-05-30 2009-12-10 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラムおよび印刷装置
JP5132470B2 (ja) * 2008-08-01 2013-01-30 三洋電機株式会社 画像処理装置
JP5299867B2 (ja) * 2009-06-30 2013-09-25 日立コンシューマエレクトロニクス株式会社 画像信号処理装置
US9897792B2 (en) * 2012-11-30 2018-02-20 L&T Technology Services Limited Method and system for extended depth of field calculation for microscopic images
JP6576028B2 (ja) 2014-10-21 2019-09-18 キヤノン株式会社 画像処理装置及び画像処理方法
US10536633B2 (en) * 2015-02-06 2020-01-14 Panasonic Intellectual Property Management Co., Ltd. Image processing device, imaging system and imaging apparatus including the same, and image processing method
KR102287944B1 (ko) * 2015-12-22 2021-08-09 삼성전자주식회사 영상 출력 장치 및 영상 출력 방법
US10354370B2 (en) * 2016-03-24 2019-07-16 Panasonic Intellectual Property Management Co., Ltd. Image processor, image processing method, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07177427A (ja) * 1993-12-20 1995-07-14 Victor Co Of Japan Ltd ビデオカメラ
JP2016122941A (ja) * 2014-12-25 2016-07-07 キヤノン株式会社 画像処理装置
JP2017098777A (ja) * 2015-11-25 2017-06-01 キヤノン株式会社 撮像装置及びその制御方法、プログラム

Also Published As

Publication number Publication date
JP2019106588A (ja) 2019-06-27
US20210176390A1 (en) 2021-06-10
US11375137B2 (en) 2022-06-28

Similar Documents

Publication Publication Date Title
US10957029B2 (en) Image processing device and image processing method
US10880498B2 (en) Image processing apparatus and image processing method to improve quality of a low-quality image
WO2017057043A1 (ja) 画像処理装置、画像処理方法、およびプログラム
JPWO2018037678A1 (ja) 画像処理装置および情報生成装置と情報生成方法
WO2019116746A1 (ja) 画像処理装置、画像処理方法及び撮像装置
JP6977722B2 (ja) 撮像装置、および画像処理システム
WO2017057057A1 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2018150685A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US11585898B2 (en) Signal processing device, signal processing method, and program
JP2019145021A (ja) 情報処理装置、撮像装置、及び撮像システム
JP6981416B2 (ja) 画像処理装置と画像処理方法
JP7363890B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN111868778B (zh) 图像处理装置、图像处理方法以及存储介质
WO2019215979A1 (ja) 画像処理装置、車載装置、画像処理方法及びプログラム
WO2018034157A1 (ja) 画像処理装置、画像処理方法、および撮像装置
WO2021229983A1 (ja) 撮像装置及びプログラム
US11438517B2 (en) Recognition device, a recognition method, and a program that easily and accurately recognize a subject included in a captured image
JP7559748B2 (ja) 情報処理装置、情報処理方法及びプログラム
US10791287B2 (en) Imaging control apparatus and method, and vehicle
WO2019111651A1 (ja) 撮像システム、画像処理装置、及び、画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18889892

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18889892

Country of ref document: EP

Kind code of ref document: A1