WO2019003675A1 - 撮像装置とフリッカー補正方法およびプログラム - Google Patents

撮像装置とフリッカー補正方法およびプログラム Download PDF

Info

Publication number
WO2019003675A1
WO2019003675A1 PCT/JP2018/018721 JP2018018721W WO2019003675A1 WO 2019003675 A1 WO2019003675 A1 WO 2019003675A1 JP 2018018721 W JP2018018721 W JP 2018018721W WO 2019003675 A1 WO2019003675 A1 WO 2019003675A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
imaging
flicker
light intensity
intensity detection
Prior art date
Application number
PCT/JP2018/018721
Other languages
English (en)
French (fr)
Inventor
晶 岩瀬
隆寛 森
中山　大輔
康広 小玉
雅也 木下
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/625,166 priority Critical patent/US11470263B2/en
Priority to CN201880041840.9A priority patent/CN110771149A/zh
Priority to JP2019526662A priority patent/JP7074136B2/ja
Publication of WO2019003675A1 publication Critical patent/WO2019003675A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise

Definitions

  • This technology relates to an imaging device, a flicker correction method, and a program, and it is possible to change the intensity of the illumination light regardless of the positional relationship between the illumination device and the subject even when using the illumination device in which the intensity of the illumination light varies periodically. It is possible to obtain a captured image with reduced effects.
  • illumination detected using a second photodiode is provided with a first photodiode for imaging an object and a second photodiode for detecting variation in the intensity of illumination light. It is performed to correct an imaging signal acquired using a first photodiode based on a light intensity change pattern.
  • the correction of the imaging signal based on the intensity change pattern of the illumination light detected using the second photodiode is a correction according to the time change of the intensity of the illumination light. Therefore, for example, it is not possible to correct the difference in the degree of flicker for each subject caused by the difference in the positional relationship between the lighting device and the subject.
  • an imaging device capable of acquiring a captured image in which the influence of the fluctuation of the intensity of the illumination light is reduced regardless of the positional relationship between the illumination device and the subject. And flicker correction method and program.
  • the first aspect of this technology is A correction gain calculation unit that calculates a flicker correction gain based on a pixel signal of an imaging pixel for acquiring a captured image and a pixel signal of a light intensity detection pixel for detecting the intensity of illumination light;
  • an imaging apparatus including a control unit configured to individually set exposure timings and exposure periods of the imaging pixel and the light intensity detection pixel.
  • an imaging pixel for acquiring an imaged image and a light intensity detection pixel for detecting the intensity of illumination light are provided, for example, vertically adjacent to each other.
  • the control unit individually sets the exposure timing and the exposure period of the imaging pixel and the light intensity detection pixel. For example, the control unit sets the exposure period of the imaging pixel to a period according to the shutter speed, sets the exposure period of the light intensity detection pixel to a cycle period of the intensity change of the illumination light, and picks up the imaging pixel and the light intensity detection pixel
  • the exposure timing is set such that either the exposure start, the exposure end or the center of the exposure period is equal.
  • control unit provides one or more pixel groups of light intensity detection pixels based on the frame period of the captured image and the cycle of intensity change of the illumination light, and any one of the light intensity detection pixels for each frame of the captured image.
  • the pixel signal of the exposure period which is a period period of the intensity
  • the correction gain calculation unit calculates a flicker correction gain for the imaging pixel to be flicker-corrected based on the pixel signal of the imaging pixel and the pixel signal of the light intensity detection pixel.
  • the correction gain calculation unit performs interpolation processing using pixel signals of light intensity detection pixels in a plurality of pixel ranges in the horizontal direction and the vertical direction based on the imaging pixel to be flicker corrected, and the spatial phase Pixel signals of equal light intensity detection pixels are generated, and a flicker correction gain is calculated for each pixel of the image pickup pixel based on the pixel signal of the image pickup pixel and the pixel signal of the light intensity detection pixel having the same spatial phase as the image pickup pixel.
  • the flicker correction unit performs the flicker correction of the imaging pixel to be subjected to the flicker correction using the flicker correction gain calculated by the correction gain calculation unit.
  • a flicker detection unit is provided, and a pixel signal for each frame of the flicker detection first pixel whose exposure period is a cycle of the first commercial power supply frequency and a flicker detection second pixel whose exposure period is a cycle of the second commercial power supply frequency
  • the period of the intensity change of the illumination light is detected based on the signal level change of
  • the control unit sets the light intensity detection pixel or the light intensity detection pixel and the imaging pixel as the flicker detection first pixel and the flicker detection second pixel before calculating the flicker correction gain, and performs flicker detection.
  • the flicker detection is performed by the unit, and after the flicker detection, the cycle detected by the flicker detection unit is set as the exposure period of the light intensity detection pixel.
  • the control unit sets a pixel block consisting of a plurality of color component pixels as a pixel unit of the imaging pixel and the light intensity detection pixel, and the correction gain calculation unit generates color components of the pixel block constituting the imaging pixel and the light intensity detection pixel.
  • the flicker correction gain is calculated based on the luminance value calculated from the pixel signal.
  • the light intensity detection pixels are thinned out and arranged, and the correction gain calculation unit performs interpolation processing using the pixel signals of the light intensity detection pixels and calculates pixel signals of light intensity detection pixels having the same spatial phase as the imaging pixels.
  • the flicker correction gain of the imaging pixel to be flicker-corrected is calculated based on the pixel signal of the imaging pixel and the pixel signal of the light intensity detection pixel having the spatial phase equal to that of the imaging pixel.
  • the second aspect of this technology is Setting an exposure timing and an exposure period of an imaging pixel for acquiring an imaged image and a light intensity detection pixel for detecting an intensity of illumination light individually; Calculating a flicker correction gain based on the pixel signal generated by the imaging pixel and the pixel signal generated by the light intensity detection pixel; According to another aspect of the present invention, there is provided a flicker correction method including performing flicker correction of the imaging pixel using the calculated flicker correction gain.
  • the third aspect of this technology is A program that causes a computer to execute flicker correction of a captured image, and A procedure for individually setting an exposure timing and an exposure period of an imaging pixel for acquiring the imaging image and a light intensity detection pixel for detecting an intensity of illumination light; A procedure for calculating a flicker correction gain based on the imaging pixel signal generated by the imaging pixel and the illumination light pixel signal generated by the light intensity detection pixel; And a program for causing the computer to execute a procedure of performing flicker correction of the imaging pixel using the calculated flicker correction gain.
  • the program of the present technology is, for example, a storage medium, communication medium such as an optical disc, a magnetic disc, a semiconductor memory, etc., provided in a computer readable format to a general-purpose computer capable of executing various program codes. It is a program that can be provided by a medium or a communication medium such as a network. By providing such a program in a computer readable form, processing according to the program is realized on the computer.
  • the exposure timing and the exposure period of the imaging pixel for acquiring the imaged image and the light intensity detection pixel for detecting the intensity of the illumination light are set individually.
  • a flicker correction gain is calculated for each pixel of the imaging pixel based on the pixel signal generated by the imaging pixel and the pixel signal generated by the light intensity detection pixel. Therefore, regardless of the positional relationship between the illumination device and the subject, it is possible to acquire a captured image in which the influence of the fluctuation of the intensity of the emitted light is reduced.
  • the effects described in the present specification are merely examples and are not limited, and additional effects may be present.
  • FIG. 7 is a view exemplifying the arrangement of imaging pixels and light intensity detection pixels when the frame frequency of the imaged image is lower than the flicker frequency.
  • FIG. 7 is a view exemplifying the arrangement of imaging pixels and light intensity detection pixels in the case where the frame frequency of the imaged image is higher than the flicker frequency and lower than twice the flicker frequency.
  • FIG. 8 is a view exemplifying another arrangement of imaging pixels and light intensity detection pixels in the case where the frame frequency of the imaged image is higher than the flicker frequency and lower than twice the flicker frequency. It is a figure for demonstrating calculation operation of the flicker correction gain of 2nd Embodiment.
  • FIG. 16 is a diagram for explaining another calculation operation of the flicker correction gain according to the second embodiment. It is the flowchart which illustrated operation of the imaging device of a 2nd embodiment. It is the figure which illustrated the composition of the imaging device in the case of detecting a flicker frequency automatically. It is the figure which illustrated the flicker detection 1st pixel and the flicker detection 2nd pixel. It is the flowchart which illustrated operation of form of 3rd execution.
  • FIG. 21 is a diagram showing another case of a color captured image as another operation example of the fourth embodiment. It is a figure for demonstrating calculation operation of the flicker correction gain at the time of thinning-out and arrange
  • First Embodiment 1-1 Configuration of imaging device 1-2. First operation of imaging device 1-3. Second operation of imaging device 1-4. Third operation of imaging device 1-5. Fourth Operation of Imaging Device 1-6. Fifth operation of imaging device Second Embodiment 2-1. Configuration of imaging device 2-2. Operation of imaging device 3. Third embodiment 4. Fourth embodiment 5. Application example 6. Application example to mobile
  • FIG. 1 illustrates the configuration of an imaging device according to a first embodiment of the present technology.
  • the imaging device 10 includes an imaging unit 21, an image signal processing unit 30, a user interface (I / F) unit 41, and a control unit 45.
  • the imaging device 10 may be provided with a recording unit 51, a signal output unit 52, a display unit 53, and the like as the peripheral unit 50.
  • the imaging unit 21 is provided with imaging pixels and light intensity detection pixels in an imaging plane.
  • the imaging pixel is a pixel for acquiring a captured image, and generates a pixel signal according to the exposure amount of the exposure period, where the exposure period is a period corresponding to the shutter speed.
  • the light intensity detection pixel is a pixel for detecting the intensity of the illumination light, and generates a pixel signal according to the exposure amount of the exposure period, with the exposure period as a flicker cycle period.
  • the imaging unit 21 outputs a pixel signal generated by the imaging pixel and the light intensity pixel to the image signal processing unit 30.
  • the imaging pixels and the light intensity detection pixels are alternately provided in the horizontal direction or the vertical direction, and the details thereof will be described later.
  • the image signal processing unit 30 includes a correction gain calculation unit 32 and a flicker correction unit 33.
  • the correction gain calculation unit 32 calculates the flicker correction gain based on the pixel signals generated by the imaging pixels of the imaging unit 21 and the light intensity detection pixels. Specifically, using a pixel signal of an imaging pixel within a predetermined pixel range based on an imaging pixel targeted for flicker correction and a pixel signal of a light intensity detection pixel, a light intensity detection pixel having a spatial phase equal to that of the imaging pixel Generate a pixel signal. Furthermore, the flicker correction gain is calculated based on the pixel signal of the imaging pixel and the pixel signal of the light intensity detection pixel having the same spatial phase as the imaging pixel. The correction gain calculation unit 32 outputs the calculated flicker correction gain to the flicker correction unit 33.
  • the flicker correction unit 33 performs gain adjustment on the pixel signal of the imaging pixel to be subjected to the flicker correction with the flicker correction gain calculated by the correction gain calculation unit 32, and generates an image signal subjected to the flicker correction.
  • the flicker correction unit 33 outputs the flicker corrected image signal to the recording unit 51, the signal output unit 52, the display unit 53, and the like.
  • the user interface unit 41 is configured using operation switches, operation buttons, and the like.
  • the user interface unit 41 generates an operation signal corresponding to the user operation and outputs the operation signal to the control unit 45.
  • the commercial power supply frequency is 50 Hz or 60 Hz
  • the blinking speed of illumination such as a fluorescent lamp whose intensity of the illumination light changes to follow the voltage fluctuation is generally double the power supply frequency. That is, when the commercial power supply frequency is 50 Hz, the flicker frequency is 100 Hz, and when the commercial power supply frequency is 60 Hz, the flicker frequency is 120 Hz.
  • the user interface unit 41 enables user-specified manipulation of the flicker frequency (or the power supply frequency of a commercial power source used in the lighting device) or the flicker cycle.
  • the control unit 45 is configured using, for example, a microcomputer in which a storage unit such as a ROM for storing a control program and a flash memory for temporarily storing data is incorporated.
  • the control unit 45 executes the control program and controls the operation of each unit so that the operation desired by the user is performed by the imaging device 10 based on the operation signal from the user interface unit 41.
  • the control unit 45 controls the operations of the imaging unit 21, the image signal processing unit 30, and the peripheral unit 50 so as to generate an image signal on which flicker correction corresponding to a flicker frequency or the like designated by user operation is performed. Do.
  • the control unit 45 sets a pixel of the imaging unit 21 as an imaging pixel or a light intensity detection pixel.
  • the control unit 45 sets the exposure timing and the exposure period of the imaging pixel and the light intensity detection pixel individually.
  • the recording unit 51 records the flicker corrected image signal generated by the image signal processing unit 30 on a recording medium. Further, the recording unit 51 reads an image signal recorded on a recording medium and outputs the read image signal to the display unit 53. Furthermore, the recording unit 51 may perform encoding processing of the image signal after flicker correction to generate an encoded signal and record it on a recording medium, and may be obtained by decoding processing of the encoded signal read from the recording medium. The image signal may be output to the display unit 53.
  • the signal output unit 52 outputs the flicker corrected image signal generated by the image signal processing unit 30 to an external device as a predetermined format. Further, the signal output unit 52 may perform encoding processing of the image signal after flicker correction and output the encoded signal to an external device.
  • the display unit 53 displays a captured image based on the flicker corrected image signal generated by the image signal processing unit 30 or the image signal read from the recording unit 51.
  • the display unit 53 also displays a menu screen or the like based on a control signal from the control unit 45.
  • FIG. 2 is a diagram for explaining the first operation.
  • the imaging unit 21 can set the exposure time in pixel units.
  • imaging pixels and light intensity detection pixels are alternately provided in units of one pixel in the horizontal direction.
  • FIG. 2 shows the intensity change of the illumination light. Further, (c) of FIG. 2 shows the exposure period of the imaging pixel in the line Lm, and (d) of FIG. 2 shows the exposure period of the light intensity detection pixel in the line Lm. Further, (e) of FIG. 2 shows an exposure period of the imaging pixel at the line Lm + 1, and (f) of FIG. 2 shows an exposure period of the light intensity detection pixel at the line Lm + 1.
  • the imaging unit 21 uses an XY address method in which the address of each pixel is specified and each pixel signal is read out, the exposure timing is sequentially shifted for each line.
  • the control unit 45 sets the pixels of the imaging unit 21 as imaging pixels and light intensity detection pixels as shown in (a) of FIG. Furthermore, the control unit 45 operates the imaging unit 21 with the exposure period of the imaging pixel as a period corresponding to the shutter speed and the exposure period of the light intensity detection pixel as one cycle period of the flicker frequency specified by the user.
  • the frame frequency of the captured image is set to a frequency lower than the flicker frequency, for example, 66.7 Hz, and the imaging pixel and the light intensity detection pixel in each frame are set such that the exposure start timings coincide with each other.
  • the image signal processing unit 30 performs flicker correction using the pixel signal generated by performing the imaging operation shown in FIG. 2 by the imaging unit 21.
  • FIG. 3 illustrates a predetermined pixel range based on an imaging pixel to be subjected to flicker correction.
  • the pixel range may be preset to a fixed range, or may be configured to be changeable to any range.
  • the imaging pixel which is the n-th pixel P (m, n) in the line Lm is the flicker correction target, and the pixels P (m, n ⁇ 3) to the pixels P (m, n + 3) are The predetermined pixel range AWT is used.
  • pixel values of pixels P (m, n-2), P (m, n) and P (m, n + 2) which are imaging pixels are r (m, n-2) and r (m, n). , R (m, n + 2).
  • the pixel values of pixels P (m, n ⁇ 3), P (m, n ⁇ 1), P (m, n + 1), and P (m, n + 3), which are light intensity detection pixels are a (a Let m, n-3), a (m, n-1), a (m, n + 1), a (m, n + 3).
  • the correction gain calculation unit 32 of the image signal processing unit 30 calculates the flicker correction gain HG based on Equation (1).
  • HG (pixel value WTa of light intensity detection pixel group / pixel value WTr of imaging pixel group) (1)
  • the pixel value WTr of the imaging pixel group uses, for example, an average pixel value of imaging pixels within a predetermined pixel range, as shown in Formula (2).
  • WTr (r (m, n-2) + r (m, n) + r (m, n + 2)) / 3 (2)
  • the pixel value WTa of the light intensity detection pixel group is linearly interpolated using the pixel value of the light intensity detection pixel group, and the pixel value of the light intensity detection pixel group having the same spatial phase as the imaging pixel group within a predetermined pixel range is calculated. Then, the average value of the calculated pixel values is used.
  • the correction gain calculation unit 32 determines the pixel value of the light intensity detection pixel having the spatial phase equal to that of the imaging pixel group according to the equations (3) to (5), that is, the pixels P (m, n ⁇ 2) and P (m, n) , P (m, n + 2) pixel values a (m, n-2), a (m, n), a (m, n + 2) are calculated.
  • the correction gain calculation unit 32 performs the calculation shown in equation (6) to calculate the pixel value WTa of the light intensity detection pixel group having the same spatial phase as the imaging pixel group.
  • a (m, n-2) 0.5 x a (m, n-3) + 0.5 x a (m, n-1) ...
  • a (m, n) 0.5 ⁇ a (m, n ⁇ 1) + 0.5 ⁇ a (m, n + 1) ...
  • a (m, n + 2) 0.5 x a (m, n + 1) + 0.5 x a (m, n + 3) ...
  • WTa (a (m, n-2) + a (m, n) + a (m, n + 2)) / 3 ... (6)
  • the correction gain calculation unit 32 outputs the calculated flicker correction gain, that is, the flicker correction gain HG (m, n) shown in the equation (7) to the flicker correction unit 33.
  • the flicker correction unit 33 uses the flicker correction gain HG (m, n) calculated by the correction gain calculation unit 32 to perform gain adjustment on the pixel signal of the imaging pixel of the pixel P (m, n) that is the flicker correction target. Do. That is, the flicker correction unit 33 calculates the pixel value rc (m, n) after correction in the imaging pixel to be flicker-corrected by performing the calculation of Expression (8).
  • rc (m, n) HG (m, n) ⁇ r (m, n) (8)
  • the image signal processing unit 30 performs the above-described process on each imaging pixel to generate an image signal in which the influence of flicker is reduced.
  • FIG. 4 is a flowchart showing a first operation of the imaging device.
  • the imaging apparatus sets an exposure period and a frame frequency.
  • the control unit 45 of the imaging device 10 sets the exposure period of the imaging pixel to a period corresponding to the set shutter speed. Further, the control unit 45 sets the exposure period of the light intensity detection pixel as the flicker cycle period. Further, the control unit 45 sets the frame frequency FV of the captured image in accordance with the frame rate set by the user or the like, and proceeds to step ST2.
  • step ST2 the imaging device arranges imaging pixels and light intensity detection pixels.
  • the control unit 45 of the imaging device 10 provides the imaging pixels and the light intensity detection pixels in the imaging surface of the imaging unit 21 as described above, and sets the exposure periods of the imaging pixels and the light intensity detection pixels in step ST1. Drive control is performed, and the process proceeds to step ST3.
  • step ST3 the imaging device calculates the flicker correction gain of the imaging pixel to be flicker corrected.
  • the correction gain calculation unit 32 of the imaging device 10 performs flicker correction as described above using the pixel signal of the imaging pixel and the pixel signal of the light intensity detection pixel within a predetermined pixel range based on the imaging pixel to be flicker corrected. The gain is calculated, and the process proceeds to step ST4.
  • step ST4 the imaging device performs flicker correction of the imaging pixel to be flicker corrected.
  • the flicker correction unit 33 of the imaging device 10 adjusts the gain of the imaging pixel to be subjected to flicker correction using the flicker correction gain calculated in step ST3, generates a pixel signal in which the influence of flicker is corrected, and proceeds to step ST5. .
  • step ST5 the imaging device determines whether flicker correction of each imaging pixel in the screen is completed.
  • the image signal processing unit 30 of the imaging device 10 proceeds to step ST6 when the flicker correction of each imaging pixel in the screen is not completed, and proceeds to step ST7 when the flicker correction of each imaging pixel in the screen is completed. .
  • step ST6 the imaging device updates imaging pixels to be subjected to flicker correction.
  • the image signal processing unit 30 of the imaging device 10 sets an imaging pixel for which flicker correction of the imaging pixel is not performed as a new imaging pixel to be subjected to flicker correction, and returns to step ST3.
  • step ST7 the imaging apparatus determines whether it is the end of the captured image.
  • the control unit 45 of the imaging device 10 proceeds to step ST8 when the captured image subjected to flicker correction is not completed, and when the captured image subjected to flicker correction is completed, for example, the flicker correction is performed when the imaging end operation is performed. End the operation.
  • step ST8 the imaging apparatus sets imaging pixels to be subjected to flicker correction to a new captured image.
  • the image signal processing unit 30 of the imaging device 10 sets imaging pixels to be subjected to flicker correction to a captured image of a new frame, and returns to step ST3.
  • the control unit of the imaging apparatus provides the imaging pixel and the light intensity detection pixel in the imaging screen, the exposure period of the imaging pixel is a period corresponding to the shutter speed, and the exposure period of the light intensity detection pixel is a flicker cycle It is a period.
  • the correction gain calculation unit uses the light intensity detection pixel having the same exposure start timing as the image pickup pixel within the predetermined pixel range based on the image pickup pixel targeted for flicker correction and the image pickup pixel to be flicker corrected.
  • the flicker correction unit performs gain adjustment of the imaging pixel to be subjected to the flicker correction with the calculated flicker correction gain. Therefore, it is possible to obtain a captured image in which the influence of the fluctuation of the intensity of the illumination light is reduced regardless of the positional relationship between the lighting device and the subject.
  • FIG. 5 exemplifies the arrangement of the subject, the lighting device, and the imaging device, and the subjects OBa and OBb are, for example, a lighting device LTs that does not produce a change in the intensity of illumination light and a lighting device LTf that produces a change in the intensity of illumination light Lighting is performed using.
  • the imaging device 10 images the objects OBa and OBb which are illuminated by the illumination devices LTs and LTf.
  • FIG. 6 is a diagram for explaining the flicker correction operation.
  • FIG. 6A illustrates the intensity ILTs of the illumination light of the illumination device LTs, the intensity ILTf of the illumination light of the illumination device LTf, and the illumination ILoba of the object OBa and the illumination ILobb of the object OBb.
  • B) of FIG. 6 shows a captured image GF1 of the exposure period TF1
  • (c) of FIG. 6 shows a captured image GF2 of the exposure period TF2.
  • the exposure period TF1 and the exposure period TF2 are equal in length and different in phase with respect to the change in the intensity ILTf2 of the illumination light of the illumination device LTf.
  • FIG. 6A illustrates the intensity ILTs of the illumination light of the illumination device LTs, the intensity ILTf of the illumination light of the illumination device LTf, and the illumination ILoba of the object OBa and the illumination ILobb of the object OBb.
  • the intensity ILTf of the illumination light of the illumination device LTf is lower than the exposure period TF1. Therefore, the images of the objects OBa and OBb in the captured image GF2 shown in (c) of FIG. 6 are darker than the images of the objects OBa and OBb in the captured image GF1 shown in (b) of FIG.
  • the image pickup signal is corrected based on the intensity change pattern of the illumination light of the illumination device detected using the photodiode as in the prior art, for example, flicker correction is performed with the flicker correction gain HGpa, as shown in FIG.
  • the subject OBa in the captured image GFpa after the flicker correction can be corrected to the brightness of the subject OBa in the captured image GF1.
  • the change in the brightness of the subject OBb is smaller than the change in the brightness of the subject OBa
  • flicker correction is performed with the flicker correction gain HGpa
  • the subject OBb in the captured image GFpa is brighter than the object OBb in the captured image GF1. turn into.
  • the object OBb in the captured image GFpb after the flicker correction can be corrected to the brightness of the object OBb in the captured image GF1, as shown in (e) of FIG.
  • the change in brightness of the object OBb is smaller than the change in brightness of the object OBa
  • the object OBa in the captured image GFpb is darker than the object OBa in the captured image GF1 It becomes a state.
  • the flicker correction gain is calculated for each imaging pixel to be flicker corrected, and the flicker correction unit adjusts the gain of the imaging pixel to be flicker corrected with the calculated flicker correction gain. . Therefore, regardless of the timing of the change in the intensity ILTf2 of the illumination light of the illumination device LTf, as shown in (f) of FIG. 6, the image of the objects OBa and OBb in the captured image GFq after flicker correction Can be made bright without being affected by fluctuations in the intensity of the illumination light. That is, regardless of the positional relationship between the illumination device and the subject, it is possible to obtain a captured image in which the influence of the fluctuation of the intensity of the illumination light is reduced.
  • FIG. 7 is a diagram for explaining the second operation.
  • the imaging unit 21 can set the exposure time in units of pixels. Further, as shown in (a) of FIG. 7, imaging pixels and two types of light intensity detection pixels are alternately provided in the horizontal direction in the imaging surface of the imaging unit 21.
  • the two light intensity detection pixels are referred to as a first light intensity detection pixel and a second light intensity detection pixel.
  • FIG. 7 shows the intensity change of the illumination light.
  • 7C shows the exposure period of the imaging pixel in line Lm
  • FIG. 7D shows the exposure period of the first light intensity detection pixel in line Lm
  • FIG. 7E shows the second in the line Lm.
  • the exposure period of the light intensity detection pixel is shown.
  • 7F is the exposure period of the imaging pixel at line Lm + 1
  • FIG. 7G is the exposure period of the light intensity detection pixel at line Lm + 1
  • FIG. 7H is the second light intensity at line Lm + 1
  • the exposure period of the detection pixel is shown.
  • the control unit 45 sets the pixels of the imaging unit 21 as imaging pixels and light intensity detection pixels as illustrated in (a) of FIG. 7. Furthermore, the control unit 45 operates the imaging unit 21 with the exposure period of the imaging pixel as a period corresponding to the shutter speed and the exposure period of the light intensity detection pixel as one cycle period of the flicker frequency specified by the user. Further, the control unit 45 synchronizes the exposure start timing of the exposure period of the imaging pixel and the start timing of the exposure period of the first light intensity detection pixel. Further, the control unit 45 synchronizes the exposure start timing of the exposure period of the next frame of the imaging pixel with the start timing of the exposure period of the second light intensity detection pixel.
  • control unit 45 synchronizes the exposure start timing of the exposure period of the next frame of the imaging pixel with the start timing of the exposure period of the first light intensity detection pixel. Similarly, the control unit 45 switches the exposure period of the first light intensity detection pixel and the second light intensity detection pixel for each frame of the captured image.
  • FIG. 7 shows the case where the shutter speed is 1/400 seconds and the flicker frequency is 100 Hz (1/100 second).
  • the frame frequency of the captured image is set to a frequency higher than the flicker frequency, for example, 133 Hz.
  • the image signal processing unit 30 performs flicker correction using the pixel signal generated by performing the imaging operation shown in FIG. 7 in the imaging unit 21.
  • FIG. 8 is a diagram exemplifying a predetermined pixel range based on an imaging pixel to be subjected to flicker correction.
  • the imaging pixel that is the n-th pixel P (m, n) in the line Lm is the flicker correction target, and the pixels P (m, n ⁇ 5) to the pixels P (m, n + 5) are The predetermined pixel range AWT is used.
  • the pixel values of pixels P (m, n-3), P (m, n) and P (m, n + 3) that are imaging pixels are r (m, n-3) and r (m, n). , R (m, n + 3).
  • the pixel values of the pixels P (m, n ⁇ 5), P (m, n ⁇ 2), P (m, n + 1), and P (m, n + 4), which are the first light intensity detection pixels are calculated. Let a (m, n-5), a (m, n-2), a (m, n + 1), and a (m, n + 4).
  • pixels P (m, n-4), P (m, n-1), P (m, n + 2), and P (m, n + 5), which are second light intensity detection pixels, are calculated. Let a (m, n-4), a (m, n-1), a (m, n + 2), and a (m, n + 5).
  • the correction gain calculation unit 32 of the image signal processing unit 30 calculates the flicker correction gain based on the equation (9).
  • Flicker correction gain (pixel value WTa of first or second light intensity detection pixel group / pixel value WTr of imaging pixel group) (9)
  • the pixel value WTr of the imaging pixel group uses, for example, an average pixel value of imaging pixels within a predetermined pixel range, as shown in equation (10).
  • WTr (r (m, n-3) + r (m, n) + r (m, n + 3)) / 3 (10)
  • the pixel value WTa of the light intensity detection pixel group is linearly interpolated using the pixel value of the light intensity detection pixel group, and the pixel value of the light intensity detection pixel group having the same spatial phase as the imaging pixel group within a predetermined pixel range is calculated. Then, the average value of the calculated pixel values is used.
  • the correction gain calculation unit 32 calculates the pixel value WTa using the pixel value of the first light intensity detection pixel. Do.
  • the correction gain calculation unit 32 calculates the pixel value WTa using the pixel value of the second light intensity detection pixel.
  • FIG. 8 shows the case where the pixel value WTa is calculated using the pixel value of the first light intensity detection pixel.
  • the correction gain calculator 32 calculates pixel values a (m, n ⁇ ) of the pixels P (m, n ⁇ 3), P (m, n) and P (m, n + 3) according to the equations (11) to (13). 3) Calculate a (m, n) and a (m, n + 3). Further, the correction gain calculation unit 32 performs the calculation shown in equation (14) to calculate the pixel value WTa of the light intensity detection pixel group having the same spatial phase as the imaging pixel group.
  • a (m, n-3) 0.333 x a (m, n-5) + 0.667 x a (m, n-2) ...
  • the correction gain calculation unit 32 outputs the calculated flicker correction gain, that is, the flicker correction gain HG (m, n) shown in equation (15) to the flicker correction unit 33.
  • the flicker correction unit 33 uses the flicker correction gain HG (m, n) calculated by the correction gain calculation unit 32 to perform gain adjustment on the imaging pixel of the pixel P (m, n) that is the flicker correction target. That is, the flicker correction unit 33 calculates the pixel value rc (m, n) after correction in the imaging pixel to be subjected to the flicker correction by performing the calculation of the above-mentioned equation (8).
  • the image signal processing unit 30 performs the above-described process on each imaging pixel to generate an image signal in which the influence of flicker is reduced.
  • the second operation of the imaging device performs the same process as the flowchart shown in FIG. 4, and in step ST1, the imaging device sets the exposure period of the imaging pixel and the light intensity detection pixel as described above. Furthermore, in the second operation, the exposure start timings of the first light intensity detection pixel and the second light intensity detection pixel are set as shown in FIG. 7, and the process proceeds to step ST2.
  • step ST3 the flicker correction gain is calculated using the pixel signal of the first light intensity detection pixel or the second light intensity detection pixel whose exposure has been started at the same timing as the exposure start timing of the imaging pixel to be flicker corrected. Just do it.
  • the control unit of the imaging apparatus provides imaging pixels and plural types of light intensity detection pixels in the imaging screen, and the exposure period of the imaging pixels is a period corresponding to the shutter speed.
  • the exposure period is a flicker cycle period.
  • the correction gain calculation unit uses the light intensity detection pixel having the same exposure start timing as the image pickup pixel within the predetermined pixel range based on the image pickup pixel targeted for flicker correction and the image pickup pixel to be flicker corrected.
  • the flicker correction unit performs gain adjustment of the imaging pixel to be subjected to the flicker correction with the calculated flicker correction gain. Therefore, even when the frame frequency of the captured image is higher than the flicker frequency, it is possible to obtain a captured image in which the influence of the fluctuation of the intensity of the illumination light is reduced regardless of the positional relationship between the lighting device and the subject. Become.
  • FIG. 9 is a diagram for explaining the third operation.
  • the imaging unit 21 can set the exposure time in units of lines.
  • a line of imaging pixels and a line for each of two types of light intensity detection pixels are alternately provided in the vertical direction.
  • the light intensity detection pixel of one line is a first light intensity detection pixel
  • the light intensity detection pixel of the other line is a second light intensity detection pixel.
  • FIG. 9 shows the intensity change of the illumination light. Further, (c) of FIG. 9 is an exposure period of the imaging pixel of the line Lm-3, (d) of FIG. 9 is an exposure period of the first light intensity detection pixel of the line Lm-2, and (e) of FIG. An exposure period of the second light intensity detection pixel of Lm ⁇ 1 is shown.
  • 9F is the exposure period of the imaging pixel of line Lm
  • FIG. 9G is the exposure period of the first light intensity detection pixel of line Lm + 1
  • FIG. 9H is the second of line Lm + 2. The exposure period of the light intensity detection pixel is shown.
  • the control unit 45 sets the pixels of the imaging unit 21 as imaging pixels and light intensity detection pixels in line units as shown in FIG.
  • the imaging unit 21 operates with the exposure period of the imaging pixel as a period corresponding to the shutter speed, and the exposure period of the light intensity detection pixel as a periodic period of the flicker frequency designated by the user.
  • the control unit 45 synchronizes the exposure start timing of the exposure period of the imaging pixel with the start timing of the exposure period of the line of the first light intensity detection pixel.
  • the control unit 45 synchronizes the exposure start timing of the exposure period of the next frame of the imaging pixel with the start timing of the exposure period of the line of the second light intensity detection pixel.
  • control unit 45 synchronizes the exposure start timing of the exposure period of the next frame of the imaging pixel with the start timing of the exposure period of the line of the first light intensity detection pixel. Similarly, the control unit 45 switches the exposure period of the line of the first light intensity detection pixel and the line of the second light intensity detection pixel for each frame of the captured image.
  • FIG. 9 shows the case where the shutter speed is 1/400 seconds and the flicker frequency is 100 Hz (1/100 second).
  • the frame frequency of the captured image is set to a frequency higher than the flicker frequency, for example, 133 Hz.
  • FIG. 10 is a diagram exemplifying a predetermined pixel range based on an imaging pixel to be subjected to flicker correction.
  • the imaging pixel which is the n-th pixel P (m, n) in the line Lm is a flicker correction target, and five lines in the vertical direction centering on the pixel P (m, n) shown by a dashed dotted line.
  • the range of three pixels in the horizontal direction is defined as a predetermined pixel range AWT.
  • the pixel value of the pixel P (m, n) to be subjected to flicker correction is r (m, n), and the pixel values of imaging pixels on both sides are r (m, n-1), r (m, n + 1).
  • the pixel values of the pixel on line Lm-2 which is the first light intensity detection pixel, are a (m-2, n-1), a (m-2, n), a (m-2, n + 1)
  • the pixel values of the line Lm-1, which is the second light intensity detection pixel are a (m-1, n-1), a (m-1, n), a (m-1, n + 1).
  • the pixel value of the pixel on line Lm + 1, which is the first light intensity detection pixel is a (m + 1, n-1), a (m + 1, n), a (m + 1, n + 1)
  • the pixel values of the line Lm + 2, which are two light intensity detection pixels, are a (m + 2, n-1), a (m + 2, n) and a (m + 2, n + 1).
  • the correction gain calculation unit 32 of the image signal processing unit 30 calculates the flicker correction gain based on the equation (16).
  • Flicker correction gain (pixel value WTa of first or second light intensity detection pixel group / pixel value WTr of imaging pixel group) (16)
  • the pixel value WTr of the imaging pixel group uses, for example, an average pixel value of imaging pixels within a predetermined pixel range, as shown in Expression (17).
  • WTr (r (m, n-1) + r (m, n) + r (m, n + 1)) / 3 (17)
  • the pixel value WTa of the light intensity detection pixel group is linearly interpolated using the pixel value of the light intensity detection pixel group, and the pixel value of the light intensity detection pixel group having the same spatial phase as the imaging pixel group within a predetermined pixel range is calculated. Then, the average value of the calculated pixel values is used.
  • the correction gain calculation unit 32 calculates the pixel value WTa using the pixel value of the first light intensity detection pixel. Do.
  • the correction gain calculation unit 32 calculates the pixel value WTa using the pixel value of the second light intensity detection pixel.
  • FIG. 10 shows the case where the pixel value WTa is calculated using the pixel value of the first light intensity detection pixel.
  • the correction gain calculation unit 32 calculates pixel values a (m, n-1), a (m, n), a (m, n) of light intensity detection pixels having the same spatial phase as the imaging pixels according to the equations (18) to (20). Calculate n + 1). Further, the correction gain calculation unit 32 performs the calculation shown in equation (21) to calculate the pixel value WTa of the light intensity detection pixel group having the same spatial phase as the imaging pixel group.
  • a (m, n-1) 0.333 x a (m-2, n-1) + 0.667 x a (m + 1, n-1) ...
  • the correction gain calculation unit 32 outputs the calculated flicker correction gain, that is, the flicker correction gain HG (m, n) shown in equation (22) to the flicker correction unit 33.
  • a flicker correction gain for an image pickup pixel to be subjected to flicker correction is calculated using pixel signals of an image pickup pixel group and a light detection pixel group within a predetermined pixel range of 3 pixels in the horizontal direction and 5 pixels in the vertical direction. It shows the case of calculation.
  • the predetermined pixel range is not limited to the range shown in FIG.
  • the flicker correction gain may be calculated with the horizontal direction as a range such as one pixel or five pixels.
  • the flicker correction gain may not be an appropriate gain value. Therefore, by using pixel signals of a plurality of imaging pixels arranged in the horizontal direction, it is possible to stably calculate the flicker correction gain by reducing the influence of noise and the like.
  • the flicker correction unit 33 uses the flicker correction gain HG (m, n) calculated by the correction gain calculation unit 32 to perform gain adjustment on the imaging pixel of the pixel P (m, n) that is the flicker correction target. That is, the flicker correction unit 33 calculates the pixel value rc (m, n) after correction in the imaging pixel to be subjected to the flicker correction by performing the calculation of the above-mentioned equation (8).
  • the image signal processing unit 30 performs the above-described process on each imaging pixel to generate an image signal in which the influence of flicker is reduced.
  • the third operation of the imaging device performs the same process as the flowchart shown in FIG. 4, and in step ST1, as described above, the imaging device sets exposure periods of imaging pixels and light intensity detection pixels in line units. . Further, in the third operation, the exposure start timings of the first light intensity detection pixel and the second light intensity detection pixel are set as shown in FIG. 9, and the process proceeds to step ST2.
  • flicker correction is performed using pixel signals of the line of the first light intensity detection pixel or the line of the second light intensity detection pixel whose exposure has been started at the same timing as the exposure start timing of the imaging pixel to be flicker corrected. The gain may be calculated.
  • the control unit of the imaging apparatus provides imaging pixels and plural types of light intensity detection pixels in a line unit in the imaging screen, and the exposure period of the imaging pixels is a period corresponding to the shutter speed.
  • the exposure period of the intensity detection pixel is a flicker cycle period.
  • the correction gain calculation unit uses the light intensity detection pixel having the same exposure start timing as the image pickup pixel within the predetermined pixel range based on the image pickup pixel targeted for flicker correction and the image pickup pixel to be flicker corrected.
  • the flicker correction unit performs gain adjustment of the imaging pixel to be subjected to the flicker correction with the calculated flicker correction gain. Therefore, even if the frame frequency of the captured image is a frequency higher than the flicker frequency, the captured image can be reduced in the influence of the fluctuation of the intensity of the illumination light regardless of the positional relationship between the lighting device and the subject. Can be obtained by
  • the exposure period of the imaging pixel and the light intensity detection pixel may be an exposure period according to the shutter speed and an exposure period of the flicker cycle period, and is not limited to the case where the exposure start timings coincide.
  • the end of exposure or the center of the exposure period may be aligned.
  • the fourth operation the case where the center of the exposure period corresponding to the shutter speed and the timing of the center of the exposure period, which is the flicker cycle period, coincide with each other will be described. Note that the pixel arrangement of the imaging unit is described as being equal to the case of the third operation shown in FIG.
  • FIG. 11 is a diagram for explaining the fourth operation.
  • (A) of FIG. 11 shows the intensity change of the illumination light.
  • (b) of FIG. 11 is an exposure period of the imaging pixel of the line Lm-3
  • (c) of FIG. 11 is an exposure period of the first light intensity detection pixel of the line Lm-2
  • (d) of FIG. It shows the exposure period of the second light intensity detection pixel of Lm ⁇ 1.
  • (e) of FIG. 11 is an exposure period of an imaging pixel of line Lm
  • (f) of FIG. 11 is an exposure period of a first light intensity detection pixel of line Lm + 1
  • (g) of FIG. 11 is a second of line Lm + 2.
  • the exposure period of the light intensity detection pixel is shown.
  • the imaging unit 21 uses an XY address method in which the address of each pixel is specified and each pixel signal is read out, the exposure timing is sequentially shifted for each line.
  • the control unit 45 operates the imaging unit 21 with the exposure period of the imaging pixel as a period corresponding to the shutter speed and the exposure period of the light intensity detection pixel as a cycle period of the flicker frequency specified by the user. Further, the control unit 45 sets the center of the exposure period of the imaging pixel and the center of the exposure period of the first light intensity detection pixel to be the same timing. Further, the control unit 45 sets the center of the exposure period of the next frame of the imaging pixel and the center of the exposure period of the second light intensity detection pixel to the same timing. Further, the control unit 45 sets the center of the exposure period of the next frame of the imaging pixel and the center of the exposure period of the first light intensity detection pixel to the same timing. Similarly, the exposure periods of the first light intensity detection pixel and the second light intensity detection pixel are switched for each frame of the captured image.
  • FIG. 11 shows the case where the shutter speed is 1/400 seconds and the flicker frequency is 100 Hz (1/100 second).
  • the frame frequency of the captured image is set to a frequency higher than the flicker frequency, for example, 133 Hz.
  • the timing of the center in the exposure period according to the shutter speed coincide with the timing of the center in the exposure period which is the flicker cycle period, it is possible to reduce the deviation of the exposure period of the imaging pixel and the light intensity detection pixel. Further, in the fourth operation, the same function and effect as the third operation can be obtained.
  • the fifth operation of the imaging device a case where the operation of the imaging unit and the calculation operation of the flicker correction gain are switched according to the frame frequency of the captured image will be described.
  • one or more pixel groups of light intensity detection pixels are provided based on the frame period of the captured image and the flicker cycle, and flicker is performed in any pixel group of the light intensity detection pixels for each frame of the captured image.
  • a pixel signal in an exposure period which is a periodic period is obtained.
  • the frame frequency FV of the captured image does not exceed four times the flicker frequency FL.
  • the light intensity detection pixels may be provided in either the horizontal direction or the vertical direction.
  • FIG. 12 is a flowchart showing the fifth operation.
  • the imaging apparatus sets an exposure period and a frame frequency.
  • the control unit 45 of the imaging device 10 sets the exposure period of the imaging pixel to an exposure period corresponding to the shutter speed. Further, the control unit 45 sets the exposure period of the light intensity detection pixel to one period period of the flicker frequency set by the user or the like. Further, the control unit 45 sets the frame frequency FV of the captured image to a frequency corresponding to the frame rate set by the user or the like, and proceeds to step ST12.
  • step ST12 the imaging device determines whether the frame frequency FV of the captured image exceeds the flicker frequency FL.
  • the control unit 45 compares the frame frequency FV with the flicker frequency FL, and when the frame frequency FV of the captured image does not exceed the flicker frequency FL, the process proceeds to step ST13, and the control unit 45 flickers the frame frequency FV of the captured image. If the frequency FL is exceeded, the process proceeds to step ST14.
  • step ST13 the imaging device performs flicker correction in the first correction mode. If the frame frequency FV of the captured image does not exceed the flicker frequency FL, flicker correction is performed as in the first operation described above. Specifically, the processing from step ST2 to step ST8 in FIG. 4 is performed, and in step ST2, the control unit 45 provides one type of light intensity detection pixel as described in the first operation, and the shutter speed at the imaging pixel The imaging unit 21 is operated to generate pixel signals in the exposure period corresponding to the exposure period, which is a flicker cycle period, with the pixel signal in the exposure period corresponding to the light intensity detection pixel.
  • the image signal processing unit 30 performs linear interpolation using pixel signals of the light intensity detection pixel group, and generates a light intensity detection pixel group having the same spatial phase as the imaging pixel group in a predetermined pixel range. A pixel signal is generated, and a flicker correction gain is calculated based on the pixel signal of the imaging pixel group and the pixel signal of the light intensity detection pixel group having the same spatial phase as the imaging pixel group. Further, the image signal processing unit 30 corrects the pixel signal of the imaging pixel to be subjected to the flicker correction using the calculated flicker correction gain. Note that FIG. 13 exemplifies the pixel arrangement, and in the first correction mode, as shown in (a) of FIG.
  • a line of imaging pixels and a line of light intensity detection pixels are provided in the vertical direction to correct flickers.
  • the flicker correction gain may be calculated using a pixel signal in a predetermined pixel range in which the vertical direction is a predetermined line and the horizontal direction is a predetermined number of pixels with reference to the target imaging pixel.
  • step ST14 the imaging device determines whether the frame frequency FV of the captured image exceeds twice the flicker frequency FL in step ST14. If the frame frequency FV of the captured image does not exceed twice the flicker frequency FL, the control unit 45 proceeds to step ST15. If the frame frequency FV of the captured image exceeds twice the flicker frequency FL, the control unit 45 proceeds to step ST16.
  • step ST15 the imaging device performs flicker correction in the second correction mode. If the frame frequency FV of the captured image exceeds the flicker frequency FL and does not exceed twice the flicker frequency FL, the imaging device performs flicker correction as in the second operation described above. Specifically, the processing from step ST2 to step ST8 in FIG. 4 is performed, and in step ST2, the control unit 45 provides two types of light intensity detection pixels as described in the second operation, and the shutter speed at the imaging pixel The imaging unit 21 is operated to generate pixel signals in the exposure period corresponding to the exposure period, which is a flicker cycle period, with the pixel signal in the exposure period corresponding to the light intensity detection pixel.
  • the image signal processing unit 30 performs linear interpolation using the pixel signal of the light intensity detection pixel group from which the pixel signal of the exposure period which is the flicker cycle period is obtained, and the imaging pixel within a predetermined pixel range A pixel signal of a light intensity detection pixel group having the same spatial phase as the group is generated, and a flicker correction gain is calculated based on a pixel signal of the imaging pixel group and a light intensity detection pixel group having the same spatial phase as the imaging pixel group. Do. Further, the image signal processing unit 30 corrects the pixel signal of the imaging pixel to be subjected to the flicker correction using the calculated flicker correction gain. In the correction operation of the second correction mode, as shown in (b) of FIG.
  • a line of imaging pixels and two types of light intensity detection pixels are provided in line units in the vertical direction, and imaging pixels to be subjected to flicker correction are provided.
  • the flicker correction gain may be calculated using a pixel signal in a predetermined pixel range in which the vertical direction is a predetermined line and the horizontal direction is a predetermined number of pixels as a reference.
  • step ST16 the imaging device performs flicker correction in the third correction mode.
  • the frame frequency FV of the captured image exceeds twice the flicker frequency FL
  • four light intensity detection pixels are provided to perform flicker correction.
  • the processing of step ST2 to step ST8 of FIG. 4 is performed, and in step ST2, the control unit 45 provides four types of light intensity detection pixels, and pixel signals of the exposure period according to the shutter speed
  • the imaging unit 21 is operated to generate a pixel signal of an exposure period which is a flicker cycle period in the light intensity detection pixel.
  • the image signal processing unit 30 performs linear interpolation using the pixel signal of the light intensity detection pixel group from which the pixel signal of the exposure period which is the flicker cycle period is obtained, and the imaging pixel within a predetermined pixel range A pixel signal of a light intensity detection pixel group having the same spatial phase as the group is generated, and a flicker correction gain is calculated based on a pixel signal of the imaging pixel group and a light intensity detection pixel group having the same spatial phase as the imaging pixel group. Do. Further, the image signal processing unit 30 corrects the pixel signal of the imaging pixel to be subjected to the flicker correction using the calculated flicker correction gain. In the correction operation of the third correction mode, as shown in FIG.
  • a line of imaging pixels and four types of light intensity detection pixels are provided in line units in the vertical direction, and imaging pixels to be subjected to flicker correction are provided.
  • the flicker correction gain may be calculated using a pixel signal in a predetermined pixel range in which the vertical direction is a predetermined line and the horizontal direction is a predetermined number of pixels as a reference.
  • eight types of light intensity detection pixels may be provided when the frame frequency FV of the captured image exceeds four times and does not exceed eight times the flicker frequency FL. If the frame frequency FV of the captured image exceeds 8 times and does not exceed 16 times the flicker frequency FL, 16 types of light intensity detection pixels may be provided. That is, in accordance with the relationship between the frame frequency of the captured image and the flicker frequency, light intensity detection pixels are provided so as to obtain a pixel signal whose exposure period is a flicker cycle period for one frame of the captured image.
  • the control unit of the imaging apparatus switches the operation of the imaging unit and the calculation operation of the flicker correction gain according to the frame frequency and the flicker frequency of the captured image, the flicker is made to correspond to various frame frequencies.
  • the correction can be performed automatically.
  • FIG. 14 illustrates the configuration of the imaging device according to the second embodiment of the present technology.
  • the parts corresponding to those of the first embodiment shown in FIG. 1 are given the same reference numerals.
  • the imaging device 10a includes an imaging unit 21a, an image signal processing unit 30a, a user interface (I / F) unit 41, and a control unit 45. Further, the imaging device 10a may be provided with a recording unit 51, a signal output unit 52, a display unit 53, and the like as the peripheral unit 50.
  • the imaging unit 21a is configured using color component pixels so as to obtain a color captured image.
  • red, blue and green color component pixels are provided in a Bayer arrangement, and pixel blocks of the color component pixels are used as pixel units of imaging pixels or light intensity detection pixels as described later.
  • the imaging pixel is a pixel for acquiring a captured image, and generates a pixel signal according to the exposure amount of the exposure period, where the exposure period is a period corresponding to the shutter speed.
  • the light intensity detection pixel is a pixel for detecting the intensity of the illumination light, and generates a pixel signal according to the exposure amount of the exposure period, with the exposure period as a flicker cycle period.
  • the imaging unit 21a outputs a pixel signal generated by the imaging pixel and the light intensity pixel to the image signal processing unit 30a.
  • the image signal processing unit 30 a includes a luminance calculation unit 31, a correction gain calculation unit 32, and a flicker correction unit 33. Further, the color image signal generation unit 34 may be provided in the image signal processing unit 30a.
  • the luminance calculation unit 31 calculates the luminance values of the imaging pixel and the light intensity detection pixel from the pixel signal generated by the imaging unit 21a.
  • the luminance calculation unit 31 uses the luminance value as the pixel value of the imaging pixel or the light intensity detection pixel, and sets the pixel block of the color component pixel used for calculating the luminance value as the pixel correspondence block of the imaging pixel or the light intensity detection pixel . That is, the luminance calculation unit 31 calculates the luminance value of the imaging pixel or the light intensity detection pixel using the color component pixel of the pixel corresponding block.
  • the correction gain calculation unit 32 uses the luminance value calculated by the luminance calculation unit 31 to calculate a flicker correction gain for the color component pixel used for calculation of the luminance value of the imaging pixel. Specifically, the correction gain calculation unit 32 uses the pixel signal of an imaging pixel within a predetermined pixel range based on the imaging pixel to be flicker-corrected and the pixel signal of a light intensity detection pixel to generate a spatial phase with the imaging pixel. The pixel signal of the light intensity detection pixel which is equal is generated. Further, the correction gain calculation unit 32 sets a signal level ratio of the pixel signal of the light intensity detection pixel having the spatial phase equal to that of the imaging pixel and the pixel signal of the imaging pixel as the flicker correction gain. The correction gain calculation unit 32 outputs the calculated flicker correction gain to the flicker correction unit 33.
  • the flicker correction unit 33 performs gain adjustment on color component pixels in the pixel block corresponding to the imaging pixel to be flicker-corrected with the flicker correction gain calculated by the correction gain calculation unit 32, and an image for which flicker correction has been performed Generate a signal.
  • the flicker correction unit 33 outputs the pixel signal subjected to the flicker correction to the color image signal generation unit 34, the recording unit 51, and the signal output unit 52.
  • the color image signal generation unit 34 performs demosaicing processing and the like using the pixel signal subjected to the flicker correction to generate an image signal of a color captured image, and the recording unit 51, the signal output unit 52, the display unit 53, etc. Output to
  • the user interface unit 41 is configured using operation switches, operation buttons, and the like.
  • the user interface unit 41 generates an operation signal corresponding to the user operation and outputs the operation signal to the control unit 45.
  • the user interface unit 41 enables user-specified operation of the flicker frequency (or the commercial power supply frequency of the light).
  • the control unit 45 is configured using, for example, a microcomputer in which a storage unit such as a ROM for storing a control program and a flash memory for temporarily storing data is incorporated.
  • the control unit 45 executes a control program, and controls the operation of each unit so that the operation desired by the user is performed by the imaging device 10a based on the operation signal from the user interface unit 41. Further, the control unit 45 controls the operations of the imaging unit 21a, the image signal processing unit 30a, and the peripheral unit 50 so as to generate an image signal subjected to flicker correction corresponding to the flicker frequency designated by the user operation. .
  • the control unit 45 sets the pixel of the imaging unit 21a as an imaging pixel or a light intensity detection pixel. Further, the control unit 45 sets the exposure timing and the exposure period of the imaging pixel and the light intensity detection pixel individually.
  • the recording unit 51 records the pixel signal after the flicker correction generated by the image signal processing unit 30a and the image signal of a color captured image on a recording medium. Further, the recording unit 51 reads an image signal recorded on a recording medium and outputs the read image signal to the display unit 53. Furthermore, the recording unit 51 may perform encoding processing of the image signal after flicker correction to generate an encoded signal and record it on a recording medium, and may be obtained by decoding processing of the encoded signal read from the recording medium. The image signal may be output to the display unit 53.
  • the signal output unit 52 outputs the pixel signal after flicker correction generated by the image signal processing unit 30a or an image signal of a color captured image to an external device as a predetermined format. Further, the signal output unit 52 may perform encoding processing of an image signal of a color captured image, and output the encoded signal to an external device.
  • the display unit 53 displays a color captured image based on the image signal of the color captured image generated by the image signal processing unit 30 a or the image signal read from the recording unit 51.
  • the display unit 53 also displays a menu screen or the like based on a control signal from the control unit 45.
  • FIG. 15 illustrates the arrangement of imaging pixels and light intensity detection pixels when the frame frequency of the imaged image is lower than the flicker frequency.
  • Color component pixels are provided in a Bayer arrangement in the imaging surface of the imaging unit 21a. Specifically, the red component pixel R is configured by 2 ⁇ 2 pixels as one or two pixel blocks, and the pixels in the block are configured by the red component pixel R, the blue component pixel B, and two green component units Gr and Gb. And blue component pixels B are arranged in an oblique direction.
  • control unit 45 sets a pixel block of 2 ⁇ 2 pixels including each color component pixel as a pixel unit of an imaging pixel or a light intensity detection pixel.
  • control unit 45 uses four pixel blocks of 1 pixel ⁇ 2 pixels (or 2 pixels ⁇ 1 pixel) to form four pixel pixel blocks including respective color component pixels as imaging pixels or light intensity detection pixels It may be a pixel unit of
  • the control unit 45 alternately provides imaging pixels and light intensity detection pixels in the horizontal direction as in the first operation of the first embodiment, for example.
  • the imaging unit 21a it is possible to set the exposure time in pixel units.
  • the control unit 45 provides an imaging pixel and a light intensity detection pixel in the imaging unit 21a with a pixel block including each color component pixel as a pixel unit.
  • (A) of FIG. 15 illustrates the case where the control unit 45 alternately provides imaging pixels and light intensity detection pixels in the horizontal direction as pixel blocks corresponding to 2 ⁇ 2 pixels as imaging pixels or light intensity detection pixels. ing.
  • imaging pixels are provided in units of three pixels in the horizontal direction, with 1 pixel (horizontal direction) ⁇ 2 pixels (vertical direction) as pixel blocks corresponding to imaging pixels or light intensity detection pixels.
  • the case where the imaging pixels and the light intensity detection pixels are alternately provided in the horizontal direction is illustrated by providing the intensity detection pixels in the horizontal direction adjacent to the imaging pixels.
  • FIG. 16 illustrates the arrangement of imaging pixels and light intensity detection pixels when the frame frequency of the imaged image is higher than the flicker frequency and lower than twice the flicker frequency.
  • Color component pixels are provided in a Bayer arrangement in the imaging surface of the imaging unit 21a. Specifically, a red component pixel is configured by 2 ⁇ 2 pixels as one or two pixel blocks, and a pixel in the pixel block is configured by a red component pixel R, a blue component pixel B, and two green component units Gr and Gb.
  • the R and blue component pixels B are arranged in an oblique direction.
  • the control unit 45 detects the light intensity of the imaging pixel and the two pixels as in the second operation of the first embodiment. Pixels are provided alternately in the horizontal direction.
  • the control unit 45 provides an imaging pixel and a light intensity detection pixel in the imaging unit 21a with a pixel block including each color component pixel as a pixel unit.
  • (A) of FIG. 16 exemplifies a case in which an imaging pixel and two light intensity detection pixels are alternately provided in the horizontal direction as a pixel block corresponding to 2 ⁇ 2 pixels as an imaging pixel or a light intensity detection pixel. .
  • one pixel (horizontal direction) ⁇ 2 pixels (vertical direction) is provided as a pixel block corresponding to an imaging pixel or a light intensity detection pixel, and imaging pixels are provided every three pixels in the horizontal direction.
  • FIG. 17 illustrates another arrangement of the imaging pixels and the light intensity detection pixels in the case where the frame frequency of the imaged image is higher than the flicker frequency and lower than twice the flicker frequency.
  • Color component pixels are provided in a Bayer arrangement in the imaging surface of the imaging unit 21a. Specifically, the red component pixel R is configured by 2 ⁇ 2 pixels as one or two pixel blocks, and the pixels in the block are configured by the red component pixel R, the blue component pixel B, and two green component units Gr and Gb. And blue component pixels B are arranged in an oblique direction.
  • the control unit 45 detects the light intensity of the imaging pixel and the two pixels as in the third operation of the first embodiment.
  • the pixels are alternately provided in the vertical direction.
  • the control unit 45 provides an imaging pixel and a light intensity detection pixel in the imaging unit 21a with a pixel block including each color component pixel as a pixel unit.
  • FIG. 17 exemplifies the case where the imaging pixel and the two light intensity detection pixels are alternately provided in the vertical direction, with 2 ⁇ 2 pixels as the imaging pixels or the light intensity detection pixels.
  • two pixels (horizontal direction) ⁇ one pixel (vertical direction) are used as imaging pixels or light intensity detection pixels, imaging pixels are provided every three pixels in the vertical direction, and two reference correction pixels are provided.
  • FIG. 18 is a diagram for explaining the calculation operation of the flicker correction gain according to the second embodiment.
  • the luminance calculation unit 31 calculates the luminance value Ya (j ⁇ 2, x) from the pixel value of the pixel block of 2 ⁇ 2 pixels in the line Lj ⁇ 2 that is the first light intensity detection pixel. Calculate).
  • the luminance calculation unit 31 calculates the luminance value Ya (j ⁇ 1, x) from the pixel value of the pixel block of 2 ⁇ 2 pixels in the line Lj ⁇ 1 which is the second light intensity detection pixel.
  • the luminance calculation unit 31 calculates the luminance value Yr (j, x) from the pixel value of the pixel block of 2 ⁇ 2 pixels in the line Lj which is an imaging pixel. Similarly, the luminance calculation unit 31 calculates a luminance value from pixel values of another 2 ⁇ 2 pixel block.
  • the correction gain calculation unit 32 calculates the flicker correction gain for the block to be corrected using the luminance value calculated for each 2 ⁇ 2 pixel block by the luminance calculation unit 31.
  • (B) of FIG. 18 illustrates the luminance value calculated by the luminance calculation unit 31.
  • the luminance calculation unit 31 calculates luminance values in units of 2 ⁇ 2 pixel blocks. For example, with respect to the luminance value Yr (j, k) of the pixel block corresponding to the imaging pixel to be corrected, as shown in (b) of FIG. It is calculated and has the same arrangement as the pixel values of FIG. 10 described in the above-described third operation. Therefore, as in the third operation, the correction gain calculation unit 32 calculates the flicker correction gain using the brightness value.
  • the flicker correction unit 33 corrects the pixel signal of the color component pixel of the pixel block with respect to the imaging pixel to be corrected, using the flicker correction gain calculated by the correction gain calculation unit. For example, assuming that the red pixel of the pixel block for the imaging pixel to be corrected is the pixel value R, the green pixel is the pixel value Gr or Gb, the blue pixel is the pixel value B, and the flicker correction gain is HG, Equations (23) to (26) The pixel values Rc, Gcr, Gcb, and Bc after flicker correction are calculated.
  • Rc R ⁇ HG (23)
  • Gcr Gr ⁇ HG (24)
  • Gcb Gb ⁇ HG (25)
  • Bc B ⁇ HG (26)
  • FIG. 19 is a diagram for explaining another calculation operation of the flicker correction gain according to the second embodiment.
  • the luminance calculation unit 31 calculates luminance values from pixel signals of two pixel blocks of a line Lj-2r which is a first light intensity detection pixel and a 2 ⁇ 1 pixel in the line Lj-2b. Calculate Ya (j-2, x). Similarly, the luminance calculation unit 31 generates luminance values Ya (j ⁇ 1, x) from pixel signals of two pixel blocks of line Lj-1b and line Lj-1r, which are second light intensity detection pixels, and 2 ⁇ 1 pixels.
  • the luminance calculation unit 31 calculates a luminance value Yr (j, x) from pixel signals of two pixel blocks of a line Ljr which is an imaging pixel and a 2 ⁇ 1 pixel in the line Ljb. Further, the luminance calculation unit 31 calculates a luminance value from pixel signals of two other pixel blocks of 2 ⁇ 1 pixels.
  • the correction gain calculation unit 32 calculates the flicker correction gain for the block to be corrected using the luminance value calculated using the two 2 ⁇ 1 pixel blocks in the luminance calculation unit 31.
  • (B) of FIG. 19 shows the luminance value calculated by the luminance calculation unit 31.
  • the luminance calculation unit 31 calculates the luminance value using two 2 ⁇ 1 pixel blocks. For example, with respect to the luminance value Yr (j, k) of the pixel block corresponding to the imaging pixel to be corrected, as shown in (b) of FIG. It is calculated and has the same arrangement as the pixel values of FIG. 10 described in the above-described third operation. Therefore, as in the third operation, the correction gain calculation unit 32 calculates the flicker correction gain using the brightness value.
  • the flicker correction unit 33 corrects the pixel signal of the color component pixel of the pixel block with respect to the imaging pixel to be corrected, using the flicker correction gain calculated by the correction gain calculation unit. For example, when the red pixel of the pixel block for the imaging pixel to be corrected is the pixel value R, the green pixel is the pixel values Gr and Gb, and the blue pixel is the pixel value B, the equations (23) to (26) are calculated. Pixel values Rc, Gcr, Gcb and Bc after flicker correction are calculated.
  • FIG. 20 is a flowchart illustrating the operation of the imaging device according to the second embodiment.
  • the imaging apparatus sets an exposure period and a frame frequency.
  • the control unit 45 of the imaging device 10a sets the exposure period of the imaging pixel to a period corresponding to the set shutter speed. Further, the control unit 45 sets the exposure period of the light intensity detection pixel as the flicker cycle period. Further, the control unit 45 sets the frame frequency FV of the captured image according to the frame rate set by the user or the like, and the process proceeds to step ST22.
  • step ST22 the imaging device arranges imaging pixels and light intensity detection pixels.
  • the control unit 45 of the imaging device 10a sets the imaging pixel and the light intensity detection pixel in the imaging surface of the imaging unit 21a as described above, and sets the exposure period of the imaging pixel and the light intensity detection pixel in step ST21. Drive control is performed as a period, and the process proceeds to step ST23.
  • step ST23 the imaging device calculates the luminance value.
  • the luminance calculation unit 31 of the imaging device 10a calculates the luminance value from the pixel signal of the pixel block of the color component pixel corresponding to the imaging pixel. Further, the luminance calculation unit 31 calculates the luminance value from the pixel signal of the pixel block of the color component pixel corresponding to the light intensity detection pixel, and proceeds to step ST24.
  • step ST24 the imaging device calculates the flicker correction gain of the imaging pixel to be flicker corrected.
  • the correction gain calculation unit 32 of the imaging device 10a uses the luminance value calculated in step ST23 to set the luminance value of the imaging pixel and the light intensity detection pixel within a predetermined pixel range based on the imaging pixel to be flicker-corrected.
  • the flicker correction gain is calculated as described above using the luminance value, and the process proceeds to step ST25.
  • step ST25 the imaging device performs flicker correction on the imaging pixel to be subjected to flicker correction.
  • the flicker correction unit 33 of the imaging device 10a performs gain adjustment on the color component pixels of the pixel block corresponding to the imaging pixel to be flicker-corrected using the flicker correction gain calculated in step ST24 to correct the influence of the flicker.
  • the generated pixel signal is generated, and the process proceeds to step ST26.
  • step ST26 the imaging device determines whether flicker correction of each imaging pixel in the screen is completed.
  • the image signal processing unit 30a of the imaging device 10a proceeds to step ST27 when the flicker correction of each imaging pixel in the screen is not completed, and proceeds to step ST28 when the flicker correction of each imaging pixel in the screen is completed.
  • step ST27 the imaging device updates imaging pixels to be subjected to flicker correction.
  • the image signal processing unit 30a of the imaging device 10a sets an imaging pixel for which flicker correction of the imaging pixel is not performed as a new imaging pixel to be subjected to flicker correction, and returns to step ST24.
  • step ST28 the imaging device determines whether it is the end of the captured image.
  • the control unit 45 of the imaging device 10a proceeds to step ST29 when the captured image subjected to flicker correction is not completed, and when the captured image subjected to flicker correction is completed. finish.
  • step ST29 the imaging apparatus sets imaging pixels to be subjected to flicker correction to a new captured image.
  • the image signal processing unit 30a of the imaging device 10a sets an imaging pixel to be subjected to flicker correction to a captured image of a new frame, and returns to step ST24.
  • the imaging device provides color component pixels in the imaging screen, and the control unit associates the pixel block including each color component pixel with the imaging pixel and the light intensity detection pixel. Further, the control unit sets the exposure period of the imaging pixel as a period corresponding to the shutter speed, and sets the exposure period of the light intensity detection pixel as a flicker cycle period. Further, the correction gain calculation unit calculates the flicker correction gain using the imaging pixel and the light intensity detection pixel within a predetermined pixel range based on the imaging pixel to be flicker corrected. The flicker correction unit performs gain adjustment on the color component pixels of the pixel block corresponding to the imaging pixel to be subjected to the flicker correction with the calculated flicker correction gain. Therefore, regardless of the positional relationship between the illumination device and the subject, it is possible to obtain a color captured image in which the influence of the fluctuation of the intensity of the illumination light is reduced.
  • FIG. 21 exemplifies the configuration of the imaging device when the flicker frequency is automatically detected.
  • the imaging device 10 b includes an imaging unit 21 (21 a), an image signal processing unit 30 (30 a), a user interface unit 41, a flicker detection unit 43, a control unit 45, and a peripheral unit 50.
  • parts corresponding to the imaging devices of the first and second embodiments are given the same reference numerals.
  • the imaging unit 21 (21 a) is provided with imaging pixels and light intensity detection pixels, and outputs pixel signals generated by the imaging pixels and light intensity detection pixels to the flicker detection unit 43.
  • the flicker detection unit 43 sets the flicker detection first pixel and the flicker detection second pixel based on the control signal from the control unit 45.
  • FIG. 22 illustrates the flicker detection first pixel and the flicker detection second pixel.
  • (a) of FIG. 22 shows the case where imaging pixels and light intensity detection pixels are alternately provided in units of one pixel in the horizontal direction. There is. In this case, the imaging pixel is set as a flicker detection first pixel, and the light intensity detection pixel is set as a flicker detection second pixel.
  • (B) of FIG. 22 shows a case where imaging pixels and light intensity detection pixels of two pixels are alternately provided in the horizontal direction, as in the second operation in the first embodiment described above. .
  • the first light intensity detection pixel is set as a flicker detection first pixel
  • the second light intensity detection pixel is set as a flicker detection second pixel.
  • (C) of FIG. 22 shows the case where the line of imaging pixels and the light intensity detection pixels of two lines are alternately provided in the vertical direction, as in the third operation in the first embodiment described above. ing.
  • the first light intensity detection pixel is set as a flicker detection first pixel
  • the second light intensity detection pixel is set as a flicker detection second pixel.
  • the imaging unit is configured using color component pixels as in the second embodiment described above
  • the imaging pixels and the light intensity detection pixels are similarly to the flicker detection first pixel and the flicker detection second pixel.
  • the control unit 45 calculates the flicker correction gain for each imaging pixel by the correction gain calculation unit 32, and uses the flicker correction gain for each imaging pixel to perform flicker detection before performing the flicker correction of the imaging pixel by the flicker correction unit 33. To do.
  • the control unit 45 may perform flicker detection when flicker information indicating presence or absence of flicker, a flicker frequency, and the like is not acquired.
  • the control unit 45 sets the exposure period of the first pixel for flicker detection to (1/100) seconds, which is the flicker cycle when the commercial power supply frequency is 50 Hz, and the exposure period for the second pixel for flicker detection.
  • the flicker cycle when the commercial power supply frequency is 60 Hz is (1/120) seconds.
  • the control unit 45 sets the cycle of intensity change of the illumination light detected by the flicker detection unit 43 in the exposure period of the light intensity detection pixel.
  • the flicker detection unit 43 performs flicker detection based on a signal level change in frame units of the flicker detection first pixel and a signal level change in frame units of the flicker detection second pixel.
  • the flicker detection first pixel When the intensity of the illumination light of the illumination device does not change according to the commercial power supply frequency, neither the flicker detection first pixel nor the flicker detection second pixel causes a signal level change in units of frames.
  • the signal level ratio of the flicker detection first pixel and the flicker detection second pixel is equal to the ratio of the exposure period.
  • the flicker detection timing may be changed if the exposure start timing or the exposure end timing is synchronized with the intensity change of the illumination light in each frame. Neither one pixel nor the flicker detection second pixel causes a signal level change in frame units.
  • the flicker detection unit 43 does not generate a signal level change in frame units in the flicker detection first pixel and generates a signal level change in frame units in the flicker detection second pixel, the flicker frequency is 100 Hz.
  • a flicker detection result indicating that flicker is occurring is output to the control unit 45.
  • the flicker detection unit 43 generates a signal level change in frame units at the first flicker detection pixel, and when the signal level change in frame units does not occur at the second flicker detection pixel, the flicker frequency is 120 Hz. Is output to the control unit 45.
  • neither the flicker detection first pixel nor the flicker detection second pixel produces a signal level change in units of frames, and the signal level ratio between the flicker detection first pixel and the flicker detection second pixel is approximately equal to the ratio of the exposure period.
  • a flicker detection result is output to the control unit 45 that flickers are not generated when they are equal.
  • the control unit 45 may control the exposure start timing and the exposure end timing of the flicker detection first pixel and the flicker detection second pixel to different timings.
  • the flicker detection unit 43 performs exposure for a predetermined period by shifting, for example, the exposure start timing for each line among the flicker detection first pixels, and causes the flicker detection second pixels to correspond to the flicker detection first pixels. For a predetermined period at different timings.
  • the control unit 45 controls the flicker detection result indicating that flicker occurs.
  • the control unit 45 controls the flicker detection result indicating that flicker is not generated.
  • the flicker detection first pixel and the flicker detection second pixel both synchronize the exposure start timing or the exposure end timing with the change of the intensity of the illumination light in each frame, thereby the flicker detection first pixel and the flicker detection second pixel In either case, it is possible to prevent the occurrence of signal level change in frame units.
  • FIG. 23 is a flowchart illustrating the operation of the third embodiment.
  • the operations of step ST35 to step ST40 in FIG. 23 correspond to the processing of step ST11 to step ST16 in the flowchart of the fifth operation shown in FIG.
  • step ST31 the imaging device determines whether flicker information has been acquired.
  • the control unit 45 of the imaging device 10b proceeds to step ST33 when flicker information indicating the presence or absence of flicker, the flicker frequency, and the like is acquired, for example, when the flicker frequency and the like are set by the user or the like. Further, when the flicker information is not acquired, the control unit 45 proceeds to step ST32.
  • step ST32 the imaging device performs flicker detection processing.
  • the control unit 45 of the imaging device 10b sets the flicker detection first pixel and the flicker detection second pixel. Further, the control unit 45 sets exposure periods of the flicker detection first pixel and the flicker detection second pixel.
  • the flicker detection unit 43 detects the presence or absence of flicker and the flicker frequency based on the signal level change of frame unit of the flicker detection first pixel and the signal level change of frame unit of the flicker detection second pixel, and proceeds to step ST33.
  • step ST33 the imaging device determines whether there is flicker.
  • the control unit 45 of the imaging device 10b proceeds to step ST35 when flicker information indicates that there is flicker or when flicker is detected in the flicker detection process of step ST32. Further, the control section 45 indicates that there is no flicker in the flicker information, and if the flicker is not detected in the flicker detection process of step ST32, the control section 45 proceeds to step ST34.
  • step ST34 the imaging device performs a normal operation. Since no flicker is detected, the imaging device 10b performs recording, output, etc. of a captured image without performing flicker correction.
  • step ST35 the imaging apparatus sets an exposure period and a frame frequency.
  • the control unit 45 of the imaging device 10b sets the exposure period of the imaging pixel to an exposure period corresponding to the shutter speed. Further, the control unit 45 sets the exposure period of the light intensity detection pixel to the period period of the flicker frequency indicated by the flicker information or the period period of the flicker detected in step ST32. Further, the control unit 45 sets the frame frequency FV of the captured image to a frequency corresponding to the frame rate set by the user or the like, and proceeds to step ST36.
  • step ST36 the imaging device determines whether the frame frequency FV of the captured image exceeds the flicker frequency FL.
  • the control unit 45 compares the frame frequency FV of the captured image set by the user or the like with the flicker frequency FL indicated by the flicker information or detected by the flicker detection. If the frame frequency FV of the captured image does not exceed the flicker frequency FL, the control unit 45 proceeds to step ST37. If the frame frequency FL of the captured image exceeds the flicker frequency FL, the control unit 45 proceeds to step ST38.
  • step ST37 the imaging device performs flicker correction in the first correction mode. If the frame frequency FV of the captured image does not exceed the flicker frequency FL, flicker correction is performed as in the above-described first operation. That is, as described in the first operation, the control unit 45 provides one type of light intensity detection pixel, and the pixel signal of the exposure period according to the shutter speed in the imaging pixel and the light intensity detection pixel have a flicker cycle period. The imaging unit is operated to generate a pixel signal in the exposure period.
  • the image signal processing unit performs linear interpolation using the pixel values of the light intensity detection pixel group and performs pixel interpolation of the light intensity detection pixel group having the same spatial phase as the imaging pixel group within a predetermined pixel range. calculate.
  • the image signal processing unit also calculates the flicker correction gain based on the calculated pixel value and the pixel value of the imaging pixel group within the predetermined pixel range. Furthermore, the image signal processing unit corrects the pixel signal of the imaging pixel to be subjected to the flicker correction using the calculated flicker correction gain.
  • the imaging apparatus determines whether the frame frequency FV of the captured image exceeds twice the flicker frequency FL in step ST38.
  • the control unit 45 compares the frame frequency FV of the captured image set by the user or the like with the flicker frequency FL. If the frame frequency FV of the captured image does not exceed twice the flicker frequency FL, the control unit 45 proceeds to step ST39. When the frame frequency FV of the captured image exceeds twice the flicker frequency FL, the control unit 45 proceeds to step ST40.
  • step ST39 the imaging device performs flicker correction in the second correction mode. If the frame frequency FV of the captured image exceeds the flicker frequency FL and does not exceed the double frequency, flicker correction is performed as in the second operation described above. That is, as described in the second operation, the control unit 45 provides two types of light intensity detection pixels, and the pixel signal of the exposure period according to the shutter speed in the imaging pixel and the light intensity detection pixel have a flicker cycle period. The imaging unit is operated to generate a pixel signal in the exposure period.
  • the image signal processing unit performs linear interpolation using the pixel value of the light intensity detection pixel group from which the pixel signal of the exposure period which is the flicker cycle period is obtained, and the imaging pixel group within a predetermined pixel range
  • the pixel value of the light intensity detection pixel group having the same spatial phase as that of the light intensity detection pixel group is calculated, and the flicker correction gain is calculated based on the calculated pixel value and the pixel value of the imaging pixel group within the predetermined pixel range.
  • the image signal processing unit corrects the pixel signal of the imaging pixel to be subjected to the flicker correction using the calculated flicker correction gain.
  • step ST40 the imaging device performs flicker correction in the third correction mode. If the frame frequency FV of the captured image exceeds twice the flicker frequency FL and does not exceed four times the frequency, four light intensity detection pixels are provided to perform flicker correction. That is, the control unit 45 provides four types of light intensity detection pixels, and generates a pixel signal of the exposure period according to the shutter speed in the imaging pixel and a pixel signal of the exposure period as the flicker cycle period with the light intensity detection pixels. To operate the imaging unit.
  • the image signal processing unit performs linear interpolation using the pixel values of the light intensity detection pixel group for which the pixel signal of the exposure period which is the flicker cycle period is obtained, and performs imaging interpolation within the predetermined pixel range A pixel value having the same spatial movement as the pixel position of is calculated. Also, the image signal processing unit calculates the flicker correction gain based on the calculated pixel value and the pixel value of the imaging pixel group within the predetermined pixel range. Furthermore, the image signal processing unit corrects the pixel signal of the imaging pixel to be subjected to the flicker correction using the calculated flicker correction gain.
  • the user since the presence or absence of flicker and the flicker frequency are automatically detected by the flicker detection unit, the user uses the user interface unit 41 to select the flicker frequency or the like according to the illumination environment. Even when the designation operation is not performed, flicker correction can be correctly performed.
  • the flicker detection is performed when the flicker information is not acquired.
  • the flicker detection may be performed regardless of the acquisition state of the flicker information.
  • a process of notifying the user etc. that the frequency is different or a priority is given to the detected flicker frequency, for example. To use it. In this way, it is possible to prevent flicker correction from being performed at a flicker frequency different from the intensity change of the illumination light.
  • FIG. 24 shows an operation example of the fourth embodiment.
  • the control unit 45 thins and arranges the light intensity detection pixels.
  • (A) of FIG. 24 shows the case where four types of light intensity detection pixels are arranged without thinning
  • (b) of FIG. 24 shows the case where four types of light intensity detection pixels are thinned and arranged It shows.
  • lines of four types of light intensity detection pixels are provided between lines of imaging pixels.
  • four light intensity detection pixels are thinned out, for example, two light intensity detection pixel lines are provided between the imaging pixel lines, and light intensity detection is performed on the upper and lower sides of the imaging pixel line. Make the pixel type different.
  • reduction in the number of imaging pixels can be suppressed even if the frame frequency of the captured image is high. Therefore, reduction in spatial resolution of the imaging image can be suppressed.
  • FIG. 25 illustrates a predetermined pixel range based on an imaging pixel to be subjected to flicker correction.
  • the correction gain calculation unit 32 calculates flicker correction gains of imaging pixels of two lines which are sandwiched by line pairs of light intensity detection pixels of the same type.
  • the flicker cycle period with respect to the exposure period of the imaging pixel targeted for flicker correction is the exposure period of the first light intensity detection pixel.
  • n) is a line position of the imaging pixel to be subjected to the flicker correction.
  • the pixel value of the pixel P (m, n) to be subjected to flicker correction is r (m, n), and the pixel values of imaging pixels on both sides are r (m, n-1), r (m, n + 1).
  • the pixel value of the pixel P (m + 3, n) to be subjected to the flicker correction is r (m + 3, n), and the pixel values of the imaging pixels on both sides are r (m + 3, n-1), r ( It is assumed that m + 3, n + 1).
  • the pixel values of the pixels in the line Lx which are light intensity detection pixels, are a (x, n-1), a (x, n), and a (x, n + 1).
  • the correction gain calculation unit 32 of the image signal processing unit calculates the flicker correction gain based on the equation (27).
  • Flicker correction gain (pixel value WTam of first light intensity detection pixel group / Pixel value WTrm of imaging pixel group (27)
  • the pixel value WTrm of the imaging pixel group uses, for example, the average pixel value of imaging pixels as shown in the equation (28).
  • WTrm (r (m, n-1) + r (m, n) + r (m, n + 1)) / 3 (28)
  • the pixel value WTa of the first light intensity detection pixel group performs linear interpolation using the pixel values of the light intensity detection pixel group, and the pixel values of the light intensity detection pixel group having the same spatial phase as the imaging pixel group targeted for flicker correction It calculates and uses the average value of the calculated pixel value.
  • the correction gain calculation unit 32 calculates pixel values a (m, n-1), a (m, n), a (m, n +) of spatial phase equal to the line Lm of the imaging pixel according to the equations (29) to (31). 1) Calculate. Furthermore, the correction gain calculation unit 32 performs the calculation shown in equation (32) to calculate the pixel value WTa of the light intensity detection pixel group.
  • a (m, n-1) 0.667 x a (m-2, n-1) + 0.333 x a (m + 4, n-1) ... (29)
  • a (m, n) 0.667 x a (m-2, n) + 0.333 x a (m + 4, n) ...
  • the correction gain calculation unit 32 outputs the calculated flicker correction gain, that is, the flicker correction gain HG (m, n) shown in equation (33) to the flicker correction unit 33.
  • WTrma (r (m + 3, n-1) + r (m + 3, n) + r (m + 3, n + 1)) / 3 ... (34)
  • the pixel value WTama of the first light intensity detection pixel group performs linear interpolation using the pixel values of the light intensity detection pixel group, and the pixel values of the light intensity detection pixel group having the same spatial phase as the imaging pixel group to be flicker corrected It calculates and uses the average value of the calculated pixel value.
  • a (m + 3, n + 1) 0.167 x a (m-2, n + 1) + 0.833 x a (m + 4, n + 1) ...
  • WTama (a (m + 3, n-1) + a (m + 3, n) + a (m + 3, n + 1)) / 3 ...
  • the correction gain calculation unit 32 outputs the calculated flicker correction gain, that is, the flicker correction gain HG (m + 3, n) shown in equation (39) to the flicker correction unit 33.
  • the flicker correction unit 33 uses the flicker correction gain HG (m, n) calculated by the correction gain calculation unit 32 to perform gain adjustment on an imaging pixel that is the pixel P (m, n) to be subjected to flicker correction. Further, the flicker correction unit 33 performs gain adjustment on the imaging pixel to be subjected to the flicker correction using the flicker correction gain HG (m + 3, n) calculated by the correction gain calculation unit 32.
  • the image signal processing unit generates the image signal in which the influence of the flicker is reduced by performing the above-described process on each imaging pixel.
  • FIG. 26 shows the case of a color image as another operation example of the fourth embodiment.
  • the control unit 45 performs pixel blocks of 2 ⁇ 2 pixels as in the second embodiment, and the pixel unit of the imaging pixels and the light intensity detection pixels The light intensity detection pixels are thinned out and disposed.
  • reduction in the number of imaging pixels can be suppressed even if the frame frequency of the captured image is high. Therefore, reduction in spatial resolution of the imaging image can be suppressed.
  • FIG. 27 shows another case of a color captured image as another operation example of the fourth embodiment.
  • the control unit 45 takes, for example, two pixel blocks of 1 ⁇ 2 pixels as in the second embodiment, an imaging pixel and a light intensity detection pixel
  • the light intensity detection pixels are thinned out and arranged as a pixel unit of.
  • FIG. 27 (a) shows the case where four types of light intensity detection pixels are provided
  • FIG. 27 (b) shows the case where six types of light intensity detection pixels are provided.
  • the line of the first light intensity detection pixel and the line of the second light intensity detection pixel and the line of the third light intensity detection pixel and the fourth light intensity for each set It is necessary to replace the line of the detection pixel.
  • the line of the second light intensity detection pixel is a red pixel and a green pixel in the pixel block having the same horizontal direction.
  • the line of the next second light intensity detection pixel also becomes a red pixel and a green pixel.
  • FIG. 28 is a diagram for explaining the calculation operation of the flicker correction gain when thinning out and arranging four types of light intensity detection pixels. For example, using two image blocks of 1 ⁇ 2 pixels of line Lj-2r and line Lj + 2b which are the first light intensity detection pixels, it is possible to obtain a pixel signal for each color component pixel of 2 ⁇ 2 pixels of Bayer arrangement. From this, the correction gain calculation unit 32 calculates the luminance value Ya1 using pixel signals of two image blocks of 1 ⁇ 2 pixels of the line Lj-2r and the line Lj + 2b. Similarly, the correction gain calculation unit 32 calculates a luminance value Ya2 using pixel signals of two image blocks of 1 ⁇ 2 pixels of line Lj + 2r and line Lj + 3b which are first light intensity detection pixels.
  • the correction gain calculation unit 32 The luminance value Yrj1 is calculated using pixel signals of two image blocks of 1 ⁇ 2 pixels of the line Ljr and the line Ljb.
  • a pixel signal of 2 ⁇ 2 pixels of Bayer arrangement can be obtained, and the correction gain calculation unit 32 calculates the line Ljb and A luminance value Yrj2 is calculated using pixel signals of two image blocks of 1 ⁇ 2 pixels of the line L′ jr. Further, an image signal is calculated for each block position in the horizontal direction, and luminance values at block positions k ⁇ 1, k, and k + 1 are calculated, for example, as shown in (b) of FIG.
  • the correction gain calculation unit 32 calculates the luminance value of the spatial phase corresponding to the luminance value Yar1 of the light intensity detection pixel and the luminance value Yar2 for each of the luminance values Yrj1 and Yrj2 of the imaging pixel,
  • the flicker correction gain is calculated from the ratio of the luminance value of the light intensity detection pixel to the luminance value of the light intensity detection pixel having the same spatial phase.
  • the correction gain calculation unit 32 calculates the luminance values Yr (j1, k-1), Yr (j1, k), Yr (j1, k + 1).
  • the ratio of the average to the average of the luminance values Ya (j1, k-1), Ya (j1, k), Ya (j1, k + 1) is taken as the flicker correction gain of the luminance value Yr (j1, k).
  • the correction gain calculation unit 32 calculates the luminance value Yr (j2, k-1), Yr (j2, k), Yr (j2). , k + 1) and luminance values Ya (j1, k-1), Ya (j1, k), Ya (j1, k + 1), Ya (j2, k-1), Ya (j2, k) , Ya (j2, k + 1) is the flicker correction gain of the luminance value Yr (j2, k).
  • the correction gain calculation unit 32 sets the flicker correction gain for the pixel block of 1 ⁇ 2 pixels used to calculate the luminance value of the imaging pixel, using the flicker correction gain calculated for the luminance value. For example, since the line Ljb is used to calculate the luminance value Yrj1 and the luminance value Yrj2, the correction gain calculation unit 32 uses the flicker correction gain of the luminance value Yrj1 and the luminance value Yrj2 to obtain the spatial phase of the line Ljb. Calculate the corresponding flicker correction gain. In the case shown in FIG.
  • the correction gain calculation unit 32 determines the flicker correction gain of the block (Ljb, k) of the imaging pixel
  • the average value is the flicker correction gain of Yr (j1, k) and the flicker correction gain of Yr (j2, k).
  • the imaging device of the present technology reduction in imaging pixels can be suppressed by thinning out and arranging the light intensity detection pixels.
  • the flicker correction gain can be calculated for each pixel of the imaging pixel or the calculation unit of the luminance value by the above-described processing. Therefore, even if the reduction in the number of imaging pixels is suppressed, the same effects as those of the above-described embodiment can be obtained.
  • the imaging device described in the above embodiment is suitable for an imaging device capable of imaging still images and moving images, for example.
  • An imaging element with a large number of pixels is required to capture a high-resolution captured image or the like for capturing a still image, but it may be any number of pixels compatible with a display device for capturing a moving image. Therefore, when imaging a moving image using an imaging element with a large number of pixels, there are pixels that are not used for imaging, so if pixels that are not used for imaging are used as light intensity detection pixels, An imaging element with a high number of pixels can be effectively used even when capturing a moving image.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on any type of mobile object such as a car, an electric car, a hybrid electric car, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, a robot May be
  • FIG. 29 is a block diagram showing a schematic configuration example of a vehicle control system that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • Vehicle control system 12000 includes a plurality of electronic control units connected via communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an external information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (Interface) 12053 are illustrated as a functional configuration of the integrated control unit 12050.
  • the driveline control unit 12010 controls the operation of devices related to the driveline of the vehicle according to various programs.
  • the drive system control unit 12010 includes a drive force generation device for generating a drive force of a vehicle such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to the wheels, and a steering angle of the vehicle. adjusting steering mechanism, and functions as a control device of the braking device or the like to generate a braking force of the vehicle.
  • Body system control unit 12020 controls the operation of the camera settings device to the vehicle body in accordance with various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device of various lamps such as a headlamp, a back lamp, a brake lamp, a blinker or a fog lamp.
  • the body system control unit 12020 the signal of the radio wave or various switches is transmitted from wireless controller to replace the key can be entered.
  • Body system control unit 12020 receives an input of these radio or signal, the door lock device for a vehicle, the power window device, controls the lamp.
  • Outside vehicle information detection unit 12030 detects information outside the vehicle equipped with vehicle control system 12000.
  • an imaging unit 12031 is connected to the external information detection unit 12030.
  • the out-of-vehicle information detection unit 12030 causes the imaging unit 12031 to capture an image outside the vehicle, and receives the captured image.
  • the external information detection unit 12030 may perform object detection processing or distance detection processing of a person, a vehicle, an obstacle, a sign, characters on a road surface, or the like based on the received image.
  • Imaging unit 12031 receives light, an optical sensor for outputting an electric signal corresponding to the received light amount of the light.
  • the imaging unit 12031 can output an electric signal as an image or can output it as distance measurement information.
  • the light image pickup unit 12031 is received may be a visible light, it may be invisible light such as infrared rays.
  • Vehicle information detection unit 12040 detects the vehicle information.
  • a driver state detection unit 12041 that detects a state of a driver is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera for imaging the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether the driver does not go to sleep.
  • the microcomputer 12051 calculates a control target value of the driving force generation device, the steering mechanism or the braking device based on the information inside and outside the vehicle acquired by the outside information detecting unit 12030 or the in-vehicle information detecting unit 12040, and a drive system control unit A control command can be output to 12010.
  • the microcomputer 12051 the driving force generating device on the basis of the information around the vehicle acquired by the outside information detection unit 12030 or vehicle information detection unit 12040, by controlling the steering mechanism or braking device, the driver automatic operation such that autonomously traveling without depending on the operation can be carried out cooperative control for the purpose of.
  • the microcomputer 12051 can output a control command to the body system control unit 12030 based on the information outside the vehicle acquired by the external information detection unit 12030.
  • the microcomputer 12051 controls the headlamps in response to the preceding vehicle or the position where the oncoming vehicle is detected outside the vehicle information detection unit 12030, the cooperative control for the purpose of achieving the anti-glare such as switching the high beam to the low beam It can be carried out.
  • Audio and image output unit 12052 transmits, to the passenger or outside of the vehicle, at least one of the output signal of the voice and image to be output device to inform a visually or aurally information.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • Display unit 12062 may include at least one of the on-board display and head-up display.
  • FIG. 30 is a diagram illustrating an example of the installation position of the imaging unit 12031.
  • imaging units 12101, 12102, 12103, 12104, and 12105 are included.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, on the front nose of the vehicle 12100, a side mirror, a rear bumper, a back door, an upper portion of a windshield of a vehicle interior, and the like.
  • the imaging unit 12101 provided in the front nose and the imaging unit 12105 provided in the upper part of the windshield in the vehicle cabin mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 included in the side mirror mainly acquire an image of the side of the vehicle 12100.
  • the imaging unit 12104 provided in the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the imaging unit 12105 provided on the top of the windshield in the passenger compartment is mainly used to detect a leading vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 30 shows an example of the imaging range of the imaging units 12101 to 12104.
  • Imaging range 12111 indicates an imaging range of the imaging unit 12101 provided in the front nose
  • imaging range 12112,12113 are each an imaging range of the imaging unit 12102,12103 provided on the side mirror
  • an imaging range 12114 is The imaging range of the imaging part 12104 provided in the rear bumper or the back door is shown.
  • a bird's eye view of the vehicle 12100 viewed from above can be obtained.
  • At least one of the imaging unit 12101 through 12104 may have a function of obtaining distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of imaging devices, or an imaging device having pixels for phase difference detection.
  • the microcomputer 12051 measures the distance to each three-dimensional object in the imaging ranges 12111 to 12114, and the temporal change of this distance (relative velocity with respect to the vehicle 12100). In particular, it is possible to extract a three-dimensional object traveling at a predetermined speed (for example, 0 km / h or more) in substantially the same direction as the vehicle 12100 as a leading vehicle, in particular by finding the it can. Further, the microcomputer 12051 can set an inter-vehicle distance to be secured in advance before the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. Automatic operation or the like for autonomously traveling without depending on the way of the driver operation can perform cooperative control for the purpose.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • the microcomputer 12051 converts three-dimensional object data relating to three-dimensional objects into two-dimensional vehicles such as two-wheeled vehicles, ordinary vehicles, large vehicles, classification and extracted, can be used for automatic avoidance of obstacles.
  • the microcomputer 12051 identifies obstacles around the vehicle 12100 into obstacles visible to the driver of the vehicle 12100 and obstacles difficult to see.
  • the microcomputer 12051 determines a collision risk which indicates the risk of collision with the obstacle, when a situation that might collide with the collision risk set value or more, through an audio speaker 12061, a display portion 12062 By outputting a warning to the driver or performing forcible deceleration or avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be performed.
  • At least one of the imaging unit 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether a pedestrian is present in the images captured by the imaging units 12101 to 12104.
  • Such pedestrian recognition is, for example, a procedure for extracting feature points in images captured by the imaging units 12101 to 12104 as an infrared camera, and pattern matching processing on a series of feature points indicating the outline of an object to determine whether it is a pedestrian or not
  • the procedure is to determine Microcomputer 12051 is, determines that the pedestrian in the captured image of the imaging unit 12101 to 12104 is present, recognizing the pedestrian, the sound image output unit 12052 is rectangular outline for enhancement to the recognized pedestrian to superimpose, controls the display unit 12062.
  • the audio image output unit 12052 is, an icon or the like indicating a pedestrian may control the display unit 12062 to display the desired position.
  • the technology according to the present disclosure may be applied to the imaging units 12031, 12101, 12102, 12103, 12104, 12105, and the like.
  • the technology according to the present disclosure may be applied to the imaging units 12031, 12101, 12102, 12103, 12104, 12105, etc., using a lighting device in which the intensity of the illumination light varies periodically on roads, parking lots, etc. Even when illumination is performed, a captured image in which the influence of fluctuations in the intensity of illumination light is reduced can be acquired, so that driver fatigue and the like can be reduced.
  • automatic driving or the like is performed using a captured image, the influence of fluctuations in the intensity of the illumination light is reduced, so operation control is easier than when the present technology is not used.
  • the series of processes described in the specification can be performed by hardware, software, or a combination of both.
  • a program recording the processing sequence is installed and executed in a memory in a computer incorporated in dedicated hardware.
  • the program can be installed and executed on a general-purpose computer that can execute various processes.
  • the program can be recorded in advance on a hard disk or a solid state drive (SSD) as a recording medium, or a read only memory (ROM).
  • the program may be a flexible disk, a compact disc read only memory (CD-ROM), a magneto optical (MO) disc, a digital versatile disc (DVD), a BD (Blu-Ray Disc (registered trademark)), a magnetic disc, a semiconductor memory card Etc.
  • CD-ROM compact disc read only memory
  • MO magneto optical
  • DVD digital versatile disc
  • BD Blu-Ray Disc
  • magnetic disc a semiconductor memory card Etc.
  • Such removable recording media can be provided as so-called package software.
  • the program may be installed from the removable recording medium to the computer, or may be transferred from the download site to the computer wirelessly or by wire via a network such as a LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in such a manner, and install the program on a recording medium such as a built-in hard disk.
  • the effect described in this specification is an illustration to the last, is not limited, and may have an additional effect which is not described.
  • the present technology should not be construed as being limited to the embodiments of the above-described technology.
  • the embodiments of this technology disclose the present technology in the form of exemplification, and it is obvious that those skilled in the art can modify or substitute the embodiments within the scope of the present technology. That is, in order to determine the gist of the present technology, the claims should be taken into consideration.
  • the imaging device of the present technology can also have the following configuration.
  • a correction gain calculation unit that calculates a flicker correction gain based on a pixel signal of an imaging pixel for acquiring an imaged image and a pixel signal of a light intensity detection pixel for detecting the intensity of illumination light;
  • An imaging apparatus comprising: a control unit configured to individually set an exposure timing and an exposure period of the imaging pixel and the light intensity detection pixel.
  • the control unit sets the exposure period of the imaging pixel to a period according to the shutter speed, and sets the exposure period of the light intensity detection pixel to a period period of the intensity change of the illumination light.
  • the imaging device wherein the exposure timings of the imaging pixel and the light intensity detection pixel are set such that any of exposure start, exposure end or center of exposure period is equal timing.
  • the control unit provides one or more pixel groups of the light intensity detection pixels based on a frame cycle of the captured image and a cycle of intensity change of the illumination light, and the light is provided for each frame of the captured image.
  • a pixel signal of an exposure period which is a period period of intensity change of the illumination light, is obtained by any one of pixel groups of the intensity detection pixels.
  • the control unit provides a large number of pixel groups of the light intensity detection pixels as the number of frame periods of the captured image included in the period of intensity change of the illumination light increases.
  • the correction gain calculation unit calculates a flicker correction gain based on the pixel signal of the light intensity detection pixel of the pixel group in which the pixel signal of the exposure period which is the period period of the intensity change of the illumination light is obtained (3)
  • the imaging device of description (5) A flicker detection first pixel whose exposure period is a cycle of the first commercial power supply frequency and a flicker detection second pixel whose exposure period is a cycle of the second commercial power supply frequency
  • the imaging apparatus according to any one of (1) to (4), further including: a flicker detection unit that detects a cycle of intensity change of the illumination light.
  • the control unit sets the light intensity detection pixel or the light intensity detection pixel and the imaging pixel as the first flicker detection pixel and the second flicker detection pixel before calculating the flicker correction gain.
  • the control unit sets a pixel block including a plurality of color component pixels as a pixel unit of the imaging pixel and the light intensity detection pixel.
  • the correction gain calculation unit calculates the flicker correction gain based on a luminance value calculated from pixel signals of color component pixels of the image pickup pixel and a pixel block constituting the light intensity detection pixel (1) to (6)
  • the imaging device according to any one of the above.
  • the correction gain calculation unit performs interpolation processing using a pixel signal of the light intensity detection pixel, generates a pixel signal of a light intensity detection pixel having the same spatial phase as the imaging pixel, and generates the pixel signal of the imaging pixel.
  • the imaging device according to any one of (1) to (7), wherein a flicker correction gain is calculated for each pixel of the imaging pixel based on the pixel signal and a pixel signal of a light intensity detection pixel having the same spatial phase as the imaging pixel.
  • the correction gain calculation unit is configured to calculate the flicker of the image pickup pixel to be subjected to the flicker correction based on pixel signals of a plurality of image pickup pixels in the horizontal direction and the vertical direction with respect to the image pickup pixel to be flicker corrected and a light intensity detection pixel.
  • the imaging apparatus according to any one of (1) to (8), which calculates a correction gain.
  • the imaging device according to any one of (1) to (9), wherein the imaging pixel and the light intensity detection pixel are provided adjacent to each other.
  • (11) The imaging device according to (10), wherein the imaging pixel and the light intensity detection pixel are provided vertically adjacent to each other.
  • (12) The light intensity detection pixels are thinned out and disposed,
  • the correction gain calculation unit performs interpolation processing using a pixel signal of the light intensity detection pixel and calculates a pixel signal of a light intensity detection pixel having the same spatial phase as the imaging pixel (1) to (11)
  • the imaging device according to.
  • (13) The imaging apparatus according to any one of (1) to (12), further including a flicker correction unit that performs flicker correction of the imaging pixel using the flicker correction gain calculated by the correction gain calculation unit.
  • the exposure timing and the exposure period of the imaging pixel for acquiring the imaged image and the light intensity detection pixel for detecting the intensity of the illumination light are set individually.
  • a flicker correction gain is calculated for each pixel of the imaging pixel based on the pixel signal generated by the imaging pixel and the pixel signal generated by the light intensity detection pixel. Therefore, regardless of the positional relationship between the illumination device and the subject, it is possible to obtain a captured image in which the influence of fluctuations in the intensity of the illumination light is reduced, so that under illumination environments where the illumination intensity changes according to the commercial power supply frequency. Is suitable for imaging devices that capture moving images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

制御部４５は、撮像部２１において撮像画を取得するための撮像画素と照明光の強度を検出するための光強度検出画素の露光タイミングと露光期間が個々に設定する。補正ゲイン算出部３２は、撮像画素で生成された画素信号と光強度検出画素で生成された画素信号に基づきフリッカー補正ゲインを撮像画素の画素ごとに算出する。フリッカー補正部３３は、補正ゲイン算出部３２で算出された撮像画素毎のフリッカー補正ゲインを用いて、撮像画素のフリッカー補正を行う。したがって、照明装置と被写体との位置関係にかかわらず発光光の強度の変動の影響が低減されている撮像画を取得できるようになる。

Description

撮像装置とフリッカー補正方法およびプログラム
　この技術は、撮像装置とフリッカー補正方法およびプログラムに関し、周期的に照明光の強度が変動する照明装置を利用しても、照明装置と被写体との位置関係にかかわらず照明光の強度の変動の影響が低減された撮像画を取得できるようにする。
　従来、周期的に照明光の強度が変動する照明装置を利用して撮像が行われたとき、照明光の強度の変動の影響を低減することが行われている。例えば特許文献１では、被写体を撮像するための第１のフォトダイオードと、照明光の強度の変動を検出するための第２のフォトダイオードを設けて、第２のフォトダイオードを用いて検出した照明光の強度変化パターンに基づいて、第１のフォトダイオードを用いて取得した撮像信号を補正することが行われている。
特開２０１１－０９７２０４号公報
　ところで、第２のフォトダイオードを用いて検出した照明光の強度変化パターンに基づいた撮像信号の補正は、照明光の強度の時間変化に応じた補正である。したがって、例えば照明装置と被写体との位置関係の違いによって生じる被写体毎のちらつき度合いの差を補正することはできない。
　そこで、この技術では、照明光の強度が周期的に変動する場合でも、照明装置と被写体との位置関係にかかわらず照明光の強度の変動の影響が低減されている撮像画を取得できる撮像装置とフリッカー補正方法およびプログラムを提供することを目的とする。
　この技術の第１の側面は、
　撮像画を取得するための撮像画素の画素信号と照明光の強度を検出するための光強度検出画素の画素信号に基づきフリッカー補正ゲインを算出する補正ゲイン算出部と、
　前記撮像画素と前記光強度検出画素の露光タイミングと露光期間を個々に設定する制御部と
を備える撮像装置にある。
　この技術においては、撮像画を取得するための撮像画素と照明光の強度を検出するための光強度検出画素を例えば垂直方向に隣接して設ける。制御部は、撮像画素と光強度検出画素の露光タイミングと露光期間を個々に設定する。例えば制御部は、撮像画素の露光期間をシャッター速度に応じた期間に設定して、光強度検出画素の露光期間を照明光の強度変化の周期期間に設定して、撮像画素と光強度検出画素の露光タイミングを、露光開始、露光終了または露光期間の中央のいずれかを等しいタイミングに設定する。また、制御部は、撮像画のフレーム周期と照明光の強度変化の周期に基づき、光強度検出画素の画素群を１または複数設けて、撮像画のフレーム毎に光強度検出画素のいずれかの画素群で照明光の強度変化の周期期間である露光期間の画素信号を得る。補正ゲイン算出部は、撮像画素の画素信号と光強度検出画素の画素信号に基づきフリッカー補正対象の撮像画素に対するフリッカー補正ゲインを算出する。例えば、補正ゲイン算出部は、フリッカー補正対象の撮像画素を基準とした水平方向および垂直方向の複数の画素範囲の光強度検出画素の画素信号を用いて補間処理を行い、撮像画素と空間位相が等しい光強度検出画素の画素信号を生成して、撮像画素の画素信号と撮像画素と空間位相が等しい光強度検出画素の画素信号に基づいて撮像画素の画素毎にフリッカー補正ゲインを算出する。フリッカー補正部は、補正ゲイン算出部で算出されたフリッカー補正ゲインを用いてフリッカー補正対象の撮像画素のフリッカー補正を行う。
　また、フリッカー検出部を設けて、露光期間が第１商用電源周波数の周期であるフリッカー検出第１画素と露光期間が第２商用電源周波数の周期であるフリッカー検出第２画素のフレーム毎の画素信号の信号レベル変化に基づいて、照明光の強度変化の周期を検出する。フリッカー検出部を設ける場合、制御部は、フリッカー補正ゲインの算出前に、光強度検出画素または光強度検出画素と撮像画素をフリッカー検出第１画素とフリッカー検出第２画素に設定して、フリッカー検出部でフリッカー検出を行わせて、フリッカー検出後はフリッカー検出部で検出された周期を、光強度検出画素の露光期間に設定する。
　また、制御部は、複数色成分画素からなる画素ブロックを撮像画素および光強度検出画素の画素単位として、補正ゲイン算出部は、撮像画素および光強度検出画素を構成する画素ブロックの色成分画素の画素信号から算出した輝度値に基づいてフリッカー補正ゲインを算出する。
　また、光強度検出画素を間引いて配置して、補正ゲイン算出部は、光強度検出画素の画素信号を用いて補間処理を行い撮像画素と空間位相が等しい光強度検出画素の画素信号を算出して、撮像画素の画素信号と撮像画素と空間位相が等しい光強度検出画素の画素信号に基づき、フリッカー補正対象の撮像画素のフリッカー補正ゲインを算出する。
　この技術の第２の側面は、
　撮像画を取得するための撮像画素と照明光の強度を検出するための光強度検出画素の露光タイミングと露光期間を個々に設定することと、
　前記撮像画素で生成された画素信号と前記光強度検出画素で生成された画素信号に基づきフリッカー補正ゲインを算出することと、
　前記算出されたフリッカー補正ゲインを用いて前記撮像画素のフリッカー補正を行うこと
を含むフリッカー補正方法にある。
　この技術の第３の側面は、
　撮像画のフリッカー補正をコンピュータで実行させるプログラムであって、
　前記撮像画を取得するための撮像画素と照明光の強度を検出するための光強度検出画素の露光タイミングと露光期間を個々に設定する手順と、
　前記撮像画素で生成された撮像画素信号と前記光強度検出画素で生成された照明光画素信号に基づきフリッカー補正ゲインを算出する手順と、
　前記算出されたフリッカー補正ゲインを用いて前記撮像画素のフリッカー補正を行う手順と
を前記コンピュータで実行させるプログラムにある。
　なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
　この技術によれば、撮像画を取得するための撮像画素と照明光の強度を検出するための光強度検出画素の露光タイミングと露光期間が個々に設定される。また、撮像画素で生成された画素信号と光強度検出画素で生成された画素信号に基づきフリッカー補正ゲインが撮像画素の画素ごとに算出される。したがって、照明装置と被写体との位置関係にかかわらず発光光の強度の変動の影響が低減されている撮像画を取得できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
第１の実施の形態における撮像装置の構成を例示した図である。 第１の動作を説明するための図である。 フリッカー補正対象の撮像画素を基準とした所定の画素範囲を例示した図である。 第１の動作を示すフローチャートである。 被写体と照明装置と撮像装置の配置を例示した図である。 フリッカー補正動作を説明するための図である。 第２の動作を説明するための図である。 フリッカー補正対象の撮像画素を基準とした所定の画素範囲を例示した図である。 第３の動作を説明するための図である。 フリッカー補正対象の撮像画素を基準とした所定の画素範囲を例示した図である。 第４の動作を説明するための図である。 第５の動作を示すフローチャートである。 画素配置を例示した図である。 第２の実施の形態における撮像装置の構成を例示した図である。 撮像画のフレーム周波数がフリッカー周波数よりも低い場合の撮像画素と光強度検出画素の配置を例示した図である。 撮像画のフレーム周波数がフリッカー周波数よりも高くフリッカー周波数の２倍よりも低い場合の撮像画素と光強度検出画素の配置を例示した図である。 撮像画のフレーム周波数がフリッカー周波数よりも高くフリッカー周波数の２倍よりも低い場合の撮像画素と光強度検出画素の他の配置を例示した図である。 第２の実施の形態のフリッカー補正ゲインの算出動作を説明するための図である。 第２の実施の形態のフリッカー補正ゲインの他の算出動作を説明するための図である。 第２の実施の形態の撮像装置の動作を例示したフローチャートである。 フリッカー周波数を自動検出する場合の撮像装置の構成を例示した図である。 フリッカー検出第１画素とフリッカー検出第２画素を例示した図である。 第３の実施の形態の動作を例示したフローチャートである。 第４の実施の形態の動作例を示した図である。 フリッカー補正対象の撮像画素を基準とした所定の画素範囲を例示した図である。 第４の実施の形態の他の動作例としてカラー撮像画の場合を示した図である。 第４の実施の形態の他の動作例としてカラー撮像画の他の場合を示した図である。 ４種類の光強度検出画素を間引いて配置した場合のフリッカー補正ゲインの算出動作を説明するための図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　　１．第１の実施の形態
　　　１－１．撮像装置の構成
　　　１－２．撮像装置の第１の動作
　　　１－３．撮像装置の第２の動作
　　　１－４．撮像装置の第３の動作
　　　１－５．撮像装置の第４の動作
　　　１－６．撮像装置の第５の動作
　　２．第２の実施の形態
　　　２－１．撮像装置の構成
　　　２－２．撮像装置の動作
　　３．第３の実施の形態
　　４．第４の実施の形態
　　５．適用例
　　６．移動体への応用例
　＜１．第１の実施の形態＞
　＜１－１．撮像装置の構成＞
　図１は、本技術の第１の実施の形態における撮像装置の構成を例示している。撮像装置１０は、撮像部２１と画像信号処理部３０とユーザインタフェース（Ｉ／Ｆ）部４１および制御部４５を有している。また、撮像装置１０は、周辺部５０として記録部５１、信号出力部５２、表示部５３等が設けられてもよい。
　撮像部２１には、撮像面内に撮像画素と光強度検出画素が設けられる。撮像画素は、撮像画を取得するための画素であり、露光期間をシャッター速度に応じた期間として、露光期間の露光量に応じた画素信号を生成する。光強度検出画素は、照明光の強度を検出するための画素であり、露光期間をフリッカー周期期間として、露光期間の露光量に応じた画素信号を生成する。撮像部２１は、撮像画素と光強度画素で生成された画素信号を画像信号処理部３０へ出力する。なお、撮像画素と光強度検出画素は、水平方向または垂直方向に交互に設けられており、その詳細については後述する。
　画像信号処理部３０は、補正ゲイン算出部３２、フリッカー補正部３３を有している。補正ゲイン算出部３２は、撮像部２１の撮像画素と光強度検出画素で生成された画素信号に基づきフリッカー補正ゲインを算出する。具体的には、フリッカー補正対象の撮像画素を基準とした所定の画素範囲内の撮像画素の画素信号と光強度検出画素の画素信号を用いて、撮像画素と空間位相が等しい光強度検出画素の画素信号を生成する。さらに、撮像画素の画素信号と撮像画素と空間位相が等しい光強度検出画素の画素信号に基づきフリッカー補正ゲインを算出する。補正ゲイン算出部３２は、算出したフリッカー補正ゲインをフリッカー補正部３３へ出力する。
　フリッカー補正部３３は、補正ゲイン算出部３２で算出されたフリッカー補正ゲインで、フリッカー補正対象の撮像画素の画素信号に対するゲイン調整を行い、フリッカーの補正が行われた画像信号を生成する。フリッカー補正部３３は、フリッカー補正後の画像信号を記録部５１や信号出力部５２、表示部５３等へ出力する。
　ユーザインタフェース部４１は操作スイッチや操作ボタン等を用いて構成されている。ユーザインタフェース部４１は、ユーザ操作に応じた操作信号を生成して制御部４５へ出力する。また、商用電源周波数は５０Ｈｚまたは６０Ｈｚであり、電圧変動に追従して照明光の強度が変わる蛍光灯などの照明の点滅速度は一般的に電源周波数の倍速となる。すなわち商用電源周波数が５０Ｈｚであるときのフリッカー周波数は１００Ｈｚ、商用電源周波数が６０Ｈｚであるときのフリッカー周波数は１２０Ｈｚとなる。ユーザインタフェース部４１では、フリッカー周波数（または照明装置で用いる商用電源の電源周波数）あるいはフリッカー周期のユーザ指定操作が可能とされている。
　制御部４５は、例えば制御プログラムを記憶するＲＯＭや一時的にデータを記憶するフラッシュメモリ等の記憶部が内蔵されたマイクロコンピュータを用いて構成されている。制御部４５は、制御プログラムを実行して、ユーザインタフェース部４１からの操作信号に基づき、ユーが所望する動作を撮像装置１０で行うように各部の動作を制御する。また、制御部４５は、ユーザ操作によって指定されたフリッカー周波数等に対応するフリッカー補正が行われた画像信号を生成できるように、撮像部２１と画像信号処理部３０および周辺部５０の動作を制御する。また、制御部４５は、撮像部２１の画素を撮像画素または光強度検出画素に設定する。さらに、制御部４５は、撮像画素と光強度検出画素の露光タイミングと露光期間を個々に設定する。
　記録部５１は、画像信号処理部３０で生成されたフリッカー補正後の画像信号を記録媒体に記録する。また、記録部５１は、記録媒体に記録されている画像信号を読み出して表示部５３へ出力する。さらに、記録部５１は、フリッカー補正後の画像信号の符号化処理を行い、符号化信号を生成して記録媒体に記録してもよく、記録媒体から読み出した符号化信号の復号処理によって得られた画像信号を表示部５３へ出力してもよい。
　信号出力部５２は、画像信号処理部３０で生成されたフリッカー補正後の画像信号を所定のフォーマットとして外部機器へ出力する。また、信号出力部５２は、フリッカー補正後の画像信号の符号化処理を行い、符号化信号を外部機器へ出力してもよい。
　表示部５３は、画像信号処理部３０で生成されたフリッカー補正後の画像信号、または記録部５１から読み出された画像信号に基づき撮像画を表示する。また、表示部５３は、制御部４５からの制御信号に基づいてメニュー画面等の表示を行う。
　＜１－２．撮像装置の第１の動作＞
　次に撮像装置の第１の動作について説明する。図２は、第１の動作を説明するための図である。第１の動作において、撮像部２１では画素単位で露光時間の設定が可能とされている。撮像部２１の撮像面内には、図２の（ａ）に示すように、撮像画素と光強度検出画素が水平方向に１画素単位で交互に設けられる。
　図２の（ｂ）は照明光の強度変化を示している。また、図２の（ｃ）はラインＬｍにおける撮像画素の露光期間、図２の（ｄ）はラインＬｍにおける光強度検出画素の露光期間を示している。また、図２の（ｅ）はラインＬｍ＋１における撮像画素の露光期間、図２の（ｆ）はラインＬｍ＋１における光強度検出画素の露光期間を示している。なお、撮像部２１において、各画素のアドレスを指定して個々の画素信号を読み出すＸＹアドレス方式が用いられている場合、露光タイミングがライン毎に順次ずれを生じている。
　制御部４５は、撮像部２１の画素を図２の（ａ）に示すように撮像画素と光強度検出画素に設定する。さらに、制御部４５は、撮像画素の露光期間をシャッター速度に応じた期間として、光強度検出画素の露光期間をユーザが指定したフリッカー周波数の１周期期間として撮像部２１を動作させる。図２では、シャッター速度＝１／１２０秒、フリッカー周波数＝１００Ｈｚ（１／１００秒）の場合を示している。また、撮像画のフレーム周波数は、フリッカー周波数よりも低い周波数例えば６６．７Ｈｚに設定されており、各フレームにおける撮像画素と光強度検出画素は例えば露光開始タイミングが一致するように設定されている。
　画像信号処理部３０は、撮像部２１で図２に示す撮像動作を行い生成された画素信号を用いてフリッカー補正を行う。図３は、フリッカー補正対象の撮像画素を基準とした所定の画素範囲を例示している。画素範囲は、固定の範囲に予め設定されていてもよく、任意の範囲に変更できる構成とされてもよい。なお、図３では、ラインＬｍにおけるｎ番目の画素Ｐ(m,n)である撮像画素をフリッカー補正対象としており、画素Ｐ(m,n-3)～画素Ｐ(m,n+3)を所定の画素範囲ＡWTとしている。また、撮像画素である画素Ｐ(m,n-2)，Ｐ(m,n)，Ｐ(m,n+2)の画素値をｒ(m,n-2)，ｒ(m,n)，ｒ(m,n+2)とする。また、光強度検出画素である画素Ｐ(m,n-3)，Ｐ(m,n-1)，Ｐ(m,n+1)，Ｐ(m,n+3)の画素値をａ(m,n-3)，ａ(m,n-1)，ａ(m,n+1)，ａ(m,n+3)とする。
　画像信号処理部３０の補正ゲイン算出部３２は、式（１）に基づきフリッカー補正ゲインＨＧを算出する。
　ＨＧ＝（光強度検出画素群の画素値ＷＴａ／撮像画素群の画素値ＷＴｒ）・・・（１）
　撮像画素群の画素値ＷＴｒは、例えば式（２）に示すように、所定の画素範囲内の撮像画素の平均画素値を用いる。
　ＷＴｒ＝（ｒ(m,n-2)＋ｒ(m,n)＋ｒ(m,n+2)）／３　・・・（２）
　光強度検出画素群の画素値ＷＴａは、光強度検出画素群の画素値を用いて線形補間を行い所定の画素範囲内における撮像画素群と空間位相が等しい光強度検出画素群の画素値を算出して、算出した画素値の平均値を用いる。補正ゲイン算出部３２は、式（３）乃至（５）によって、撮像画素群と空間位相が等しい光強度検出画素の画素値、すなわち画素Ｐ(m,n-2)，Ｐ(m,n)，Ｐ(m,n+2)の画素値ａ(m,n-2)，ａ(m,n)，ａ(m,n+2)を算出する。さらに、補正ゲイン算出部３２は、式（６）に示す演算を行い撮像画素群と空間位相が等しい光強度検出画素群の画素値ＷＴａを算出する。
　ａ(m,n-2)＝０．５×ａ(m,n-3)＋０．５×ａ(m,n-1)
　　　　　　　　　　　　　　　　　　　　　・・・（３）
　ａ(m,n)　＝０．５×ａ(m,n-1)＋０．５×ａ(m,n+1)
　　　　　　　　　　　　　　　　　　　　　・・・（４）
　ａ(m,n+2)＝０．５×ａ(m,n+1)＋０．５×ａ(m,n+3)
　　　　　　　　　　　　　　　　　　　　　・・・（５）
　ＷＴａ＝（ａ(m,n-2)＋ａ(m,n)＋ａ(m,n+2)）／３
　　　　　　　　　　　　　　　　　　　　　・・・（６）
　補正ゲイン算出部３２は算出したフリッカー補正ゲイン、すなわち式（７）に示すフリッカー補正ゲインＨＧ(m,n)をフリッカー補正部３３へ出力する。
ＨＧ(m,n)＝（ＷＴａ／ＷＴｒ）
　　　　＝（０．５×ａ(m,n-3)＋ａ(m,n-1)＋ａ(m,n+1)＋０．５×ａ(m,n+3))／（ｒ(m,n-2)＋ｒ(m,n)＋ｒ(m,n+2)）　・・（７）
　フリッカー補正部３３は、補正ゲイン算出部３２で算出されたフリッカー補正ゲインＨＧ(m,n)を用いて、フリッカー補正対象である画素Ｐ(m,n)の撮像画素の画素信号に対するゲイン調整を行う。すなわち、フリッカー補正部３３は、式（８）の演算を行い、フリッカー補正対象の撮像画素における補正後の画素値ｒｃ(m,n)を算出する。
　ｒｃ(m,n)＝ＨＧ(m,n)×ｒ(m,n)　　・・・（８）
　画像信号処理部３０は、上述の処理を各撮像画素に対して行うことで、フリッカーの影響が低減された画像信号を生成する。
　図４は、撮像装置の第１の動作を示すフローチャートである。ステップＳＴ１で撮像装置は露光期間とフレーム周波数を設定する。撮像装置１０の制御部４５は、撮像画素の露光期間を設定されているシャッター速度に対応する期間に設定する。また、制御部４５は、光強度検出画素の露光期間をフリッカー周期期間に設定する。さらに、制御部４５は撮像画のフレーム周波数ＦＶをユーザ等が設定したフレームレートに応じて設定してステップＳＴ２に進む。
　ステップＳＴ２で撮像装置は撮像画素と光強度検出画素を配置する。撮像装置１０の制御部４５は、撮像部２１の撮像面内に上述のように撮像画素と光強度検出画素を設けて、撮像画素と光強度検出画素の露光期間をステップＳＴ１で設定した露光期間として駆動制御を行いステップＳＴ３に進む。
　ステップＳＴ３で撮像装置はフリッカー補正対象の撮像画素のフリッカー補正ゲインを算出する。撮像装置１０の補正ゲイン算出部３２は、フリッカー補正対象の撮像画素を基準とした所定の画素範囲内における撮像画素の画素信号と光強度検出画素の画素信号を用いて、上述のようにフリッカー補正ゲインを算出してステップＳＴ４に進む。
　ステップＳＴ４で撮像装置はフリッカー補正対象の撮像画素のフリッカー補正を行う。撮像装置１０のフリッカー補正部３３は、ステップＳＴ３で算出されたフリッカー補正ゲインを用いてフリッカー補正対象の撮像画素のゲイン調整を行い、フリッカーの影響を補正した画素信号を生成してステップＳＴ５に進む。
　ステップＳＴ５で撮像装置は画面内の各撮像画素のフリッカー補正が完了したか判別する。撮像装置１０の画像信号処理部３０は、画面内の各撮像画素のフリッカー補正が完了していない場合はステップＳＴ６に進み、画面内の各撮像画素のフリッカー補正が完了した場合はステップＳＴ7に進む。
　ステップＳＴ６で撮像装置はフリッカー補正対象の撮像画素を更新する。撮像装置１０の画像信号処理部３０は、撮像画素のフリッカー補正が行われていない撮像画素を新たなフリッカー補正対象の撮像画素に設定してステップＳＴ３に戻る。
　ステップＳＴ７で撮像装置は撮像画の終了であるか判別する。撮像装置１０の制御部４５は、フリッカー補正を行う撮像画が終了していない場合はステップＳＴ８に進み、フリッカー補正を行う撮像画が終了した場合例えば撮像の終了操作が行われた場合はフリッカー補正動作を終了する。
　ステップＳＴ８で撮像装置は新たな撮像画にフリッカー補正対象の撮像画素を設定する。撮像装置１０の画像信号処理部３０は、新たなフレームの撮像画にフリッカー補正対象の撮像画素を設定してステップＳＴ３に戻る。
　このように、撮像装置の制御部は、撮像画面内に撮像画素と光強度検出画素を設けて、撮像画素の露光期間はシャッター速度に応じた期間として、光強度検出画素の露光期間はフリッカー周期期間とする。さらに、補正ゲイン算出部は、フリッカー補正対象の撮像画素を基準とした所定の画素範囲内の撮像画素と、フリッカー補正対象の撮像画素と露光開始タイミングが等しい光強度検出画素を用いてフリッカー補正ゲインを算出する。また、フリッカー補正部は、算出したフリッカー補正ゲインでフリッカー補正対象の撮像画素のゲイン調整を行う。したがって、照明装置と被写体との位置関係にかかわらず照明光の強度の変動の影響が低減されている撮像画を得られるようになる。
　図５は、被写体と照明装置と撮像装置の配置を例示しており、被写体ＯＢa，ＯＢbは、例えば照明光の強度の変化を生じない照明装置ＬＴsと照明光の強度の変化を生じる照明装置ＬＴfを用いて照明が行われている。撮像装置１０は、照明装置ＬＴs，ＬＴfによって照明が行われている被写体ＯＢa，ＯＢbを撮像する。
　図６は、フリッカー補正動作を説明するための図である。図６の（ａ）は、照明装置ＬＴsの照明光の強度ＩＬＴs、照明装置ＬＴfの照明光の強度ＩＬＴfと、被写体ＯＢaの照度ＩＬｏｂaと被写体ＯＢbの照度ＩＬｏｂbを例示している。図６の（ｂ）は露光期間ＴＦ１の撮像画ＧＦ1を示しており、図６の（ｃ）は露光期間ＴＦ２の撮像画ＧＦ2を示している。露光期間ＴＦ１と露光期間ＴＦ２は期間の長さが等しく、照明装置ＬＴfの照明光の強度ＩＬＴf2の変化に対する位相が異なる。ここで、図６の（ａ）に示す場合、露光期間ＴＦ２では、照明装置ＬＴfの照明光の強度ＩＬＴfが露光期間ＴＦ１よりも低下している。このため、図６の（ｃ）に示す撮像画ＧＦ2における被写体ＯＢa，ＯＢbの画像は、図６の（ｂ）に示す撮像画ＧＦ1における被写体ＯＢa，ＯＢbの画像よりも暗くなる。
　ここで、従来の技術のようにフォトダイオードを用いて検出した照明装置の照明光の強度変化パターンに基づいた撮像信号の補正を行い、例えばフリッカー補正ゲインＨＧpaでフリッカー補正を行うと、図６の（ｄ）に示すように、フリッカー補正後の撮像画ＧＦpaにおける被写体ＯＢaを撮像画ＧＦ1における被写体ＯＢaの明るさに補正できる。しかし、被写体ＯＢbの明るさの変化は被写体ＯＢaの明るさの変化よりも小さいため、フリッカー補正ゲインＨＧpaでフリッカー補正が行われると、撮像画ＧＦpaにおける被写体ＯＢbは撮像画ＧＦ1における被写体ＯＢbよりも明るくなってしまう。
　また、例えばフリッカー補正ゲインＨＧpbでフリッカー補正を行うと、図６の（ｅ）に示すように、フリッカー補正後の撮像画ＧＦpbにおける被写体ＯＢbを撮像画ＧＦ1における被写体ＯＢbの明るさに補正できる。しかし、被写体ＯＢbの明るさの変化は被写体ＯＢaの明るさの変化よりも小さいため、フリッカー補正ゲインＨＧpbでフリッカー補正が行われると、撮像画ＧＦpbにおける被写体ＯＢaは撮像画ＧＦ1における被写体ＯＢaよりも暗い状態となる。
　本願の技術の撮像装置では、上述のようにフリッカー補正対象の撮像画素毎にフリッカー補正ゲインを算出して、フリッカー補正部は算出されたフリッカー補正ゲインでフリッカー補正対象の撮像画素のゲイン調整を行う。したがって、露光期間が照明装置ＬＴfの照明光の強度ＩＬＴf2の変化におけるいずれのタイミングであっても、図６の（ｆ）に示すように、フリッカー補正後の撮像画ＧＦqにおける被写体ＯＢa，ＯＢbの画像を、照明光の強度の変動による影響のない明るさにできる。すなわち、照明装置と被写体との位置関係にかかわらず照明光の強度の変動の影響が低減されている撮像画を取得できるようになる。
　＜１－３．撮像装置の第２の動作＞
　ところで、上述の第１の動作において、撮像画のフレーム周波数がフリッカー周波数よりも高い周波数であると、光強度検出画素でフリッカー周期期間の露光が完了する前に、撮像画像で次のフレームの露光が開始されてしまう。このため、撮像画のフレーム毎に光強度検出画素の画素信号を生成することができないため、撮像画毎にフリッカー補正ゲインを算出することができなくなってしまう。そこで、撮像装置の第２の動作では、撮像画のフレーム周波数がフリッカー周波数よりも高い周波数でもフリッカー補正を行える動作について説明する。
　図７は、第２の動作を説明するための図である。第２の動作において、撮像部２１では画素単位で露光時間の設定が可能とされている。また、撮像部２１の撮像面内には、図７の（ａ）に示すように、撮像画素と２種類の光強度検出画素が水平方向に交互に設けられている。なお、２種類の光強度検出画素を第１光強度検出画素と第２光強度検出画素とする。
　図７の（ｂ）は照明光の強度変化を示している。また、図７の（ｃ）はラインＬｍにおける撮像画素の露光期間、図７の（ｄ）はラインＬｍにおける第１光強度検出画素の露光期間、図７の（ｅ）はラインＬｍにおける第２光強度検出画素の露光期間を示している。また、図７の（ｆ）はラインＬｍ＋１における撮像画素の露光期間、図７の（ｇ）はラインＬｍ＋１における光強度検出画素の露光期間、図７の（ｈ）はラインＬｍ＋１における第２光強度検出画素の露光期間を示している。
　制御部４５は、撮像部２１の画素を図７の（ａ）に示すように撮像画素と光強度検出画素に設定する。さらに、制御部４５は、撮像画素の露光期間をシャッター速度に応じた期間として、光強度検出画素の露光期間をユーザが指定したフリッカー周波数の１周期期間として撮像部２１を動作させる。また、制御部４５は、撮像画素の露光期間の露光開始タイミングと第１光強度検出画素の露光期間の開始タイミングを同期させる。また、制御部４５は、撮像画素の次フレームの露光期間の露光開始タイミングと第２光強度検出画素の露光期間の開始タイミングを同期させる。さらに、制御部４５は、撮像画素の次フレームの露光期間の露光開始タイミングと第１光強度検出画素の露光期間の開始タイミングを同期させる。以下同様に、制御部４５は、第１光強度検出画素と第２光強度検出画素の露光期間を、撮像画のフレーム毎に切り替える。
　図７では、シャッター速度＝１／４００秒、フリッカー周波数＝１００Ｈｚ（１／１００秒）の場合を示している。また、撮像画のフレーム周波数は、フリッカー周波数よりも高い周波数例えば１３３Ｈｚに設定されている。
　画像信号処理部３０は、撮像部２１で図７に示す撮像動作を行い生成された画素信号を用いてフリッカー補正を行う。図８は、フリッカー補正対象の撮像画素を基準とした所定の画素範囲を例示した図である。なお、図８では、ラインＬｍにおけるｎ番目の画素Ｐ(m,n)である撮像画素をフリッカー補正対象としており、画素Ｐ(m,n-5)～画素Ｐ(m,n+5)を所定の画素範囲ＡWTとしている。また、撮像画素である画素Ｐ(m,n-3)，Ｐ(m,n)，Ｐ(m,n+3)の画素値をｒ(m,n-3)，ｒ(m,n)，ｒ(m,n+3)とする。また、第１光強度検出画素である画素Ｐ(m,n-5)，Ｐ(m,n-2)，Ｐ(m,n+1)，Ｐ(m,n+4)の画素値をａ(m,n-5)，ａ(m,n-2)，ａ(m,n+1)，ａ(m,n+4)とする。また、第２光強度検出画素である画素Ｐ(m,n-4)，Ｐ(m,n-1)，Ｐ(m,n+2)，Ｐ(m,n+5)の画素値をａ(m,n-4)，ａ(m,n-1)，ａ(m,n+2)，ａ(m,n+5)とする。
　画像信号処理部３０の補正ゲイン算出部３２は、式（９）に基づきフリッカー補正ゲインを算出する。
フリッカー補正ゲイン＝（第１または第２光強度検出画素群の画素値ＷＴａ／撮像画素群の画素値ＷＴｒ）　・・・（９）
　撮像画素群の画素値ＷＴｒは、例えば式（１０）に示すように、所定の画素範囲内の撮像画素の平均画素値を用いる。
　　ＷＴｒ＝（ｒ(m,n-3)＋ｒ(m,n)＋ｒ(m,n+3)）／３　　・・・（１０）
　光強度検出画素群の画素値ＷＴａは、光強度検出画素群の画素値を用いて線形補間を行い所定の画素範囲内における撮像画素群と空間位相が等しい光強度検出画素群の画素値を算出して、算出した画素値の平均値を用いる。ここで、撮像画素の露光期間の開始タイミングが第１光強度検出画素の露光開始タイミングと等しい場合、補正ゲイン算出部３２は、第１光強度検出画素の画素値を用いて画素値ＷＴａを算出する。また、撮像画素の露光期間の開始タイミングが第２光強度検出画素の露光開始タイミングと等しい場合、補正ゲイン算出部３２は、第２光強度検出画素の画素値を用いて画素値ＷＴａを算出する。なお、図８では、第１光強度検出画素の画素値を用いて画素値ＷＴａを算出する場合を示している。
　補正ゲイン算出部３２は、式（１１）乃至（１３）によって画素Ｐ(m,n-3)，Ｐ(m,n)，Ｐ(m,n+3)の画素値ａ(m,n-3)，ａ(m,n)，ａ(m,n+3)を算出する。さらに、補正ゲイン算出部３２は、式（１４）に示す演算を行い撮像画素群と空間位相が等しい光強度検出画素群の画素値ＷＴａを算出する。
　ａ(m,n-3)＝０．３３３×ａ(m,n-5)＋０．６６７×ａ(m,n-2)
　　　　　　　　　　　　　　　　　　　　　　　・・・（１１）
　ａ(m,n)　＝０．３３３×ａ(m,n-2)＋０．６６７×ａ(m,n+1)
　　　　　　　　　　　　　　　　　　　　　　　・・・（１２）
　ａ(m,n+3)＝０．３３３×ａ(m,n+1)＋０．６６７×ａ(m,n+4)
　　　　　　　　　　　　　　　　　　　　　　　・・・（１３）
　ＷＴａ＝（ａ(m,n-3)＋ａ(m,n)＋ａ(m,n+3)）／３　
　　　　　　　　　　　　　　　　　　　　　　　・・・（１４）
　補正ゲイン算出部３２は算出したフリッカー補正ゲイン、すなわち式（１５）に示すフリッカー補正ゲインＨＧ(m,n)をフリッカー補正部３３へ出力する。
　ＨＧ(m,n)＝（ＷＴａ／ＷＴｒ）
　　　　　＝（０．３３３×ａ(m,n-5)＋ａ(m,n-2)＋ａ(m,n+1)＋０．６６７×ａ(m,n+4)）／（ｒ(m,n-3)＋ｒ(m,n)＋ｒ(m,n+3)）　・・・（１５）
　フリッカー補正部３３は、補正ゲイン算出部３２で算出されたフリッカー補正ゲインＨＧ(m,n)を用いて、フリッカー補正対象である画素Ｐ(m,n)の撮像画素に対するゲイン調整を行う。すなわち、フリッカー補正部３３は、上述の式（８）の演算を行い、フリッカー補正対象の撮像画素における補正後の画素値ｒｃ(m,n)を算出する。
　画像信号処理部３０は、上述の処理を各撮像画素に対して行うことで、フリッカーの影響が低減された画像信号を生成する。なお、撮像装置の第２の動作は、図４に示すフローチャートと同様な処理を行い、ステップＳＴ１では、上述のように撮像装置は撮像画素と光強度検出画素の露光期間を設定する。さらに、第２の動作では、第１光強度検出画素と第２光強度検出画素の露光開始タイミングを図７に示すように設定してステップＳＴ２に進む。また、ステップＳＴ３では、フリッカー補正対象の撮像画素の露光開始タイミングと等しいタイミングで露光が開始された第１光強度検出画素または第２光強度検出画素の画素信号を用いてフリッカー補正ゲインを算出すればよい。
　このように、撮像装置の制御部は、撮像画面内に撮像画素と複数種類の光強度検出画素を設けて、撮像画素の露光期間はシャッター速度に応じた期間として、複数の光強度検出画素の露光期間はフリッカー周期期間とする。さらに、補正ゲイン算出部は、フリッカー補正対象の撮像画素を基準とした所定の画素範囲内の撮像画素と、フリッカー補正対象の撮像画素と露光開始タイミングが等しい光強度検出画素を用いてフリッカー補正ゲインを算出する。また、フリッカー補正部は、算出したフリッカー補正ゲインでフリッカー補正対象の撮像画素のゲイン調整を行う。したがって、撮像画のフレーム周波数がフリッカー周波数よりも高い周波数である場合でも、照明装置と被写体との位置関係にかかわらず照明光の強度の変動の影響が低減されている撮像画を得られるようになる。
　＜１－４．撮像装置の第３の動作＞
　次に、第３の動作では、撮像部の構成および動作を容易とする場合について説明する。上述の第１および第２の動作では、撮像画素と光強度検出画素を水平方向に並べていることから画素単位で露光期間の制御を可能とする構成が必要となり、撮像部２１の構成が複雑となってしまう。そこで、第３の動作では、垂直方向に撮像画素と光強度検出画素を設けることで、露光期間の制御をライン単位で行えるようにして、第１および第２の動作に比べて撮像部の構成や動作制御を容易とする場合について説明する。なお、第３の動作では、撮像画のフレーム周波数がフリッカー周波数よりも高い周波数に対応できる動作について説明する。
　図９は、第３の動作を説明するための図である。第３の動作において、撮像部２１ではライン単位で露光時間の設定が可能とされている。撮像部２１の撮像面内には、図９の（ａ）に示すように、撮像画素のラインと２種類の光強度検出画素の種類毎のラインが垂直方向に交互に設けられている。なお、一方のラインの光強度検出画素を第１光強度検出画素、他方のラインの光強度検出画素を第２光強度検出画素とする。
　図９の（ｂ）は照明光の強度変化を示している。また、図９の（ｃ）はラインＬｍ－３の撮像画素の露光期間、図９の（ｄ）はラインＬｍ－２の第１光強度検出画素の露光期間、図９の（ｅ）はラインＬｍ－１の第２光強度検出画素の露光期間を示している。また、図９の（ｆ）はラインＬｍの撮像画素の露光期間、図９の（ｇ）はラインＬｍ＋１の第１光強度検出画素の露光期間、図９の（ｈ）はラインＬｍ＋２の第２光強度検出画素の露光期間を示している。
　制御部４５は、撮像部２１の画素をライン単位で図９の（ａ）に示すように撮像画素と光強度検出画素に設定する。撮像画素の露光期間をシャッター速度に応じた期間として、光強度検出画素の露光期間をユーザが指定したフリッカー周波数の周期期間として撮像部２１を動作させる。また、制御部４５は、撮像画素の露光期間の露光開始タイミングと第１光強度検出画素のラインの露光期間の開始タイミングを同期させる。また、制御部４５は、撮像画素の次フレームの露光期間の露光開始タイミングと第２光強度検出画素のラインの露光期間の開始タイミングを同期させる。さらに、制御部４５は、撮像画素の次フレームの露光期間の露光開始タイミングと第１光強度検出画素のラインの露光期間の開始タイミングを同期させる。以下同様に、制御部４５は、第１光強度検出画素のラインと第２光強度検出画素のラインの露光期間を、撮像画のフレーム毎に切り替える。
　図９では、シャッター速度＝１／４００秒、フリッカー周波数＝１００Ｈｚ（１／１００秒）の場合を示している。また、撮像画のフレーム周波数は、フリッカー周波数よりも高い周波数例えば１３３Ｈｚに設定されている。
　画像信号処理部３０は、撮像部２１で図９に示す撮像動作を行い生成された画素信号を用いてフリッカー補正を行う。図１０は、フリッカー補正対象の撮像画素を基準とした所定の画素範囲を例示した図である。なお、図１０では、ラインＬｍにおけるｎ番目の画素Ｐ(m,n)である撮像画素をフリッカー補正対象としており、一点鎖線で示す画素Ｐ(m,n)を中心とした垂直方向が５ラインで水平方向が３画素の範囲を所定の画素範囲ＡWTとしている。また、フリッカー補正対象の画素Ｐ(m,n)の画素値をｒ(m,n)，両サイドの撮像画素の画素値をｒ(m,n-1)，ｒ(m,n+1)とする。また、第１光強度検出画素であるラインＬｍ－２の画素の画素値をａ(m-2,n-1)，ａ(m-2,n)，ａ(m-2,n+1)、第２光強度検出画素であるラインＬｍ－１の画素値をａ(m-1,n-1)，ａ(m-1,n)，ａ(m-1,n+1)とする。さらに、第１光強度検出画素であるラインＬｍ＋１の画素の画素値をａ(m+1,n-1)，ａ(m+1,n)，ａ(m+1,n+1)、第２光強度検出画素であるラインＬｍ＋２の画素値をａ(m+2,n-1)，ａ(m+2,n)，ａ(m+2,n+1)とする。
　画像信号処理部３０の補正ゲイン算出部３２は、式（１６）に基づきフリッカー補正ゲインを算出する。
フリッカー補正ゲイン＝（第１または第２光強度検出画素群の画素値ＷＴａ／撮像画素群の画素値ＷＴｒ）　・・・（１６）
　撮像画素群の画素値ＷＴｒは、例えば式（１７）に示すように、所定の画素範囲内の撮像画素の平均画素値を用いる。
　　ＷＴｒ＝（ｒ(m,n-1)＋ｒ(m,n)＋ｒ(m,n+1)）／３　　・・・（１７）
　光強度検出画素群の画素値ＷＴａは、光強度検出画素群の画素値を用いて線形補間を行い所定の画素範囲内における撮像画素群と空間位相が等しい光強度検出画素群の画素値を算出して、算出した画素値の平均値を用いる。ここで、撮像画素の露光期間の開始タイミングが第１光強度検出画素の露光開始タイミングと等しい場合、補正ゲイン算出部３２は、第１光強度検出画素の画素値を用いて画素値ＷＴａを算出する。また、撮像画素の露光期間の開始タイミングが第２光強度検出画素の露光開始タイミングと等しい場合、補正ゲイン算出部３２は、第２光強度検出画素の画素値を用いて画素値ＷＴａを算出する。なお、図１０では、第１光強度検出画素の画素値を用いて画素値ＷＴａを算出する場合を示している。
　補正ゲイン算出部３２は、式（１８）乃至（２０）によって撮像画素と空間位相が等しい光強度検出画素の画素値ａ(m,n-1)，ａ(m,n)，ａ(m,n+1)を算出する。さらに、補正ゲイン算出部３２は、式（２１）に示す演算を行い撮像画素群と空間位相が等しい光強度検出画素群の画素値ＷＴａを算出する。
　ａ(m,n-1)＝０．３３３×ａ(m-2,n-1)＋０．６６７×ａ(m+1,n-1)
                                             　・・・（１８）
　ａ(m,n)　＝０．３３３×ａ(m-2,n)　＋０．６６７×ａ(m+1,n)
                                           　　・・・（１９）
　ａ(m,n+1)＝０．３３３×ａ(m-2,n+1)＋０．６６７×ａ(m+1,n+1)
                                             　・・・（２０）
　ＷＴａ＝（ａ(m,n-1)＋ａ(m,n)＋ａ(m,n+1)）／３
                                             　・・・（２１）
　補正ゲイン算出部３２は算出したフリッカー補正ゲイン、すなわち式（２２）に示すフリッカー補正ゲインＨＧ(m,n)をフリッカー補正部３３へ出力する。
　ＨＧ(m,n)＝（ＷＴａ／ＷＴｒ）
　　　　 ＝（０．３３３×（ａ(m-2,n-1)＋ａ(m-2,n)＋ａ(m-2,n+1)）＋０．６６７×（ａ(m+1,n-1)＋ａ(m+1,n)＋ａ(m+1,n+1)））／（ｒ(m,n-3)＋ｒ(m,n)＋ｒ(m,n+3)）　・・・（２２）
　なお、図１０では、水平方向が３画素で垂直方向が５画素である所定の画素範囲内の撮像画素群と光検出画素群の画素信号を用いてフリッカー補正対象の撮像画素に対するフリッカー補正ゲインを算出する場合を示した。しかし、所定の画素範囲は、図１０に示す範囲に限られない。例えば水平方向を１画素または５画素等の範囲としてフリッカー補正ゲインを算出してもよい。なお、所定の画素範囲の水平方向を１画素とすると、フリッカー補正対象の撮像画素の画素信号にノイズ等が重畳している場合、フリッカー補正ゲインは適正なゲイン値とならない場合がある。このため、水平方向に並ぶ複数の撮像画素の画素信号を用いることで、ノイズ等の影響を軽減してフリッカー補正ゲインを安定して算出できるようになる。
　フリッカー補正部３３は、補正ゲイン算出部３２で算出されたフリッカー補正ゲインＨＧ(m,n)を用いて、フリッカー補正対象である画素Ｐ(m,n)の撮像画素に対するゲイン調整を行う。すなわち、フリッカー補正部３３は、上述の式（８）の演算を行い、フリッカー補正対象の撮像画素における補正後の画素値ｒｃ(m,n)を算出する。
　画像信号処理部３０は、上述の処理を各撮像画素に対して行うことで、フリッカーの影響が低減された画像信号を生成する。なお、撮像装置の第３の動作は、図４に示すフローチャートと同様な処理を行い、ステップＳＴ１では、上述のように撮像装置は撮像画素と光強度検出画素の露光期間をライン単位で設定する。さらに、第３の動作では、第１光強度検出画素と第２光強度検出画素の露光開始タイミングを図９に示すように設定してステップＳＴ２に進む。また、ステップＳＴ３では、フリッカー補正対象の撮像画素の露光開始タイミングと等しいタイミングで露光が開始された第１光強度検出画素のラインまたは第２光強度検出画素のラインの画素信号を用いてフリッカー補正ゲインを算出すればよい。
　このように、撮像装置の制御部は、撮像画面内に撮像画素と複数種類の光強度検出画素をライン単位で設けて、撮像画素の露光期間はシャッター速度に応じた期間として、複数種類の光強度検出画素の露光期間はフリッカー周期期間とする。また、補正ゲイン算出部は、フリッカー補正対象の撮像画素を基準とした所定の画素範囲内の撮像画素と、フリッカー補正対象の撮像画素と露光開始タイミングが等しい光強度検出画素を用いてフリッカー補正ゲインを算出する。さらに、フリッカー補正部は、算出されたフリッカー補正ゲインでフリッカー補正対象の撮像画素のゲイン調整を行う。したがって、撮像画のフレーム周波数がフリッカー周波数よりも高い周波数である場合でも、照明装置と被写体との位置関係にかかわらず照明光の強度の変動の影響が低減されている撮像画を、簡単な構成で得られるようになる。
　＜１－５．撮像装置の第４の動作＞
　ところで、第１乃至第３の動作では、撮像画素と光強度検出画素の露光開始タイミングを一致させた場合を例示した。ここで、撮像画素と光強度検出画素の露光期間は、シャッター速度に応じた露光期間とフリッカー周期期間の露光期間であればよく、露光開始タイミングを一致させる場合に限られない。例えば露光終了または露光期間の中央を一致させてもよい。次に、第４の動作では、シャッター速度に応じた露光期間の中央とフリッカー周期期間である露光期間の中央のタイミングを一致させた場合について説明する。なお、撮像部の画素配置は、図９に示す第３の動作の場合と等しい配置として説明を行う。
　図１１は、第４の動作を説明するための図である。図１１の（ａ）は照明光の強度変化を示している。また、図１１の（ｂ）はラインＬｍ－３の撮像画素の露光期間、図１１の（ｃ）はラインＬｍ－２の第１光強度検出画素の露光期間、図１１の（ｄ）はラインＬｍ－１のる第２光強度検出画素の露光期間を示している。また、図１１の（ｅ）はラインＬｍの撮像画素の露光期間、図１１の（ｆ）はラインＬｍ＋１の第１光強度検出画素の露光期間、図１１の（ｇ）はラインＬｍ＋２の第２光強度検出画素の露光期間を示している。なお、撮像部２１において、各画素のアドレスを指定して個々の画素信号を読み出すＸＹアドレス方式が用いられている場合、露光タイミングがライン毎に順次ずれを生じている。
　制御部４５は、撮像画素の露光期間をシャッター速度に応じた期間として、光強度検出画素の露光期間をユーザが指定したフリッカー周波数の周期期間として撮像部２１を動作させる。また、制御部４５は、撮像画素の露光期間の中央と第１光強度検出画素の露光期間の中央を同一タイミングとする。また、制御部４５は、撮像画素の次フレームの露光期間の中央と第２光強度検出画素の露光期間の中央を同一タイミングとする。さらに、制御部４５は、撮像画素の次フレームの露光期間の中央と第１光強度検出画素の露光期間の中央を同一タイミングとする。以下同様に、第１光強度検出画素と第２光強度検出画素の露光期間を、撮像画のフレーム毎に切り替える。
　図１１は、シャッター速度＝１／４００秒、フリッカー周波数＝１００Ｈｚ（１／１００秒）の場合を示している。また、撮像画のフレーム周波数は、フリッカー周波数よりも高い周波数例えば１３３Ｈｚに設定されている。
　このように、シャッター速度に応じた露光期間における中央とフリッカー周期期間である露光期間における中央のタイミングを一致させることで、撮像画素と光強度検出画素の露光期間のずれを少なくできる。また、第４の動作では、第３の動作と同様な作用効果を得ることができる。
　＜１－６．撮像装置の第５の動作＞
　次に、撮像装置の第５の動作では、撮像画のフレーム周波数に応じて、撮像部の動作とフリッカー補正ゲインの算出動作を切り替える場合について説明する。第５の動作では、撮像画のフレーム周期とフリッカーの周期に基づき、光強度検出画素の画素群を１または複数設けて、撮像画のフレーム毎に光強度検出画素のいずれかの画素群でフリッカー周期期間である露光期間の画素信号を得るようにする。なお、説明を容易とするため、撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬの４倍を超えないとする。また、光強度検出画素は水平方向または垂直方向のいずれの方向に設けられてもよい。
　図１２は、第５の動作を示すフローチャートである。ステップＳＴ１１で撮像装置は露光期間とフレーム周波数を設定する。撮像装置１０の制御部４５は、撮像画素の露光期間をシャッター速度に対応する露光期間に設定する。また、制御部４５は光強度検出画素の露光期間をユーザ等が設定したフリッカー周波数の１周期期間に設定する。さらに、制御部４５は撮像画のフレーム周波数ＦＶをユーザ等が設定したフレームレートに対応する周波数に設定してステップＳＴ１２に進む。
　ステップＳＴ１２で撮像装置は撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬを超えるか判別する。制御部４５はフレーム周波数ＦＶとフリッカー周波数ＦＬを比較して、撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬを超えていない場合ステップＳＴ１３に進む、また制御部４５は、撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬを超えている場合ステップＳＴ１４に進む。
　ステップＳＴ１３で撮像装置は第１補正モードでフリッカー補正を行う。撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬを超えていない場合は、上述の第１の動作と同様にフリッカー補正を行う。具体的には図４のステップＳＴ２からステップＳＴ８の処理を行い、ステップＳＴ２において、制御部４５は第１の動作で説明したように１種類の光強度検出画素を設けて、撮像画素でシャッター速度に応じた露光期間の画素信号と光強度検出画素でフリッカー周期期間である露光期間の画素信号を生成するように撮像部２１を動作させる。また、第１補正モードにおいて、画像信号処理部３０は、光強度検出画素群の画素信号を用いて線形補間を行い所定の画素範囲内における撮像画素群と空間位相が等しい光強度検出画素群の画素信号を生成して、撮像画素群の画素信号と撮像画素群と空間位相が等しい光強度検出画素群の画素信号に基づいてフリッカー補正ゲインを算出する。さらに、画像信号処理部３０は、算出したフリッカー補正ゲインを用いてフリッカー補正対象の撮像画素の画素信号を補正する。なお、図１３は画素配置を例示しており、第１補正モードでは、図１３の（ａ）に示すように、垂直方向に撮像画素のラインと光強度検出画素のラインを設けて、フリッカー補正対象の撮像画素を基準として垂直方向が所定ラインで水平方向が所定画素数である所定の画素範囲の画素信号を用いてフリッカー補正ゲインを算出してもよい。
　ステップＳＴ１２からステップＳＴ１４に進むと、ステップＳＴ１４で撮像装置は撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬの２倍を超えるか判別する。制御部４５は撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬの２倍を超えていない場合ステップＳＴ１５に進み、撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬの２倍を超えている場合ステップＳＴ１６に進む。
　ステップＳＴ１５で撮像装置は第２補正モードでフリッカー補正を行う。撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬを超えており、フリッカー周波数ＦＬの２倍を超えていない場合、撮像装置は上述の第２の動作と同様にフリッカー補正を行う。具体的には図４のステップＳＴ２からステップＳＴ８の処理を行い、ステップＳＴ２において、制御部４５は第２の動作で説明したように２種類の光強度検出画素を設けて、撮像画素でシャッター速度に応じた露光期間の画素信号と光強度検出画素でフリッカー周期期間である露光期間の画素信号を生成するように撮像部２１を動作させる。第２補正モードにおいて、画像信号処理部３０は、フリッカー周期期間である露光期間の画素信号が得られた光強度検出画素群の画素信号を用いて線形補間を行い所定の画素範囲内における撮像画素群と空間位相が等しい光強度検出画素群の画素信号を生成して、撮像画素群の画素信号と撮像画素群と空間位相が等しい光強度検出画素群の画素信号に基づいてフリッカー補正ゲインを算出する。さらに、画像信号処理部３０は、算出したフリッカー補正ゲインを用いてフリッカー補正対象の撮像画素の画素信号を補正する。なお、第２補正モードの補正動作では、図１３の（ｂ）に示すように垂直方向に撮像画素のラインと２種類の光強度検出画素をライン単位で設けて、フリッカー補正対象の撮像画素を基準として垂直方向が所定ラインで水平方向が所定画素数である所定の画素範囲の画素信号を用いてフリッカー補正ゲインを算出してもよい。
　ステップＳＴ１６で、撮像装置は第３補正モードでフリッカー補正を行う。撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬの２倍を超えている場合、４種類の光強度検出画素を設けてフリッカー補正を行う。具体的には図４のステップＳＴ２からステップＳＴ８の処理を行い、ステップＳＴ２において、制御部４５は４種類の光強度検出画素を設けて、撮像画素でシャッター速度に応じた露光期間の画素信号と光強度検出画素でフリッカー周期期間である露光期間の画素信号を生成するように撮像部２１を動作させる。第３補正モードにおいて、画像信号処理部３０は、フリッカー周期期間である露光期間の画素信号が得られた光強度検出画素群の画素信号を用いて線形補間を行い所定の画素範囲内における撮像画素群と空間位相が等しい光強度検出画素群の画素信号を生成して、撮像画素群の画素信号と撮像画素群と空間位相が等しい光強度検出画素群の画素信号に基づいてフリッカー補正ゲインを算出する。さらに、画像信号処理部３０は、算出したフリッカー補正ゲインを用いてフリッカー補正対象の撮像画素の画素信号を補正する。なお、第３補正モードの補正動作では、図１３の（ｃ）に示すように垂直方向に撮像画素のラインと４種類の光強度検出画素をライン単位で設けて、フリッカー補正対象の撮像画素を基準として垂直方向が所定ラインで水平方向が所定画素数である所定の画素範囲の画素信号を用いてフリッカー補正ゲインを算出してもよい。
　また、フローチャートには示していないが、撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬの４倍を超えて８倍を超えない場合は８種類の光強度検出画素を設ければよい。また、撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬの８倍を超えて１６倍を超えない場合は１６種類の光強度検出画素を設ければよい。すなわち、撮像画のフレーム周波数とフリッカー周波数の関係に応じて、撮像画の１フレームに対してフリッカー周期期間を露光期間とした画素信号が得られるように光強度検出画素を設ける。
　このように、撮像装置の制御部は、撮像画のフレーム周波数とフリッカー周波数に応じて、撮像部の動作とフリッカー補正ゲインの算出動作を切り替えるようにすれば、種々のフレーム周波数に対応させてフリッカー補正を自動的に行うことができるようになる。
　＜２．第２の実施の形態＞
　次に第２の実施の形態では、カラー撮像画のフリッカー補正について説明する。
　＜２－１．撮像装置の構成＞
　図１４は、本技術の第２の実施の形態における撮像装置の構成を例示している。なお、図１に示す第１の実施の形態と対応する部分については同一符号を付している。
　撮像装置１０ａは、撮像部２１ａと画像信号処理部３０ａとユーザインタフェース（Ｉ／Ｆ）部４１および制御部４５を有している。また、撮像装置１０ａは、周辺部５０として記録部５１、信号出力部５２、表示部５３等が設けられてもよい。
　撮像部２１ａは、カラー撮像画を取得できるように色成分画素を用いて構成されている。例えば撮像部２１ａは赤色と青色と緑色の色成分画素がベイヤー（Bayer）配列で設けられており、後述するように色成分画素の画素ブロックを撮像画素または光強度検出画素の画素単位として用いる。撮像画素は、撮像画を取得するための画素であり、露光期間をシャッター速度に応じた期間として、露光期間の露光量に応じた画素信号を生成する。光強度検出画素は、照明光の強度を検出するための画素であり、露光期間をフリッカー周期期間として、露光期間の露光量に応じた画素信号を生成する。撮像部２１ａは、撮像画素と光強度画素で生成された画素信号を画像信号処理部３０ａへ出力する。
　画像信号処理部３０ａは、輝度算出部３１、補正ゲイン算出部３２、フリッカー補正部３３を有している。また、画像信号処理部３０ａにカラー画像信号生成部３４を設けてもよい。
　輝度算出部３１は、撮像部２１ａで生成された画素信号から撮像画素と光強度検出画素の輝度値をそれぞれ算出する。輝度算出部３１は、撮像画素または光強度検出画素の画素値として輝度値を用いて、輝度値の算出に用いた色成分画素の画素ブロックを撮像画素または光強度検出画素の画素対応ブロックとする。すなわち、輝度算出部３１は、画素対応ブロックの色成分画素を用いて撮像画素または光強度検出画素の輝度値を算出する。
　補正ゲイン算出部３２は、輝度算出部３１で算出された輝度値を用いて、撮像画素の輝度値の算出に用いた色成分画素に対するフリッカー補正ゲインを算出する。具体的には、補正ゲイン算出部３２は、フリッカー補正対象の撮像画素を基準とした所定の画素範囲内の撮像画素の画素信号と光強度検出画素の画素信号を用いて、撮像画素と空間位相が等しい光強度検出画素の画素信号を生成する。また、補正ゲイン算出部３２は、撮像画素と空間位相が等しい光強度検出画素の画素信号と撮像画素の画素信号の信号レベル比をフリッカー補正ゲインとする。補正ゲイン算出部３２は、算出したフリッカー補正ゲインをフリッカー補正部３３へ出力する。
　フリッカー補正部３３は、補正ゲイン算出部３２で算出されたフリッカー補正ゲインで、フリッカー補正対象の撮像画素に対応する画素ブロック内の色成分画素に対するゲイン調整を行い、フリッカーの補正が行われた画像信号を生成する。フリッカー補正部３３は、フリッカーの補正が行われた画素信号をカラー画像信号生成部３４や記録部５１、信号出力部５２へ出力する。
　カラー画像信号生成部３４は、フリッカーの補正が行われた画素信号を用いてデモザイク処理等を行い、カラー撮像画の画像信号を生成して、記録部５１、信号出力部５２、表示部５３等へ出力する。
　ユーザインタフェース部４１は操作スイッチや操作ボタン等を用いて構成されている。ユーザインタフェース部４１は、ユーザ操作に応じた操作信号を生成して制御部４５へ出力する。ユーザインタフェース部４１では、フリッカー周波数（または照明の商用電源周波数）のユーザ指定操作が可能とされている。
　制御部４５は、例えば制御プログラムを記憶するＲＯＭや一時的にデータを記憶するフラッシュメモリ等の記憶部が内蔵されたマイクロコンピュータを用いて構成されている。制御部４５は、制御プログラムを実行して、ユーザインタフェース部４１からの操作信号に基づき、ユーが所望する動作を撮像装置１０ａで行うように各部の動作を制御する。また、制御部４５は、ユーザ操作によって指定されたフリッカー周波数に対応するフリッカー補正が行われた画像信号を生成できるように、撮像部２１ａと画像信号処理部３０ａおよび周辺部５０の動作を制御する。また、制御部４５は、撮像部２１ａの画素を撮像画素または光強度検出画素に設定する。さらに、制御部４５は、撮像画素と光強度検出画素の露光タイミングと露光期間を個々に設定する。
　記録部５１は、画像信号処理部３０ａで生成されたフリッカー補正後の画素信号やカラー撮像画の画像信号を記録媒体に記録する。また、記録部５１は、記録媒体に記録されている画像信号を読み出して表示部５３へ出力する。さらに、記録部５１は、フリッカー補正後の画像信号の符号化処理を行い、符号化信号を生成して記録媒体に記録してもよく、記録媒体から読み出した符号化信号の復号処理によって得られた画像信号を表示部５３へ出力してもよい。
　信号出力部５２は、画像信号処理部３０ａで生成されたフリッカー補正後の画素信号またはカラー撮像画の画像信号を所定のフォーマットとして外部機器へ出力する。また、信号出力部５２は、カラー撮像画の画像信号の符号化処理を行い、符号化信号を外部機器へ出力してもよい。
　表示部５３は、画像信号処理部３０ａで生成されたカラー撮像画の画像信号、または記録部５１から読み出された画像信号に基づきカラー撮像画を表示する。また、表示部５３は、制御部４５からの制御信号に基づいてメニュー画面等の表示を行う。
　＜２－２．撮像装置の動作＞
　次に撮像装置の動作について説明する。図１５は、撮像画のフレーム周波数がフリッカー周波数よりも低い場合の撮像画素と光強度検出画素の配置を例示している。撮像部２１ａの撮像面内には、色成分画素がベイヤー配列で設けられている。具体的には、２×２画素を１または２つの画素ブロックとして、ブロック内の画素を赤色成分画素Ｒと青色成分画素Ｂおよび２つの緑色成分単位Ｇｒ，Ｇｂで構成して、赤色成分画素Ｒと青色成分画素Ｂが斜め方向に配されている。また、制御部４５は、各色成分画素を含む２×２画素の画素ブロックを撮像画素または光強度検出画素の画素単位とする。また、制御部４５は、１画素×２画素（または２画素×１画素）の画素ブロックを２つ用いることで各色成分画素を含むようになる４画素の画素ブロックを撮像画素または光強度検出画素の画素単位としてもよい。
　制御部４５は、撮像画のフレーム周波数がフリッカー周波数よりも低い場合、第１の実施の形態の例えば第１の動作と同様に撮像画素と光強度検出画素を水平方向に交互に設ける。この場合、撮像部２１ａでは画素単位で露光時間の設定が可能とされている。
　制御部４５は、各色成分画素を含む画素ブロックを画素単位として撮像画素と光強度検出画素を撮像部２１ａに設ける。図１５の（ａ）は、２×２画素を撮像画素または光強度検出画素に対応する画素ブロックとして、制御部４５は撮像画素と光強度検出画素を水平方向に交互に設けた場合を例示している。図１５の（ｂ）は、１画素（水平方向）×２画素（垂直方向）を撮像画素または光強度検出画素に対応する画素ブロックとして、撮像画素を水平方向に３画素毎に設けて、光強度検出画素を撮像画素と水平方向に隣接して設けることで、撮像画素と光強度検出画素を水平方向に交互に設けた場合を例示している。
　図１６は、撮像画のフレーム周波数がフリッカー周波数よりも高くフリッカー周波数の２倍よりも低い場合の撮像画素と光強度検出画素の配置を例示している。撮像部２１ａの撮像面内には、色成分画素がベイヤー配列で設けられている。具体的には、２×２画素を１または２つの画素ブロックとして、画素ブロック内の画素を赤色成分画素Ｒと青色成分画素Ｂおよび２つの緑色成分単位Ｇｒ，Ｇｂで構成して、赤色成分画素Ｒと青色成分画素Ｂが斜め方向に配されている。
　制御部４５は、撮像画のフレーム周波数がフリッカー周波数よりも高くフリッカー周波数の２倍よりも低い場合、第１の実施の形態の例えば第２の動作と同様に撮像画素と２画素の光強度検出画素を水平方向に交互に設ける。
　制御部４５は、各色成分画素を含む画素ブロックを画素単位として撮像画素と光強度検出画素を撮像部２１ａに設ける。図１６の（ａ）は、２×２画素を撮像画素または光強度検出画素に対応する画素ブロックとして、撮像画素と２つの光強度検出画素を水平方向に交互に設けた場合を例示している。図１６の（ｂ）は、１画素（水平方向）×２画素（垂直方向）を撮像画素または光強度検出画素に対応する画素ブロックとして、撮像画素を水平方向に３画素毎に設けて、２つの基準補正画素を撮像画素間に設けることで、撮像画素と２つの光強度検出画素を水平方向に交互に設けた場合を例示している。
　図１７は、撮像画のフレーム周波数がフリッカー周波数よりも高くフリッカー周波数の２倍よりも低い場合の撮像画素と光強度検出画素の他の配置を例示している。撮像部２１ａの撮像面内には、色成分画素がベイヤー配列で設けられている。具体的には、２×２画素を１または２つの画素ブロックとして、ブロック内の画素を赤色成分画素Ｒと青色成分画素Ｂおよび２つの緑色成分単位Ｇｒ，Ｇｂで構成して、赤色成分画素Ｒと青色成分画素Ｂが斜め方向に配されている。
　制御部４５は、撮像画のフレーム周波数がフリッカー周波数よりも高くフリッカー周波数の２倍よりも低い場合、第１の実施の形態の例えば第３の動作と同様に撮像画素と２画素の光強度検出画素を垂直方向に交互に設ける。
　制御部４５は、各色成分画素を含む画素ブロックを画素単位として撮像画素と光強度検出画素を撮像部２１ａに設ける。図１７の（ａ）は、２×２画素を撮像画素または光強度検出画素として、撮像画素と２つの光強度検出画素を垂直方向に交互に設けた場合を例示している。図１７の（ｂ）は、２画素（水平方向）×１画素（垂直方向）を撮像画素または光強度検出画素として、撮像画素を垂直方向に３画素毎に設けて、２つの基準補正画素を撮像画素間に設けることで、撮像画素と２つの光強度検出画素を垂直方向に交互に設けた場合を例示している。
　次に、第２の実施の形態のフリッカー補正ゲインの算出動作について、例えば２×２画素のブロックを撮像画素または光強度検出画素の画素単位とした場合のフリッカー補正ゲインの算出動作について図１８を用いて説明する。
　図１８は、第２の実施の形態のフリッカー補正ゲインの算出動作を説明するための図である。輝度算出部３１は、図１８の（ａ）に示すように、第１光強度検出画素であるラインＬj-2における２×２画素の画素ブロックの画素値から輝度値Ｙａ(j-2,x)を算出する。同様に、輝度算出部３１は、第２光強度検出画素であるラインＬj-1における２×２画素の画素ブロックの画素値から輝度値Ｙａ(j-1,x)を算出する。また、輝度算出部３１は、撮像画素であるラインＬjにおける２×２画素の画素ブロックの画素値から輝度値Ｙｒ(j,x)を算出する。同様に、輝度算出部３１は、他の２×２画素の画素ブロックの画素値から輝度値を算出する。
　補正ゲイン算出部３２は、輝度算出部３１で２×２画素の画素ブロック毎に算出された輝度値を用いて、補正対象のブロックに対するフリッカー補正ゲインを算出する。図１８の（ｂ）は、輝度算出部３１で算出された輝度値を示している。輝度算出部３１では、２×２画素の画素ブロック単位で輝度値が算出されている。例えば、補正対象の撮像画素に対応する画素ブロックの輝度値Ｙｒ(j,k)に対して、図１８の（ｂ）に示すように水平方向が３画素で垂直方向が５画素の輝度値が算出されており、上述の第３の動作で説明した図１０の画素値と同様な配置となる。したがって、補正ゲイン算出部３２は第３の動作と同様に、輝度値を用いてフリッカー補正ゲインを算出する。
　フリッカー補正部３３は、補正ゲイン算出部で算出されたフリッカー補正ゲインを用いて、補正対象の撮像画素に対する画素ブロックの色成分画素の画素信号を補正する。例えば補正対象の撮像画素に対する画素ブロックの赤色画素を画素値Ｒ、緑色画素を画素値Ｇr，Ｇb、青色画素を画素値Ｂ、フリッカー補正ゲインをＨＧとした場合、式（２３）乃至式（２６）の演算を行い、フリッカー補正後の画素値Ｒc，Ｇcr，Ｇcb，Ｂcを算出する。
　　　Ｒc　＝　Ｒ　×　ＨＧ　　　・・・（２３）
　　　Ｇcr ＝　Ｇr ×　ＨＧ　　　・・・（２４）
　　　Ｇcb ＝　Ｇb ×　ＨＧ　　　・・・（２５）
　　　Ｂc　＝　Ｂ　×　ＨＧ　　　・・・（２６）
　次に、第２の実施の形態のフリッカー補正ゲインの他の算出動作について、例えば２×１画素を画素ブロックとして２つの画素ブロックを撮像画素または光強度検出画素の画素単位とする場合のフリッカー補正ゲインの算出動作について図１９を用いて説明する。
　図１９は、第２の実施の形態のフリッカー補正ゲインの他の算出動作を説明するための図である。輝度算出部３１は、図１９の（ａ）に示すように、第１光強度検出画素であるラインＬj-2rとラインＬj-2bにおける２×１画素の２つの画素ブロックの画素信号から輝度値Ｙａ(j-2,x)を算出する。同様に、輝度算出部３１は、第２光強度検出画素であるラインＬj-1bとラインＬj-1rにおける２×１画素の２つの画素ブロックの画素信号から輝度値Ｙａ(j-1,x)を算出する。また、輝度算出部３１は、撮像画素であるラインＬjrとラインＬjbにおける２×１画素の２つの画素ブロックの画素信号から輝度値Ｙｒ(j,x)を算出する。また、輝度算出部３１は、他の２×１画素の２つの画素ブロックの画素信号から輝度値を算出する。
　補正ゲイン算出部３２は、輝度算出部３１で２×１画素の画素ブロックを２つ用いて算出された輝度値を用いて、補正対象のブロックに対するフリッカー補正ゲインを算出する。図１９の（ｂ）は、輝度算出部３１で算出された輝度値を示している。輝度算出部３１では、２×１画素の画素ブロックを２つ用いて輝度値が算出されている。例えば、補正対象の撮像画素に対応する画素ブロックの輝度値Ｙｒ(j,k)に対して、図１９の（ｂ）に示すように水平方向が３画素で垂直方向が５画素の輝度値が算出されており、上述の第３の動作で説明した図１０の画素値と同様な配置となる。したがって、補正ゲイン算出部３２は第３の動作と同様に、輝度値を用いてフリッカー補正ゲインを算出する。
　フリッカー補正部３３は、補正ゲイン算出部で算出されたフリッカー補正ゲインを用いて、補正対象の撮像画素に対する画素ブロックの色成分画素の画素信号を補正する。例えば補正対象の撮像画素に対する画素ブロックの赤色画素を画素値Ｒ、緑色画素を画素値Ｇr，Ｇb、青色画素を画素値Ｂとした場合、式（２３）乃至式（２６）の演算を行い、フリッカー補正後の画素値Ｒc，Ｇcr，Ｇcb，Ｂcを算出する。
　図２０は、第２の実施の形態の撮像装置の動作を例示したフローチャートである。ステップＳＴ２１で撮像装置は露光期間とフレーム周波数を設定する。撮像装置１０ａの制御部４５は、撮像画素の露光期間を設定されているシャッター速度に対応する期間に設定する。また、制御部４５は、光強度検出画素の露光期間をフリッカー周期期間に設定する。さらに、制御部４５は撮像画のフレーム周波数ＦＶをユーザ等が設定したフレームレートに応じて設定してステップＳＴ２２に進む。
　ステップＳＴ２２で撮像装置は撮像画素と光強度検出画素を配置する。撮像装置１０ａの制御部４５は、撮像部２１ａの撮像面内に上述のように撮像画素と光強度検出画素を設定して、撮像画素と光強度検出画素の露光期間をステップＳＴ２１で設定した露光期間として駆動制御を行いステップＳＴ２３に進む。
　ステップＳＴ２３で撮像装置は輝度値を算出する。撮像装置１０ａの輝度算出部３１は、撮像画素に対応する色成分画素の画素ブロックの画素信号から輝度値を算出する。また、輝度算出部３１は、光強度検出画素に対応する色成分画素の画素ブロックの画素信号から輝度値を算出してステップＳＴ２４に進む。
　ステップＳＴ２４で撮像装置はフリッカー補正対象の撮像画素のフリッカー補正ゲインを算出する。撮像装置１０ａの補正ゲイン算出部３２は、ステップＳＴ２３で算出された輝度値を用いて、フリッカー補正対象の撮像画素を基準とした所定の画素範囲内における撮像画素の輝度値と光強度検出画素の輝度値を用いて、上述のようにフリッカー補正ゲインを算出してステップＳＴ２５に進む。
　ステップＳＴ２５で撮像装置はフリッカー補正対象の撮像画素のフリッカー補正を行う。撮像装置１０ａのフリッカー補正部３３は、ステップＳＴ２４で算出されたフリッカー補正ゲインを用いてフリッカー補正対象の撮像画素に対応する画素ブロックの色成分画素に対してゲイン調整を行い、フリッカーの影響を補正した画素信号を生成してステップＳＴ２６に進む。
　ステップＳＴ２６で撮像装置は画面内の各撮像画素のフリッカー補正が完了したか判別する。撮像装置１０ａの画像信号処理部３０ａは、画面内の各撮像画素のフリッカー補正が完了していない場合ステップＳＴ２７に進み、画面内の各撮像画素のフリッカー補正が完了した場合ステップＳＴ２８に進む。
　ステップＳＴ２７で撮像装置はフリッカー補正対象の撮像画素を更新する。撮像装置１０ａの画像信号処理部３０ａは、撮像画素のフリッカー補正が行われていない撮像画素を新たなフリッカー補正対象の撮像画素に設定してステップＳＴ２４に戻る。
　ステップＳＴ２８で撮像装置は撮像画の終了であるか判別する。撮像装置１０ａの制御部４５は、フリッカー補正を行う撮像画が終了していない場合ステップＳＴ２９に進み、フリッカー補正を行う撮像画が終了した場合例えば撮像の終了操作が行われた場合フリッカー補正動作を終了する。
　ステップＳＴ２９で撮像装置は新たな撮像画にフリッカー補正対象の撮像画素を設定する。撮像装置１０ａの画像信号処理部３０ａは、新たなフレームの撮像画にフリッカー補正対象の撮像画素を設定してステップＳＴ２４に戻る。
　このように、撮像装置は、撮像画面内に色成分画素を設けて、制御部は各色成分画素を含む画素ブロックと撮像画素と光強度検出画素の対応付けをを行う。また、制御部は、撮像画素の露光期間はシャッター速度に応じた期間として、光強度検出画素の露光期間はフリッカー周期期間とする。また、補正ゲイン算出部は、フリッカー補正対象の撮像画素を基準とした所定の画素範囲内の撮像画素と光強度検出画素を用いてフリッカー補正ゲインを算出する。フリッカー補正部は、算出されたフリッカー補正ゲインでフリッカー補正対象の撮像画素に対応する画素ブロックの色成分画素に対してゲイン調整を行う。したがって、照明装置と被写体との位置関係にかかわらず照明光の強度の変動の影響が低減されているカラー撮像画を得られるようになる。
　＜３．第３の実施の形態＞
　ところで、上述の第１および第２の実施の形態では、フリッカー周波数（またはフリッカー周期）がユーザ等によって予め設定されている場合について説明が、フリッカー周波数は、撮像部２１（２１ａ）で生成された画素信号に基づき自動的に判別してもよい。
　図２１は、フリッカー周波数を自動検出する場合の撮像装置の構成を例示している。撮像装置１０ｂは、撮像部２１（２１ａ）、画像信号処理部３０（３０ａ）、ユーザインタフェース部４１、フリッカー検出部４３、制御部４５、周辺部５０を有している。なお、図２１において、第１および第２の実施の形態の撮像装置と対応する部分については同一符号を付している。
　撮像部２１（２１ａ）では、撮像画素と光強度検出画素が設けられており、撮像画素と光強度検出画素で生成した画素信号をフリッカー検出部４３へ出力する。
　フリッカー検出部４３は、制御部４５からの制御信号に基づき、フリッカー検出第１画素とフリッカー検出第２画素を設定する。図２２は、フリッカー検出第１画素とフリッカー検出第２画素を例示している。図２２の（ａ）は、上述の第１の実施の形態における第１の動作と同様に、撮像画素と光強度検出画素が水平方向に１画素単位で交互に設けられている場合を示している。この場合、撮像画素をフリッカー検出第１画素として光強度検出画素をフリッカー検出第２画素とする。図２２の（ｂ）は、上述の第１の実施の形態における第２の動作と同様に、撮像画素と２画素の光強度検出画素が水平方向に交互に設けられている場合を示している。この場合、第１光強度検出画素をフリッカー検出第１画素として第２光強度検出画素をフリッカー検出第２画素とする。図２２の（ｃ）は、上述の第１の実施の形態における第３の動作と同様に、撮像画素のラインと２ラインの光強度検出画素が垂直方向に交互に設けられている場合を示している。この場合、第１光強度検出画素をフリッカー検出第１画素として第２光強度検出画素をフリッカー検出第２画素とする。なお、上述の第２の実施の形態のように撮像部が色成分画素を用いて構成されている場合も同様に、撮像画素や光強度検出画素をフリッカー検出第１画素とフリッカー検出第２画素に設定する。
　制御部４５は、補正ゲイン算出部３２で撮像画素毎にフリッカー補正ゲインを算出して、撮像画素毎にフリッカー補正ゲインを用いてフリッカー補正部３３で撮像画素のフリッカー補正を行う前に、フリッカー検出を行うようにする。また、制御部４５は、フリッカーの有無やフリッカー周波数等を示すフリッカー情報が取得されていない場合にフリッカー検出を行うようにしてもよい。
　制御部４５は、フリッカー検出を行う場合、例えばフリッカー検出第１画素の露光期間を商用電源周波数が５０Ｈｚであるときのフリッカー周期である（１／１００）秒、フリッカー検出第２画素の露光期間を商用電源周波数が６０Ｈｚであるときのフリッカー周期である（１／１２０）秒とする。さらに、制御部４５は、フリッカー検出部４３で検出された照明光の強度変化の周期を、光強度検出画素の露光期間に設定する。
　フリッカー検出部４３は、フリッカー検出第１画素のフレーム単位の信号レベル変化とフリッカー検出第２画素のフレーム単位の信号レベル変化に基づきフリッカー検出を行う。
　照明装置の照明光の強度が商用電源周波数に応じた変化を生じていない場合、フリッカー検出第１画素とフリッカー検出第２画素ではいずれもフレーム単位の信号レベル変化を生じない。また、フリッカー検出第１画素とフリッカー検出第２画素が近接している場合、フリッカー検出第１画素とフリッカー検出第２画素の信号レベル比は露光期間の比率と等しくなる。また、照明装置の照明光の強度が商用電源周波数に応じた変化を生じている場合でも、露光開始タイミングまたは露光終了タイミングが各フレームで照明光の強度変化と同期している場合、フリッカー検出第１画素とフリッカー検出第２画素ではいずれもフレーム単位の信号レベル変化を生じない。
　そこで、フリッカー検出部４３は、フリッカー検出第１画素でフレーム単位の信号レベル変化を生じておらず、フリッカー検出第２画素でフレーム単位の信号レベル変化を生じている場合、フリッカー周波数が１００Ｈｚであるフリッカーを生じているとのフリッカー検出結果を制御部４５へ出力する。
　また、フリッカー検出部４３は、フリッカー検出第１画素でフレーム単位の信号レベル変化を生じており、フリッカー検出第２画素でフレーム単位の信号レベル変化を生じていない場合、フリッカー周波数が１２０Ｈｚであるフリッカーを生じているとのフリッカー検出結果を制御部４５へ出力する。
　さらに、フリッカー検出第１画素とフリッカー検出第２画素のいずれでもフレーム単位の信号レベル変化を生じておらず、フリッカー検出第１画素とフリッカー検出第２画素の信号レベル比が露光期間の比率とほぼ等しい場合にフリッカーが生じていないとのフリッカー検出結果を制御部４５へ出力する。
　なお、制御部４５は、フリッカー検出第１画素とフリッカー検出第２画素の露光開始タイミングと露光終了タイミングを異なるタイミングに制御してもよい。この場合、フリッカー検出部４３は、フリッカー検出第１画素の中で例えば露光開始タイミングをライン毎にずらして露光を所定期間行い、フリッカー検出第２画素においてもフリッカー検出第１画素に対応させて露光を異なるタイミングで所定期間行う。ここで、フリッカー検出第１画素とフリッカー検出第２画素の同じライン位置の信号レベルの差がライン位置の違いによって変化を生じている場合、フリッカーを生じているとのフリッカー検出結果を制御部４５へ出力する。また、フリッカー検出第１画素とフリッカー検出第２画素の同じライン位置の信号レベルの差がライン位置の違いかかわらす変化を生じていない場合、フリッカーを生じていないとのフリッカー検出結果を制御部４５へ出力する。したがって、フリッカー検出第１画素とフリッカー検出第２画素で共に露光開始タイミングまたは露光終了タイミングが各フレームで照明光の強度の変化と同期することにより、フリッカー検出第１画素とフリッカー検出第２画素のいずれでもフレーム単位の信号レベル変化が生じなくなってしまうことを防止できる。
　図２３は、第３の実施の形態の動作を例示したフローチャートである。なお、図２３におけるステップＳＴ３５乃至ステップＳＴ４０の動作は、図１２に示す第５の動作のフローチャートにおけるステップＳＴ１１乃至ステップＳＴ１６の処理に相当する。
　ステップＳＴ３１で撮像装置はフリッカー情報を取得済みであるか判別する。撮像装置１０ｂの制御部４５は、フリッカーの有無やフリッカー周波数等を示すフリッカー情報が取得されている場合、例えばユーザ等によってフリッカー周波数等が設定されている場合ステップＳＴ３３に進む。また、制御部４５は、フリッカー情報が取得されていない場合ステップＳＴ３２に進む。
　ステップＳＴ３２で撮像装置はフリッカー検出処理を行う。撮像装置１０ｂの制御部４５は、フリッカー検出第１画素とフリッカー検出第２画素を設定する。また、制御部４５は、フリッカー検出第１画素とフリッカー検出第２画素の露光期間を設定する。フリッカー検出部４３は、フリッカー検出第１画素のフレーム単位の信号レベル変化とフリッカー検出第２画素のフレーム単位の信号レベル変化に基づきフリッカーの有無およびフリッカー周波数を検出してステップＳＴ３３に進む。
　ステップＳＴ３３で撮像装置はフリッカーがあるか判別する。撮像装置１０ｂの制御部４５は、フリッカー情報でフリッカーがあることが示されている場合、またはステップＳＴ３２のフリッカー検出処理でフリッカーが検出された場合ステップＳＴ３５に進む。また、制御部４５は、フリッカー情報でフリッカーがないことが示されており、ステップＳＴ３２のフリッカー検出処理でフリッカーが検出されていない場合ステップＳＴ３４に進む。
　ステップＳＴ３４で撮像装置は通常動作を行う。撮像装置１０ｂはフリッカーが検出されていないことからフリッカー補正を行うことなく撮像画の記録や出力等を行う。
　ステップＳＴ３５で撮像装置は露光期間とフレーム周波数を設定する。撮像装置１０ｂの制御部４５は、撮像画素の露光期間をシャッター速度に対応する露光期間に設定する。また、制御部４５は光強度検出画素の露光期間を、フリッカー情報で示されたフリッカー周波数の周期期間またはステップＳＴ３２で検出されたフリッカーの周期期間に設定する。さらに、制御部４５は撮像画のフレーム周波数ＦＶをユーザ等が設定したフレームレートに対応する周波数に設定してステップＳＴ３６に進む。
　ステップＳＴ３６で撮像装置は撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬを超えるか判別する。制御部４５は、ユーザ等によって設定された撮像画のフレーム周波数ＦＶとフリッカー情報で示されたまたはフリッカー検出によって検出されたフリッカー周波数ＦＬを比較する。制御部４５は、撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬを超えていない場合ステップＳＴ３７に進む。また、制御部４５は、撮像画のフレーム周波数ＦＬがフリッカー周波数ＦＬを超えている場合ステップＳＴ３８に進む。
　ステップＳＴ３７で撮像装置は第１補正モードでフリッカー補正を行う。撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬを超えていない場合は上述の第１の動作と同様にフリッカー補正を行う。すなわち、制御部４５は第１の動作で説明したように１種類の光強度検出画素を設けて、撮像画素でシャッター速度に応じた露光期間の画素信号と光強度検出画素でフリッカー周期期間である露光期間の画素信号を生成するように撮像部を動作させる。第１補正モードにおいて、画像信号処理部は、光強度検出画素群の画素値を用いて線形補間を行い所定の画素範囲内における撮像画素群と空間位相が等しい光強度検出画素群の画素値を算出する。また画像信号処理部は、算出した画素値と所定画素範囲内の撮像画素群の画素値に基づいてフリッカー補正ゲインを算出する。さらに、画像信号処理部は、算出したフリッカー補正ゲインを用いてフリッカー補正対象の撮像画素の画素信号を補正する。
　ステップＳＴ３６からステップＳＴ３８に進むと、ステップＳＴ３８で撮像装置は撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬの２倍を超えるか判別する。制御部４５はユーザ等によって設定された撮像画のフレーム周波数ＦＶとフリッカー周波数ＦＬを比較する。制御部４５は、撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬの２倍を超えていない場合ステップＳＴ３９に進む。また、制御部４５は、撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬの２倍を超えている場合ステップＳＴ４０に進む。
　ステップＳＴ３９で撮像装置は第２補正モードでフリッカー補正を行う。撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬを超えており、２倍の周波数を超えていない場合は上述の第２の動作と同様にフリッカー補正を行う。すなわち、制御部４５は第２の動作で説明したように２種類の光強度検出画素を設けて、撮像画素でシャッター速度に応じた露光期間の画素信号と光強度検出画素でフリッカー周期期間である露光期間の画素信号を生成するように撮像部を動作させる。第２補正モードにおいて、画像信号処理部は、フリッカー周期期間である露光期間の画素信号が得られた光強度検出画素群の画素値を用いて線形補間を行い所定の画素範囲内における撮像画素群と空間位相が等しい光強度検出画素群の画素値を算出して、算出した画素値と所定画素範囲内の撮像画素群の画素値に基づいてフリッカー補正ゲインを算出する。さらに、画像信号処理部は、算出したフリッカー補正ゲインを用いてフリッカー補正対象の撮像画素の画素信号を補正する。
　ステップＳＴ４０で、撮像装置は第３補正モードでフリッカー補正を行う。撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬの２倍を超えており、４倍の周波数を超えていない場合、４種類の光強度検出画素を設けてフリッカー補正を行う。すなわち、制御部４５は４種類の光強度検出画素を設けて、撮像画素でシャッター速度に応じた露光期間の画素信号と光強度検出画素でフリッカー周期期間である露光期間の画素信号を生成するように撮像部を動作させる。第３補正モードにおいて、画像信号処理部は、フリッカー周期期間である露光期間の画素信号が得られた光強度検出画素群の画素値を用いて線形補間を行い所定の画素範囲内における撮像画素群の画素位置と空間移動が等しい画素値を算出する。また、画像信号処理部は、算出した画素値と所定画素範囲内の撮像画素群の画素値に基づいてフリッカー補正ゲインを算出する。さらに、画像信号処理部は、算出したフリッカー補正ゲインを用いてフリッカー補正対象の撮像画素の画素信号を補正する。
　このように、第３の実施の形態では、フリッカー検出部でフリッカーの有無やフリッカー周波数が自動的に検出されるので、ユーザがユーザインタフェース部４１を用いて、照明環境に応じたフリッカー周波数等の指定操作が行われていない場合であってもフリッカー補正を正しく行うことができるようになる。
　また、第３の実施の形態では、フリッカー情報が取得されていない場合にフリッカー検出を行う動作を説明したが、フリッカー情報の取得状態にかかわらずフリッカー検出を行うようにしてもよい。この場合、取得済みのフリッカー情報で示されたフリッカー周波数とフリッカー検出部４３で検出されたフリッカー周波数が異なるとき、周波数が相違することをユーザ等に通知する処理や例えば検出されたフリッカー周波数を優先して用いるようにする。このようにすれば、照明光の強度変化とは異なるフリッカー周波数でフリッカー補正が行われることを防止できる。
　＜４．第４の実施の形態＞
　ところで、上述の第１および第２の実施の形態では、撮像部の撮像面に撮像画素だけでなく光強度検出画素を設けている。また、上述したように撮像画のフレーム周波数が高くなるに伴い、多くの種類の光強度検出画素を設ける必要がある。このため、撮像画のフレーム周波数が高くなるに伴い、撮像画の空間解像度の低下を招くおそれがある。そこで、第４の実施の形態では撮像画の空間解像度の低下を抑制する場合について説明する。
　図２４は、第４の実施の形態の動作例を示している。制御部４５は、撮像画素と光強度検出画素を設定する場合に、光強度検出画素を間引いて配置する。図２４の（ａ）は、４種類の光強度検出画素を間引かないで配置した場合、図２４の（ｂ）は、４種類の光強度検出画素に対して間引きを行って配置した場合を示している。４種類の光強度検出画素を間引かないで配置した場合、撮像画素のライン間には４種類の光強度検出画素のラインが設けられている。また、４種類の光強度検出画素を間引いて配置する場合、例えば撮像画素のライン間には２種類の光強度検出画素のラインを設けて、撮像画素のラインの上側と下側では光強度検出画素の種類が異なるようにする。このように、光強度検出画素を間引いて配置すれば撮像画のフレーム周波数が高くなっても撮像画素の減少を抑えることができるので撮像画の空間解像度の低下を抑制できる。
　図２５は、フリッカー補正対象の撮像画素を基準とした所定の画素範囲を例示している。補正ゲイン算出部３２は、種類の等しい光強度検出画素のラインペアでその間に挟まれた２ラインの撮像画素のフリッカー補正ゲインを算出する。なお、図２５では、フリッカー補正対象の撮像画素の露光期間に対するフリッカー周期期間が第１光強度検出画素の露光期間であるとする。また、第１光強度検出画素のラインであるラインＬｍ－２とラインＬｍ＋４で挟まれた撮像画素であるラインＬｍとラインＬｍ＋３のｎ番目の画素Ｐ(m,n)，Ｐ(m+3,n)をフリッカー補正対象の撮像画素のライン位置としている。また、フリッカー補正対象の画素Ｐ(m,n)の画素値をｒ(m,n)、両サイドの撮像画素の画素値をｒ(m,n-1)，ｒ(m,n+1)とする。また、フリッカー補正対象の画素Ｐ(m+3,n)の画素値をｒ(m+3,n)、両サイドの撮像画素の画素値をｒ(m+3,n-1)，ｒ(m+3,n+1)とする。また、光強度検出画素であるラインＬｘの画素の画素値をａ(x,n-1)，ａ(x,n)，ａ(x,n+1)とする。
　画像信号処理部の補正ゲイン算出部３２は、式（２７）に基づきフリッカー補正ゲインを算出する。
　フリッカー補正ゲイン＝（第１光強度検出画素群の画素値ＷＴａm
　　　　　　　　　　　／撮像画素群の画素値ＷＴｒm）　・・・（２７）
　撮像画素群の画素値ＷＴｒmは、例えば式（２８）に示すように、撮像画素の平均画素値を用いる。
　ＷＴｒm＝（ｒ(m,n-1)＋ｒ(m,n)＋ｒ(m,n+1)）／３　　・・・（２８）
　第１光強度検出画素群の画素値ＷＴａは、光強度検出画素群の画素値を用いて線形補間を行い、フリッカー補正対象の撮像画素群と空間位相が等しい光強度検出画素群の画素値を算出して、算出した画素値の平均値を用いる。
　補正ゲイン算出部３２は、式（２９）乃至（３１）によって撮像画素のラインＬｍと等しい空間位相の画素値ａ(m,n-1)，ａ(m,n)，ａ(m,n+1)を算出する。さらに、補正ゲイン算出部３２は、式（３２）に示す演算を行い光強度検出画素群の画素値ＷＴａを算出する。
　ａ(m,n-1)＝０．６６７×ａ(m-2,n-1)＋０．３３３×ａ(m+4,n-1)
　　　　　　　　　　　　　　　　　　　　　　　・・・（２９）
　ａ(m,n)　＝０．６６７×ａ(m-2,n)　＋０．３３３×ａ(m+4,n)
　　　　　　　　　　　　　　　　　　　　　　　・・・（３０）
　ａ(m,n+1)＝０．６６７×ａ(m-2,n+1)＋０．３３３×ａ(m+4,n+1)
　　　　　　　　　　　　　　　　　　　　　　　・・・（３１）
　ＷＴａm＝（ａ(m,n-1)＋ａ(m,n)＋ａ(m,n+1)）／３
　　　　　　　　　　　　　　　　　　　　　　  ・・・（３２）
　補正ゲイン算出部３２は算出したフリッカー補正ゲイン、すなわち式（３３）に示すフリッカー補正ゲインＨＧ(m,n)をフリッカー補正部３３へ出力する。
　ＨＧ(m,n)＝（ＷＴａm／ＷＴｒm）
　　　 ＝（０．６６７×（ａ(m-2,n-1)＋ａ(m-2,n)＋ａ(m-2,n+1)）＋０．３３３×（ａ(m+4,n-1)＋ａ(m+4,n)＋ａ(m+4,n+1)））／（ｒ(m,n-3)＋ｒ(m,n)＋ｒ(m,n+3)）　　　・・・（３３）
　また、撮像画素群の画素値ＷＴｒmaは、例えば式（３４）に示すように、撮像画素の平均画素値を用いる。
　　ＷＴｒma＝（ｒ(m+3,n-1)＋ｒ(m+3,n)＋ｒ(m+3,n+1)）／３
　　　　　　　　　　　　　　　　　　　　　　　・・・（３４）
　第１光強度検出画素群の画素値ＷＴａmaは、光強度検出画素群の画素値を用いて線形補間を行い、フリッカー補正対象の撮像画素群と空間位相が等しい光強度検出画素群の画素値を算出して、算出した画素値の平均値を用いる。
　補正ゲイン算出部３２は、式（３５）乃至（３７）によって撮像画素のラインＬｍの位置に対応する画素値ａ(m,n-1)，ａ(m,n)，ａ(m,n+1)を算出する。さらに、補正ゲイン算出部３２は、式（３８）に示す演算を行い光強度検出画素群の画素値ＷＴａを算出する。
　ａ(m+3,n-1)＝０．１６７×ａ(m-2,n-1)＋０．８３３×ａ(m+4,n-1)
                                                ・・・（３５）
　ａ(m+3,n)　＝０．１６７×ａ(m-2,n)　＋０．８３３×ａ(m+4,n)
                                              　・・・（３６）
　ａ(m+3,n+1)＝０．１６７×ａ(m-2,n+1)＋０．８３３×ａ(m+4,n+1)
　　　　　　　　　　　　　　　　　　　　　　　　・・・（３７）
　ＷＴａma＝（ａ(m+3,n-1)＋ａ(m+3,n)＋ａ(m+3,n+1)）／３
　　　　　　　　　　　　　　　　　　　　　　　　・・・（３８）
　補正ゲイン算出部３２は算出したフリッカー補正ゲイン、すなわち式（３９）に示すフリッカー補正ゲインＨＧ(m+3,n)をフリッカー補正部３３へ出力する。
　ＨＧ(m+3,n)＝（ＷＴａma／ＷＴｒma）
　　　　 ＝（０．１６７×（ａ(m-2,n-1)＋ａ(m-2,n)＋ａ(m-2,n+1)＋０．８３３×（ａ(m+4,n-1)＋ａ(m+4,n)＋ａ(m+4,n+1)））／（ｒ(m,n-3)＋ｒ(m,n)＋ｒ(m,n+3)）　・・・（３９）
　フリッカー補正部３３は、補正ゲイン算出部３２で算出されたフリッカー補正ゲインＨＧ(m,n)を用いて、フリッカー補正対象の画素Ｐ(m,n)である撮像画素に対するゲイン調整を行う。また、フリッカー補正部３３は、補正ゲイン算出部３２で算出されたフリッカー補正ゲインＨＧ(m+3,n)を用いて、フリッカー補正対象の撮像画素に対するゲイン調整を行う。
　画像信号処理部は、上述の処理を各撮像画素に対して行うことで、フリッカーの影響が低減された画像信号を生成する。
　図２６は、第４の実施の形態の他の動作例としてカラー撮像画の場合を示している。制御部４５は、撮像部２１ａにおける色成分画素の配列がベイヤー配列とされている場合、第２の実施の形態と同様に２×２画素の画素ブロックを撮像画素と光強度検出画素の画素単位として、光強度検出画素を間引いて配置する。このように、光強度検出画素を間引いて配置すれば撮像画のフレーム周波数が高くなっても撮像画素の減少を抑えることができるので撮像画の空間解像度の低下を抑制できる。
　図２７は、第４の実施の形態の他の動作例としてカラー撮像画の他の場合を示している。制御部４５は、撮像部２１ａにおける色成分画素の配列がベイヤー配列とされている場合、第２の実施の形態と同様に例えば１×２画素の２つの画素ブロックを撮像画素と光強度検出画素の画素単位として、光強度検出画素を間引いて配置する。このように、光強度検出画素を間引いて配置すれば撮像画のフレーム周波数が高くなっても撮像画素の減少を抑えることができるので撮像画の空間解像度の低下を抑制できる。なお、図２７の（ａ）は４種類の光強度検出画素を設けた場合、図２７の（ｂ）は６種類の光強度検出画素を設けた場合を示している。
　また、４種類の光強度検出画素を設けた場合、セット毎に第１光強度検出画素のラインと第２光強度検出画素のラインの入替えと第３光強度検出画素のラインと第４光強度検出画素のラインの入替えを行う必要がある。例えば第１光強度検出画素のラインと第２光強度検出画素のラインの入替えを行わないと、水平方向が同一の画素ブロックにおいて、第２光強度検出画素のラインが赤色画素と緑色画素であるとき、次の第２光強度検出画素のラインでも赤色画素と緑色画素となってしまう。このため、ラインの入替えを行うことで、次の第２光強度検出画素のラインでは緑色画素と青色画素の画素信号を得られるようにする。すなわち第２光強度検出画素のラインを連続して用いることでベイヤー配列の２×２画素の画素ブロックの各色成分画素の画素信号を得られるようになる。また、他の光強度検出画素のラインでも同様である。なお、６種類の光強度検出画素を設ける場合、光強度検出画素のラインの入替えを行う必要がない。
　図２８は、４種類の光強度検出画素を間引いて配置した場合のフリッカー補正ゲインの算出動作を説明するための図である。例えば第１光強度検出画素であるラインLｊ-2rとラインＬj+2bの1×２画素の２つの画像ブロックを用いるとベイヤー配列の２×２画素の色成分画素毎の画素信号を得られることから、補正ゲイン算出部３２は、ラインLｊ-2rとラインＬj+2bの1×２画素の２つの画像ブロックの画素信号を用いて輝度値Ｙａ1を算出する。同様に、補正ゲイン算出部３２は、第１光強度検出画素であるラインLｊ+2rとラインＬj+3bの1×２画素の２つの画像ブロックの画素信号を用いて輝度値Ｙａ2を算出する。
　また、撮像画素のラインＬjrとラインＬjbの1×２画素の２つの画像ブロックを用いるとベイヤー配列の２×２画素の色成分画素毎の画素信号を得られることから、補正ゲイン算出部３２は、ラインLｊrとラインＬjbの1×２画素の２つの画像ブロックの画素信号を用いて輝度値Ｙrj1を算出する。
　同様に、撮像画素のラインＬjbとラインＬ’jrの1×２画素の画像ブロックを用いるとベイヤー配列の２×２画素の画素信号を得られることから、補正ゲイン算出部３２は、ラインLｊbとラインＬ’jrの1×２画素の２つの画像ブロックの画素信号を用いて輝度値Ｙrj2を算出する。また、水平方向のブロック位置毎に画像信号を算出して、例えば図２８の（ｂ）に示すように、ブロック位置ｋ－１，ｋ，ｋ＋１の輝度値を算出する。
　さらに、補正ゲイン算出部３２は、撮像画素の輝度値Ｙｒj1，Ｙｒj2のそれぞれに対して、光強度検出画素の輝度値Ｙａr1と輝度値Ｙａr2から対応する空間位相の輝度値を算出して、撮像画素の輝度値と空間位相が等しい光強度検出画素の輝度値との比率からフリッカー補正ゲインを算出する。例えば、輝度値Ｙｒj1と輝度値Ｙａj1の空間位相は等しいから、補正ゲイン算出部３２は、輝度値Ｙｒ(j1,k-1)，Ｙｒ(j1,k),Ｙｒ(j1,k+1)の平均と輝度値Ｙａ(j1,k-1)，Ｙａ(j1,k),Ｙａ(j1,k+1)の平均との比率を輝度値Ｙｒ(j1,k)のフリッカー補正ゲインとする。
　また、輝度値Ｙｒj2は輝度値Ｙａj1と輝度値Ｙａj2の平均と空間位相が等しいから、補正ゲイン算出部３２は、輝度値Ｙｒ(j2,k-1)，Ｙｒ(j2,k),Ｙｒ(j2,k+1)の平均と輝度値Ｙａ(j1,k-1)，Ｙａ(j1,k),Ｙａ(j1,k+1)，Ｙａ(j2,k-1)，Ｙａ(j2,k),Ｙａ(j2,k+1)の平均との比率を輝度値Ｙｒ(j2,k)のフリッカー補正ゲインとする。
　さらに、補正ゲイン算出部３２は、撮像画素の輝度値の算出に用いた1×２画素の画素ブロックに対するフリッカー補正ゲインを、輝度値に対して算出されたフリッカー補正ゲインを用いて設定する。例えばラインＬjbは、輝度値Ｙｒj1と輝度値Ｙｒj2の算出に用いられていることから、補正ゲイン算出部３２は、輝度値Ｙｒj1と輝度値Ｙｒj2のフリッカー補正ゲインを用いて、ラインＬjbの空間位相に対応するフリッカー補正ゲインを算出する。図２８の（ａ）に示す場合、ラインＬjbの空間位相は輝度値Ｙｒj1と輝度値Ｙｒj2の中間であるから、補正ゲイン算出部３２は、撮像画素のブロック（Ｌjb,k）のフリッカー補正ゲインはＹｒ(j1,k)のフリッカー補正ゲインとＹｒ(j2,k)のフリッカー補正ゲインの平均値とする。
　このように、本技術の撮像装置では、光強度検出画素を間引いて配置することで、撮像画素の減少を抑制できるようになる。また、光強度検出画素を間引いても、上述のような処理によって撮像画素の画素または輝度値の算出単位毎にフリッカー補正ゲインを算出できる。したがって、撮像画素の減少を抑制しても、上述の実施の形態と同様の作用効果を引き続き得ることができる。
　＜５．適用例＞
　上述の実施の形態で示した撮像装置は、例えば静止画と動画の撮像を行うことができる撮像装置に適している。静止画の撮像では高精細な撮像画のプリント等を行うことができるように高画素数の撮像素子が必要とされるが、動画の撮像では表示装置に対応した画素数であればよい。したがって、高画素数の撮像素子を用いて動画の撮像を行う場合、撮像に用いられていない画素が存在することになるので、撮像に用いられていない画素を光強度検出画素として利用すれば、高画素数の撮像素子を動画の撮像時にも有効利用できるようになる。
　＜６．移動体への応用例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２９に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２９の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図３０は、撮像部１２０３１の設置位置の例を示す図である。
　図３０では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図３０には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１、１２１０１、１２１０２、１２１０３、１２１０４、１２１０５等に適用され得る。例えば、撮像部１２０３１、１２１０１、１２１０２、１２１０３、１２１０４、１２１０５等に本開示に係る技術を適用することにより、道路や駐車場等において周期的に照明光の強度が変動する照明装置を利用して照明が行われても、照明光の強度の変動の影響が低減されている撮像画を取得できるので、ドライバの疲労等を軽減できる。また、撮像画を用いて自動運転等を行う場合に、照明光の強度の変動の影響が低減されているので、本技術を用いていない場合に比べて運転制御が容易となる。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の撮像装置は以下のような構成も取ることができる。
　（１）　撮像画を取得するための撮像画素の画素信号と照明光の強度を検出するための光強度検出画素の画素信号に基づきフリッカー補正ゲインを算出する補正ゲイン算出部と、
　前記撮像画素と前記光強度検出画素の露光タイミングと露光期間を個々に設定する制御部と
を備える撮像装置。
　（２）　前記制御部は、前記撮像画素の露光期間をシャッター速度に応じた期間に設定して、前記光強度検出画素の露光期間を前記照明光の強度変化の周期期間に設定して、前記撮像画素と前記光強度検出画素の露光タイミングを、露光開始、露光終了または露光期間の中央のいずれかを等しいタイミングに設定する（１）に記載の撮像装置。
　（３）　前記制御部は、前記撮像画のフレーム周期と前記照明光の強度変化の周期に基づき、前記光強度検出画素の画素群を１または複数設けて、前記撮像画のフレーム毎に前記光強度検出画素のいずれかの画素群で前記照明光の強度変化の周期期間である露光期間の画素信号を得る（１）または（２）に記載の撮像装置。
　（４）　前記制御部は、前記照明光の強度変化の周期内に含まれる前記撮像画のフレーム周期の数が多くなるに伴い前記光強度検出画素の画素群を多く設け、
　前記補正ゲイン算出部は、前記照明光の強度変化の周期期間である露光期間の画素信号が得られた画素群の前記光強度検出画素の画素信号に基づきフリッカー補正ゲインを算出する（３）に記載の撮像装置。
　（５）　露光期間が第１商用電源周波数の周期であるフリッカー検出第１画素と露光期間が第２商用電源周波数の周期であるフリッカー検出第２画素のフレーム毎の画素信号の信号レベル変化に基づいて、前記照明光の強度変化の周期を検出するフリッカー検出部をさらに備える（１）乃至（４）のいずれかに記載の撮像装置。
　（６）　前記制御部は、前記フリッカー補正ゲインの算出前に、前記光強度検出画素または前記光強度検出画素と前記撮像画素を前記フリッカー検出第１画素と前記フリッカー検出第２画素に設定して、前記フリッカー検出部でフリッカー検出を行わせて、フリッカー検出後は前記フリッカー検出部で検出された周期を、前記光強度検出画素の露光期間に設定する（５）に記載の撮像装置。
　（７）　前記制御部は、複数色成分画素からなる画素ブロックを前記撮像画素および前記光強度検出画素の画素単位として、
　前記補正ゲイン算出部は、前記撮像画素および前記光強度検出画素を構成する画素ブロックの色成分画素の画素信号から算出した輝度値に基づいて前記フリッカー補正ゲインを算出する（１）乃至（６）のいずれかに記載の撮像装置。
　（８）　前記補正ゲイン算出部は、前記光強度検出画素の画素信号を用いて補間処理を行い、前記撮像画素と空間位相が等しい光強度検出画素の画素信号を生成して、前記撮像画素の画素信号と前記撮像画素と空間位相が等しい光強度検出画素の画素信号に基づいて前記撮像画素の画素毎にフリッカー補正ゲインを算出する（１）乃至（７）のいずれかに記載の撮像装置。
　（９）　前記補正ゲイン算出部は、フリッカー補正対象の撮像画素を基準とした水平方向および垂直方向の複数の撮像画素と光強度検出画素の画素信号に基づいて前記フリッカー補正対象の撮像画素のフリッカー補正ゲインを算出する（１）乃至（８）のいずれかに記載の撮像装置。
　（１０）　前記撮像画素と前記光強度検出画素を隣接して設けた（１）乃至（９）のいずれかに記載の撮像装置。
　（１１）　前記撮像画素と前記光強度検出画素を垂直方向に隣接して設けた（１０）に記載の撮像装置。
　（１２）　前記光強度検出画素を間引いて配置して、
　前記補正ゲイン算出部は、前記光強度検出画素の画素信号を用いて補間処理を行い前記撮像画素と空間位相が等しい光強度検出画素の画素信号を算出する（１）乃至（１１）のいずれかに記載の撮像装置。
　（１３）　前記補正ゲイン算出部で算出されたフリッカー補正ゲインを用いて前記撮像画素のフリッカー補正を行うフリッカー補正部をさらに備える（１）乃至（１２）のいずれかに記載の撮像装置。
　この技術の撮像装置とフリッカー補正方法およびプログラムによれば、撮像画を取得するための撮像画素と照明光の強度を検出するための光強度検出画素の露光タイミングと露光期間が個々に設定されて、撮像画素で生成された画素信号と光強度検出画素で生成された画素信号に基づきフリッカー補正ゲインが撮像画素の画素ごとに算出される。このため、照明装置と被写体との位置関係にかかわらず照明光の強度の変動の影響が低減されている撮像画を取得できるようになので、商用電源周波数に応じて照明強度が変化する照明環境下で動画を撮像する撮像装置に適している。
　１０，１０ａ，１０ｂ・・・撮像装置
　２１，２１ａ・・・撮像部
　３０，３０ａ・・・画像信号処理部
　３１・・・輝度算出部
　３２・・・補正ゲイン算出部
　３３・・・フリッカー補正部
　３４・・・カラー画像信号生成部
　４１・・・ユーザインタフェース（Ｉ／Ｆ）部
　４３・・・フリッカー検出部
　４５・・・制御部
　５０・・・周辺部
　５１・・・記録部
　５２・・・信号出力部
　５３・・・表示部

Claims (15)

  1. 　撮像画を取得するための撮像画素の画素信号と照明光の強度を検出するための光強度検出画素の画素信号に基づきフリッカー補正ゲインを算出する補正ゲイン算出部と、
    　前記撮像画素と前記光強度検出画素の露光タイミングと露光期間を個々に設定する制御部と
    を備える撮像装置。
  2. 　前記制御部は、前記撮像画素の露光期間をシャッター速度に応じた期間に設定して、前記光強度検出画素の露光期間を前記照明光の強度変化の周期期間に設定して、前記撮像画素と前記光強度検出画素の露光タイミングを、露光開始、露光終了または露光期間の中央のいずれかを等しいタイミングに設定する
    請求項１に記載の撮像装置。
  3. 　前記制御部は、前記撮像画のフレーム周期と前記照明光の強度変化の周期に基づき、前記光強度検出画素の画素群を１または複数設けて、前記撮像画のフレーム毎に前記光強度検出画素のいずれかの画素群で前記照明光の強度変化の周期期間である露光期間の画素信号を得る
    請求項１に記載の撮像装置。
  4. 　前記制御部は、前記照明光の強度変化の周期内に含まれる前記撮像画のフレーム周期の数が多くなるに伴い前記光強度検出画素の画素群を多く設け、
    　前記補正ゲイン算出部は、前記照明光の強度変化の周期期間である露光期間の画素信号が得られた画素群の前記光強度検出画素の画素信号に基づきフリッカー補正ゲインを算出する
    請求項３に記載の撮像装置。
  5. 　露光期間が第１商用電源周波数の周期であるフリッカー検出第１画素と露光期間が第２商用電源周波数の周期であるフリッカー検出第２画素のフレーム毎の画素信号の信号レベル変化に基づいて、前記照明光の強度変化の周期を検出するフリッカー検出部をさらに備える
    請求項１に記載の撮像装置。
  6. 　前記制御部は、前記フリッカー補正ゲインの算出前に、前記光強度検出画素または前記光強度検出画素と前記撮像画素を前記フリッカー検出第１画素と前記フリッカー検出第２画素に設定して、前記フリッカー検出部でフリッカー検出を行わせて、フリッカー検出後は前記フリッカー検出部で検出された周期を、前記光強度検出画素の露光期間に設定する
    請求項５に記載の撮像装置。
  7. 　前記制御部は、複数色成分画素からなる画素ブロックを前記撮像画素および前記光強度検出画素の画素単位として、
    　前記補正ゲイン算出部は、前記撮像画素および前記光強度検出画素を構成する画素ブロックの色成分画素の画素信号から算出した輝度値に基づいて前記フリッカー補正ゲインを算出する
    請求項１に記載の撮像装置。
  8. 　前記補正ゲイン算出部は、前記光強度検出画素の画素信号を用いて補間処理を行い、前記撮像画素と空間位相が等しい光強度検出画素の画素信号を生成して、前記撮像画素の画素信号と前記撮像画素と空間位相が等しい光強度検出画素の画素信号に基づいて前記撮像画素の画素毎にフリッカー補正ゲインを算出する
    請求項１に記載の撮像装置。
  9. 　前記補正ゲイン算出部は、フリッカー補正対象の撮像画素を基準とした水平方向および垂直方向の複数の撮像画素と光強度検出画素の画素信号に基づいて前記フリッカー補正対象の撮像画素のフリッカー補正ゲインを算出する
    請求項８に記載の撮像装置。
  10. 　前記撮像画素と前記光強度検出画素を隣接して設けた
    請求項１に記載の撮像装置。
  11. 　前記撮像画素と前記光強度検出画素を垂直方向に隣接して設けた
    請求項１０に記載の撮像装置。
  12. 　前記光強度検出画素を間引いて配置して、
    　前記補正ゲイン算出部は、前記光強度検出画素の画素信号を用いて補間処理を行い前記撮像画素と空間位相が等しい光強度検出画素の画素信号を算出する
    請求項１に記載の撮像装置。
  13. 　前記補正ゲイン算出部で算出されたフリッカー補正ゲインを用いて前記撮像画素のフリッカー補正を行うフリッカー補正部をさらに備える
    請求項１に記載の撮像装置。
  14. 　撮像画を取得するための撮像画素と照明光の強度を検出するための光強度検出画素の露光タイミングと露光期間を個々に設定することと、
    　前記撮像画素で生成された画素信号と前記光強度検出画素で生成された画素信号に基づきフリッカー補正ゲインを算出することと、
    　前記算出されたフリッカー補正ゲインを用いて前記撮像画素のフリッカー補正を行うこと
    を含むフリッカー補正方法。
  15. 　撮像画のフリッカー補正をコンピュータで実行させるプログラムであって、
    　前記撮像画を取得するための撮像画素と照明光の強度を検出するための光強度検出画素の露光タイミングと露光期間を個々に設定する手順と、
    　前記撮像画素で生成された撮像画素信号と前記光強度検出画素で生成された照明光画素信号に基づきフリッカー補正ゲインを算出する手順と、
    　前記算出されたフリッカー補正ゲインを用いて前記撮像画素のフリッカー補正を行う手順と
    を前記コンピュータで実行させるプログラム。
PCT/JP2018/018721 2017-06-30 2018-05-15 撮像装置とフリッカー補正方法およびプログラム WO2019003675A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/625,166 US11470263B2 (en) 2017-06-30 2018-05-15 Imaging apparatus and flicker correction method
CN201880041840.9A CN110771149A (zh) 2017-06-30 2018-05-15 成像装置、闪烁校正方法和程序
JP2019526662A JP7074136B2 (ja) 2017-06-30 2018-05-15 撮像装置とフリッカー補正方法およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-128797 2017-06-30
JP2017128797 2017-06-30

Publications (1)

Publication Number Publication Date
WO2019003675A1 true WO2019003675A1 (ja) 2019-01-03

Family

ID=64740707

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/018721 WO2019003675A1 (ja) 2017-06-30 2018-05-15 撮像装置とフリッカー補正方法およびプログラム

Country Status (4)

Country Link
US (1) US11470263B2 (ja)
JP (1) JP7074136B2 (ja)
CN (1) CN110771149A (ja)
WO (1) WO2019003675A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020241108A1 (ja) * 2019-05-28 2020-12-03 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子
CN112418002A (zh) * 2020-11-05 2021-02-26 中国航空工业集团公司西安飞行自动控制研究所 一种无人机识别己方机场的方法
WO2021192459A1 (ja) * 2020-03-23 2021-09-30 ソニーセミコンダクタソリューションズ株式会社 撮像装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11172142B2 (en) * 2018-09-25 2021-11-09 Taiwan Semiconductor Manufacturing Co., Ltd. Image sensor for sensing LED light with reduced flickering
CN111601047B (zh) * 2020-04-28 2022-02-18 汕头大学 一种油液泄漏图像采集方法
CN114019746A (zh) * 2021-11-05 2022-02-08 资阳联耀医疗器械有限责任公司 一种led校准方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017501627A (ja) * 2013-12-09 2017-01-12 アップル インコーポレイテッド 画像センサのフリッカ検出
US20170134634A1 (en) * 2014-03-19 2017-05-11 Samsung Electronics Co., Ltd. Photographing apparatus, method of controlling the same, and computer-readable recording medium

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007006049A (ja) * 2005-06-23 2007-01-11 Funai Electric Co Ltd 固体撮像装置
JP5218239B2 (ja) * 2009-04-14 2013-06-26 ソニー株式会社 画像データ処理装置および撮像装置
JP2011097204A (ja) 2009-10-28 2011-05-12 Hitachi Consumer Electronics Co Ltd 撮像装置
CN104104882B (zh) * 2013-04-09 2017-08-11 展讯通信（上海）有限公司 图像闪烁检测方法及装置、图像捕获设备
CN105208293B (zh) * 2014-06-16 2020-03-27 杭州海康威视数字技术股份有限公司 数字摄像机的自动曝光控制方法及装置
US10491906B2 (en) 2015-11-05 2019-11-26 Mediatek Inc. Method and apparatus for block prediction using variable block-size in image compression

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017501627A (ja) * 2013-12-09 2017-01-12 アップル インコーポレイテッド 画像センサのフリッカ検出
US20170134634A1 (en) * 2014-03-19 2017-05-11 Samsung Electronics Co., Ltd. Photographing apparatus, method of controlling the same, and computer-readable recording medium

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020241108A1 (ja) * 2019-05-28 2020-12-03 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子
WO2021192459A1 (ja) * 2020-03-23 2021-09-30 ソニーセミコンダクタソリューションズ株式会社 撮像装置
CN112418002A (zh) * 2020-11-05 2021-02-26 中国航空工业集团公司西安飞行自动控制研究所 一种无人机识别己方机场的方法
CN112418002B (zh) * 2020-11-05 2023-10-24 中国航空工业集团公司西安飞行自动控制研究所 一种无人机识别己方机场的方法

Also Published As

Publication number Publication date
US11470263B2 (en) 2022-10-11
JPWO2019003675A1 (ja) 2020-04-30
CN110771149A (zh) 2020-02-07
JP7074136B2 (ja) 2022-05-24
US20210281737A1 (en) 2021-09-09

Similar Documents

Publication Publication Date Title
JP7074136B2 (ja) 撮像装置とフリッカー補正方法およびプログラム
CN109076163B (zh) 成像控制装置、成像控制方法以及成像装置
US20200112666A1 (en) Image processing device, imaging device, image processing method, and program
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
US10848660B2 (en) Imaging apparatus, imaging module, and control method of imaging apparatus
JP7230824B2 (ja) 画像処理装置、画像処理方法およびプログラム
US20220166908A1 (en) Image pickup control apparatus, image pickup apparatus, control method for image pickup control apparatus, and non-transitory computer readable medium
CN110915204B (zh) 图像处理装置、图像处理方法、存储介质和成像装置
WO2018110002A1 (ja) 撮像装置、および、撮像装置の制御方法
US10455159B2 (en) Imaging setting changing apparatus, imaging system, and imaging setting changing method
JP2018098524A (ja) 撮像素子、撮像システムおよび撮像素子の制御方法
JPWO2018008408A1 (ja) 固体撮像装置、補正方法、および電子装置
WO2019167363A1 (ja) 画像処理装置と画像処理方法およびプログラム
WO2017122395A1 (ja) 画像データ処理回路および撮像回路
WO2020149094A1 (ja) 撮像装置、撮像システムおよび故障検出方法
WO2020049806A1 (ja) 画像処理装置および画像処理方法
CN113661700A (zh) 成像装置与成像方法
US20200014899A1 (en) Imaging device, imaging system, and method of controlling imaging device
WO2020166284A1 (ja) 撮像装置
US20230101876A1 (en) Rendering system and automated driving verification system
WO2021192459A1 (ja) 撮像装置
WO2020100399A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2022163882A (ja) 信号処理装置および方法、並びにプログラム
JP2020107036A (ja) 画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18823730

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019526662

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18823730

Country of ref document: EP

Kind code of ref document: A1