WO2021038692A1 - 撮像装置、撮像方法、および映像処理プログラム - Google Patents

撮像装置、撮像方法、および映像処理プログラム Download PDF

Info

Publication number
WO2021038692A1
WO2021038692A1 PCT/JP2019/033349 JP2019033349W WO2021038692A1 WO 2021038692 A1 WO2021038692 A1 WO 2021038692A1 JP 2019033349 W JP2019033349 W JP 2019033349W WO 2021038692 A1 WO2021038692 A1 WO 2021038692A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
image
flicker
image pickup
unit
Prior art date
Application number
PCT/JP2019/033349
Other languages
English (en)
French (fr)
Inventor
拓洋 澁谷
Original Assignee
株式会社日立国際電気
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立国際電気 filed Critical 株式会社日立国際電気
Priority to PCT/JP2019/033349 priority Critical patent/WO2021038692A1/ja
Priority to JP2021541817A priority patent/JP7237164B2/ja
Publication of WO2021038692A1 publication Critical patent/WO2021038692A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an imaging device, an imaging method, and a video processing program.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • CMOS image sensors There are two types of CMOS image sensors: a rolling shutter type that exposes each horizontal line (hereinafter referred to as "line”) in the main scanning direction, and a global shutter type that exposes all frames.
  • CMOS image sensors cannot expose the entire 1-frame period, and there is a "non-exposure period" during the 1-frame period.
  • a monitor or a projector which is an image display device displays or projects a predetermined image by repeating the operation of emitting a backlight after rearranging the switch matrix of the display element according to the image to be displayed.
  • this type of display device blinks and emits light at the frame frequency of the television standard or its multiplied frequency.
  • the emission frequency of the backlight and the frame frequency of the image sensor do not completely match. Therefore, the light emitting period of the backlight and the non-exposure period of the image sensor are slightly different, but the timings overlap again after a certain long period.
  • Patent Document 1 discloses a technique of "detecting and correcting flicker based on the difference between frames before and after the video signal".
  • Patent Document 1 in the means for detecting flicker based on the frame-to-frame difference between the front and rear frames, there is a time interval corresponding to one frame period between the front and rear frames. Therefore, if the subject itself changes in brightness or the band-shaped pattern of the subject moves during a time interval equivalent to one frame period, there is a problem that the change in the subject itself is erroneously detected as flicker. there were.
  • the emission period of the backlight and the non-exposure period (or exposure period) of the image sensor always match.
  • the subject in the captured image remains dark (or bright), unlike the actual appearance of the subject. Since the difference between frames is not detected in this state, the flicker cannot be detected by the technique of Patent Document 1.
  • the band-shaped flicker stops at a fixed position of the captured image. Also in this case, since the difference between frames is not detected, the flicker cannot be detected by the technique of Patent Document 1.
  • Patent Document 1 discloses a method of changing the frame frequency (frame rate) of the image pickup apparatus.
  • frame frequency frame rate
  • Patent Document 1 discloses a measure for changing the frame rate.
  • an object of the present invention is to provide a technique for detecting the occurrence of flicker regardless of the frame frequency.
  • one of the representative image pickup devices of the present invention includes an optical system, a plurality of image pickup elements, a drive unit, a signal comparison unit, and a signal correction unit.
  • the optical system divides the luminous flux of the subject into a plurality of objects to obtain a plurality of subject images.
  • the plurality of image pickup devices receive each of the plurality of subject images.
  • the drive unit performs imaging by shifting the exposure start timing between at least two image pickup elements by a predetermined delay time.
  • the signal comparison unit detects a level difference of a video signal generated at substantially the same image position between the image sensors whose exposure start timings are different, in pixel units or pixel block units, and is based on the level difference.
  • the flicker area generated in the captured image is detected as an area.
  • the signal correction unit corrects the flicker area where the area is detected.
  • FIG. 1 is a diagram for explaining a flicker area generated in a global shutter type image sensor.
  • FIG. 2 is a diagram illustrating a flicker area generated in a rolling shutter type image sensor.
  • FIG. 3 is a block diagram showing a configuration example of the image pickup apparatus 100.
  • FIG. 4 is a diagram showing flicker areas generated in the global shutter type image sensors a and b, respectively.
  • FIG. 5 is a diagram illustrating detection and correction of a flicker area in the global shutter type image pickup devices a and b.
  • FIG. 6 is a diagram showing flicker areas generated in the rolling shutter type image sensors a and b, respectively.
  • FIG. 7 is a diagram illustrating detection and correction of a flicker area in the rolling shutter type image pickup devices a and b.
  • FIG. 1 is a diagram for explaining a flicker area generated in a global shutter type image sensor.
  • FIG. 2 is a diagram illustrating a flicker area generated in a rolling shutter type image sensor.
  • FIG. 8 is a block diagram showing a configuration example of the image pickup apparatus 200.
  • FIG. 9 is a flow chart (1/2) showing the operation of the dial green 4-plate type image pickup apparatus 200.
  • FIG. 10 is a flow chart (2/2) showing the operation of the dial green 4-plate type image pickup apparatus 200.
  • FIG. 1 is a diagram illustrating a flicker area generated in a global shutter type image sensor.
  • FIG. 1 [A] shows a case where the flicker area does not occur.
  • the image sensor repeats the exposure period and the non-exposure period by the global shutter method every other frame period.
  • the projector image 41 of the projector 40 and the monitor image 51 of the monitor 50 are shown as blinking light sources.
  • the projector 40 emits light during the exposure period of the image sensor.
  • the monitor 50 also emits light during the exposure period of the image sensor. Therefore, the projector image 41 and the monitor image 51 appear bright in the image captured by the image sensor, and no flicker area is generated.
  • FIG. 1 [B] shows a case where a flicker area is generated in the projector image 41.
  • the projector 40 emits light during the non-exposure period of the image sensor.
  • the monitor 50 emits light during the exposure period of the image sensor. Therefore, in the image captured by the image sensor, the light emitted from the projector 40 cannot be sufficiently exposed, the region of the projector image 41 becomes dark, and a flicker area 42 is generated.
  • FIG. 1 [C] shows a case where a flicker area occurs in the monitor image 51.
  • the projector 40 emits light during the exposure period of the image sensor.
  • the monitor 50 emits light during the non-exposure period of the image sensor. Therefore, in the image captured by the image sensor, the light emitted from the monitor 50 cannot be sufficiently exposed, the area of the monitor image 51 becomes dark, and the flicker area 52 is generated.
  • Flicker areas 42 and 52 are generated in the global shutter type image sensor by the generation process as described above.
  • FIG. 2 is a diagram illustrating a flicker area generated in a rolling shutter type image sensor. As shown in the exposure chart of the figure, in the rolling shutter type image sensor, the timing of the exposure period and the non-exposure period gradually shifts between the lines.
  • a band-shaped flicker area 43 is generated for a line whose non-exposure period overlaps with the light emission period of the projector 40.
  • a band-shaped flicker area 53 is generated for the line whose non-exposure period overlaps with the light emission period of the monitor 50.
  • Flicker areas 43 and 53 are generated in the rolling shutter type image sensor by the generation process as described above.
  • FIG. 3 is a block diagram showing a configuration example of the image pickup apparatus 100.
  • the image sensor 100 includes a lens 110, an optical system 120, an image sensor a, an image sensor b, a drive unit 130, a video signal processing unit 140, a video signal output unit 150, and a CPU (Central Processing Unit) unit 160. Be prepared.
  • the lens 110 forms an image of incident light from the subject.
  • the optical system 120 is composed of prisms, and the light flux imaged by the lens 110 is divided to obtain two subject images.
  • the image pickup elements a and b are image pickup devices that can be driven by the global shutter method.
  • the image pickup elements a and b are monochrome image pickup elements or image pickup elements of a color mosaic filter.
  • the image pickup surfaces of the image pickup elements a and b are positioned and arranged so as to receive substantially the same image position of each subject image obtained by the optical system 120.
  • the image pickup elements a and b may be arranged so that the phase of the pixel arrangement on the image pickup surface is shifted (for example, by half a phase in the vertical and horizontal directions) for super-resolution.
  • the image pickup elements a and b may receive different amounts of light or may have different exposure times for wide dynamic range synthesis.
  • the drive unit 130 includes a drive signal generation unit 131 that generates a drive signal (for example, a horizontal synchronization signal, a vertical synchronization signal, etc.) of an image pickup device, and a drive delay unit 132 that delays the drive signal by an arbitrary delay time.
  • a drive signal generation unit 131 that generates a drive signal (for example, a horizontal synchronization signal, a vertical synchronization signal, etc.) of an image pickup device
  • a drive delay unit 132 that delays the drive signal by an arbitrary delay time.
  • the exposure start timing of the image sensor b is delayed by a predetermined delay time with respect to the exposure start timing of the image sensor a.
  • the video signal processing unit 140 includes a signal delay unit 141, a signal comparison unit 142, a signal correction unit 143, a video composition unit 144, and a gamma correction unit 145.
  • the signal delay unit 141 delays the video signal Va output from the image sensor a and outputs it as the video signal Va'. By this delay processing, the deviation of the frame period between the video signals Va'and Vb is reduced.
  • the signal comparison unit 142 compares the signal levels of the video signals Va'and Vb with the deviation of the frame period reduced in pixel units or pixel block units, and obtains the level difference.
  • the signal comparison unit 142 detects the flicker area generated in the captured image as an area based on the obtained level difference.
  • the signal correction unit 143 performs correction to reduce the influence of the flicker area detected in the area.
  • the corrected video signals Ea and Eb are input to the video compositing unit 144.
  • the video compositing unit 144 synthesizes the video signals Ea and Eb with the influence of the flicker area reduced into a predetermined video signal (luminance color difference signal, etc.).
  • the video compositing unit 144 obtains a super-resolution component between the video signals and performs a process of increasing the resolution of the composite image.
  • the image compositing unit 144 complements the overexposure component and the underexposure component of the image signals Va'and Vb to each other to have a wide dynamic range. Perform the compositing process.
  • the gamma correction unit 145 performs video signal processing such as gain correction, gamma correction, knee correction, contour correction, demosaic processing, and color correction on the combined video signal.
  • the video signal output unit 150 converts the video signal output from the video signal processing unit 140 into a predetermined video signal format such as HD-SDI (High Definition Serial Digital Interface) and outputs it to the outside.
  • HD-SDI High Definition Serial Digital Interface
  • the CPU unit 160 executes control of the drive unit 130, control of the video signal processing unit 140, and the like.
  • FIG. 4 is a diagram showing flicker areas 42 and 52 generated in the global shutter type image sensors a and b, respectively.
  • FIG. 4 intentionally shows a case in which the frame frequency (frame rate) of the image pickup apparatus 100 substantially matches the emission frequency of the blinking light source (projector 40, monitor 50) as a case where flicker detection becomes difficult in Patent Document 1. There is.
  • the drive unit 130 delays the exposure start timing of the image sensor b by, for example, a delay time of n lines with respect to the exposure start timing of the image sensor a.
  • the captured image of the image sensor a and the captured image of the image sensor b are not captured images at the same time because there is a time difference of the exposure start timing for the delay time.
  • the time for n lines is a moment (about 15 microseconds x n lines). Therefore, unless the subject moves at high speed, it can be considered that the subject at the same time is captured by the image sensor a and the image sensor b.
  • the image pickup apparatus 100 photographs the projector 40 and the monitor 50 as subjects.
  • the projector 40 emits light during the exposure period of the image sensor a and emits light during the non-exposure period of the image sensor b.
  • the monitor 50 emits light during the non-exposure period of the image sensor a and emits light during the exposure period of the image sensor b.
  • the image captured by the image sensor a the light emitted from the monitor 50 is not exposed, the area of the monitor image 51 becomes dark, and a flicker area 52 is generated.
  • the image captured by the image sensor b the light emitted from the projector 40 is not exposed, the region of the projector image 41 becomes dark, and a flicker area 42 is generated.
  • the timing of the non-exposure period of the image pickup elements a and b is shifted, and the flicker area generated in the image pickup images of the image pickup elements a and b does not occur in the same area.
  • FIG. 5 is a diagram illustrating detection and correction of a flicker area in the global shutter type image sensors a and b.
  • the signal delay unit 141 delays the video signal Va output from the image sensor a by the same time as the delay time of the drive delay unit 132, and outputs the video signal Va ′.
  • the video signal Va' is in phase with the video signal Vb of the image sensor b in the frame period.
  • the signal comparison unit 142 captures the video signals Va'and Vb in pixel units or pixel block units, compares the signal levels of both, and obtains a local level difference.
  • Such a comparison may be performed for the luminance component, or for each color component of the color mosaic (for example, each color component of red, green, and blue in the Bayer array).
  • the average signal levels of the video signals Va'and Vb are adjusted before the level difference is obtained.
  • the level difference in pixel units can be simply obtained. Further, even when the pixel phase shift can be ignored due to the reason of the resolving power of the lens 110, the optical system 120, the optical low-pass filter, etc., the level difference in pixel units can be simply obtained.
  • pixel interpolation may be performed on one or both of the video signals Va'and Vb to align the pixel phases of the video signals Va'and Vb, and then the level difference may be obtained. Further, the video signal Va'and Vb may be multiplied by LPF (Low Pass Filter) to blunt the video signal waveform, and then the level difference may be obtained.
  • LPF Low Pass Filter
  • the signal level may be compared in units of pixel blocks composed of a plurality of pixels (m ⁇ m pixels, etc.). As the pixel phase shift is smaller than the pixel block size, the effect of the pixel phase shift described above is reduced. Further, by obtaining the signal level for each pixel block, low illuminance noise and the like can be suppressed.
  • the level difference in pixel block units is determined by comparing the signal levels between the low resolution video signals. You may get it.
  • the flicker areas 42 and 52 occur when the timing of the light emitting period of the blinking light source (projector 40 or monitor 50) and the timing of the non-exposure period of the image pickup devices a and b overlap. Therefore, the signal levels of the flicker areas 42 and 52 are lower than those of the captured images in which flicker does not occur.
  • the signal comparison unit 142 determines that the flicker area 52 whose signal level is significantly lower in the video signal Va'is the flicker area 52 of the video signal Va'. Further, the signal comparison unit 142 determines that the flicker area 42 in which the signal level is significantly lower in the video signal Vb is determined to be the flicker area 42 in the video signal Vb.
  • the signal comparison unit 142 vertically and horizontally arranges the correction gains based on the level difference of the flicker area 52 to generate a gain map Ma for the video signal Va'. Further, the signal comparison unit 142 vertically and horizontally arranges the correction gains based on the level difference of the flicker area 42 to generate a gain map Mb for the video signal Vb.
  • the signal correction unit 143 generates a video signal Ea in which the flicker area 52 is corrected by correcting each pixel of the video signal Va'by the correction gain of the gain map Ma. Further, the signal correction unit 143 generates the video signal Eb in which the flicker area 42 is corrected by correcting each pixel of the video signal Vb by the correction gain of the gain map Mb.
  • the flicker area 52 of the video signal Va' may be replaced with the corresponding area of the video signal Vb to generate the video signal Ea in which the flicker area 52 is corrected. Further, the flicker area 42 of the video signal Vb may be replaced with the corresponding area of the video signal Va'to generate the video signal Eb in which the flicker area 42 is corrected.
  • the exposure start timings of the image pickup devices a and b are shifted by a predetermined delay time.
  • the timing of the non-exposure period of the image sensors a and b shifts. Therefore, when a blinking light source that causes flicker is present within the shooting angle of view, a frame in which flicker occurs (a frame in which the timing of the light emitting period of the blinking light source and the timing of the non-exposure period overlap) occurs in each of the image sensors a and b. It shifts. Therefore, it is possible to determine which of the image sensors a and b has flicker by detecting which of the video signals generated at substantially the same image position is darker between the image sensors a and b. become.
  • the first embodiment in order to detect a region of a level difference generated in a video signal generated at substantially the same image position between the image pickup elements a and b in pixel units or pixel block units, imaging is performed.
  • the flicker area generated in the image can be detected as an area.
  • the frame frequency is fixed by a synchronization signal with an external device, or the frame frequency (frame rate) as in the television broadcasting standard. ) Is strictly defined, it is possible to reliably detect and correct flicker.
  • At least one of the video signals Va and Vb output from the plurality of image pickup elements a and b whose exposure start timings are deviated is delayed to determine the frame period between the plurality of video signals.
  • a signal delay unit 141 for reducing the deviation is provided. Therefore, the signal comparison unit 142 can easily detect the level difference in the video signal with the deviation of the frame period reduced.
  • the delay time of the drive unit 130 is controlled so that the flicker area does not occur in the same area between the captured images of the image pickup elements a and b.
  • Such a state can be realized, for example, by setting the time interval (that is, the delay time) of the non-exposure period of the image pickup devices a and b to be longer than the light emission period of the blinking light source.
  • Example 2 ⁇ Structure of Example 2>
  • the features of the second embodiment are that a rolling shutter type image sensor is adopted for the image pickup elements a and b, and that the drive signal generation unit 131 generates a rolling shutter type drive signal. Since the other configurations of the second embodiment are the same as the configurations of the first embodiment (FIG. 3), duplicate description here will be omitted.
  • FIG. 6 is a diagram showing flicker areas generated in the rolling shutter type image sensors a and b, respectively.
  • FIG. 6 intentionally shows a case in which the frame frequency (frame rate) of the image pickup apparatus 100 substantially matches the emission frequency of the blinking light source (projector 40, monitor 50) as a case where flicker detection becomes difficult in Patent Document 1. There is.
  • the flicker area 43a darkened in a band shape is generated in the line where the non-exposure period overlaps with the light emission period of the projector 40.
  • the flicker area 53a darkened in a band shape is generated in the line where the non-exposure period overlaps with the light emission period of the monitor 50.
  • the flicker area 43b darkened in a band shape is generated in the line where the non-exposure period overlaps with the light emission period of the projector 40.
  • a band-shaped darkened flicker area 53b is generated in the line where the non-exposure period overlaps with the light emission period of the monitor 50.
  • the drive unit 130 delays the exposure start timing of the image sensor b by, for example, a delay time of n lines with respect to the exposure start timing of the image sensor a.
  • This delay time is controlled so that the band-shaped flicker areas 43a and 53a generated in the image sensor a and the band-shaped flicker areas 43b and 53b generated in the image sensor b do not occur on the same line, respectively.
  • FIG. 7 is a diagram illustrating detection and correction of a flicker area in the rolling shutter type image pickup elements a and b.
  • the operational features of the second embodiment are that the band-shaped flicker areas 43a and 53a are detected for the video signal Va'of the image sensor a and the band-shaped flicker areas 43b and 53b are detected for the video signal Vb of the image sensor b. It is a point to be done. Since the other operations are the same as the operations of the first embodiment (see FIG. 5), duplicate description will be omitted here.
  • Example 2 the same effect as in Example 1 is obtained.
  • the delay time of the drive unit 130 is controlled so that the band-shaped flicker area does not occur on the same line between the captured images of the image pickup elements a and b.
  • Such a state can be realized, for example, by setting the delay time longer than the maximum number of lines in the strip-shaped flicker area. As a result, since flicker does not occur on the same line in the image pickup devices a and b, the level difference is not canceled out and the flicker area is not failed to be detected.
  • Example 3 is an embodiment of a dual green 4-panel image pickup apparatus.
  • FIG. 8 is a block diagram showing a configuration example of the image pickup apparatus 200.
  • the image pickup device 200 includes a lens 210, an optical system 220, four image pickup elements R, B, Ga, Gb, a drive unit 230, a video signal processing unit 240, a video signal output unit 250, and a CPU unit 260. ..
  • the lens 210 forms an image of incident light from the subject.
  • the optical system 220 is composed of a dichroic prism, and divides the luminous flux imaged by the lens 210 into each color component including a red component, a blue component, and two green components to obtain four subject images.
  • the four image pickup elements R, B, Ga, and Gb are image pickup elements that can be driven by the global shutter method or the rolling shutter method.
  • the image pickup surfaces of the four image pickup elements R, B, Ga, and Gb are positioned and arranged so as to receive substantially the same image positions of the subject images of the red component, the blue component, and the two green components.
  • the two image pickup elements Ga and Gb are arranged by shifting the phase of the pixel arrangement on the image pickup surface by, for example, half a phase in the vertical and horizontal directions (spatial pixel shift).
  • the image pickup devices Ga and Gb may receive different amounts of light or may have different exposure times for wide dynamic range synthesis.
  • the drive unit 230 includes a drive signal generation unit 231 that generates a signal for driving the image sensor (for example, a horizontal synchronization signal, a vertical synchronization signal, etc.), and a drive delay unit 232 that delays the drive signal by an arbitrary delay time. ..
  • the exposure start timing of the image pickup device Gb is delayed by a predetermined delay time with respect to the exposure start timings of the other image pickup devices Ga, R, and B.
  • the video signal processing unit 240 includes a signal delay unit 241, a signal comparison unit 242, a signal correction unit 243, a video composition unit 244, and a gamma correction unit 245.
  • the signal delay unit 241 delays the Ga signal, the R signal, and the B signal read as video signals from the image pickup devices Ga, R, and B, respectively. By this delay processing, the deviation of the frame period between the Gb signal, the Ga signal, the R signal, and the B signal is reduced.
  • the signal comparison unit 242 compares the signal levels of the Ga signal and the Gb signal in which the deviation of the frame period is reduced in pixel units or pixel block units, and obtains the level difference.
  • the signal comparison unit 242 generates a flicker area from the video signal based on the relationship between the positive and negative of the level difference obtained as described above and the exposure start timing of the image sensors R, B, Ga, and Gb of each color component.
  • the video signal is selected, and the flicker area generated in the selected video signal is detected in the area.
  • the signal correction unit 243 performs correction to reduce the influence of the flicker area detected in the area according to the obtained level difference.
  • the corrected video signal is input to the video compositing unit 244.
  • the video compositing unit 244 synthesizes a predetermined video signal (luminance color difference signal, etc.) based on the video signal corrected for the flicker area. At this time, the video compositing unit 244 obtains a super-resolution component based on the spatial pixel shift of the image pickup devices Ga and Gb, and performs a process of increasing the resolution of the video signal.
  • a predetermined video signal luminance color difference signal, etc.
  • the image synthesizer 244 complements the overexposure component and the underexposure component of the Ga signal and the Gb signal with each other to synthesize a wide dynamic range. Is processed.
  • the gamma correction unit 245 performs video signal processing such as gain correction, gamma correction, knee correction, contour correction, and color correction on the combined video signal.
  • the video signal output unit 250 converts the video signal output from the video signal processing unit 140 into a predetermined video signal format such as HD-SDI and outputs it to the outside.
  • the CPU unit 260 executes control of the drive unit 230, control of the video signal processing unit 240, and the like.
  • Example 3 ⁇ Operation of Example 3> Subsequently, the operation of the third embodiment will be specifically described. 9 and 10 are flow charts showing the operation of the dial green 4-plate type image pickup apparatus 200. The procedure for detecting and correcting flicker will be described along with the step numbers shown in these figures.
  • Step S11 The CPU unit 260 sets a delay time for, for example, n lines with respect to the drive delay unit 232.
  • the CPU unit 260 sets this delay time longer than the light emission period of the blinking light source that is the source of flicker. With this setting, the flicker area does not occur in the same area between the captured images of the image sensors Ga and Gb.
  • the CPU unit 260 sets this delay time longer than the scanning time for the maximum line of the band-shaped flicker area. With this setting, band-shaped flicker areas do not occur on the same line between the captured images of the image sensors Ga and Gb.
  • Step S12 The CPU unit 260 also sets the delay time set in the drive delay unit 232 for the signal delay unit 241 as well.
  • Step S13 The CPU unit 260 receives an imaging / pause / stop instruction by the operator via the photographing operation unit (not shown) of the imaging device 200. In response to the imaging instruction, the CPU unit 260 shifts the operation to step S14. In response to the pause instruction, the CPU unit 260 waits for an operation in step S13. In response to the stop instruction, the CPU unit 260 stops the operation of the image pickup apparatus 200.
  • Step S14 The CPU unit 260 instructs the drive unit 230 to perform an imaging operation.
  • the drive signal generation unit 231 generates a drive signal (for example, a horizontal synchronization signal, a vertical synchronization signal, etc.) of the image pickup device.
  • This drive signal is supplied to the image sensors R, B, and Ga.
  • the image sensor Gb is supplied with a drive signal delayed by the delay time of n lines via the drive delay unit 232. By supplying the drive signal in this way, the exposure start timing of the image pickup device Gb is delayed by the delay time of n lines with respect to the exposure start timing of the image pickup devices R, B, and Ga.
  • Step S15 The signal delay unit 241 reduces the deviation of the frame period from the video signal of the image sensor Gb by delaying the video signal of the image sensor R, B, Ga by the delay time of n lines.
  • Step S16 The signal comparison unit 242 locally compares the Ga signal and the Gb signal (pixel unit or pixel block unit) to obtain a level difference.
  • the details of the comparison process are the same as those in Examples 1 and 2.
  • Step S17 The signal comparison unit 242 detects an area where the Gb signal becomes darker than the Ga signal significantly exceeding the noise level as a flicker area of the Gb signal.
  • the signal comparison unit 242 arranges the local gain difference (correction gain) of (Ga signal / Gb signal) with respect to the flicker area of the Gb signal, and creates a gain map Mb for Gb signal correction.
  • the noise included in the gain map Mb may be suppressed by performing a local smoothing process on the correction gain of the gain map Mb.
  • Step S18 The signal comparison unit 242 detects an area where the Ga signal becomes darker than the Gb signal significantly beyond the noise level as a flicker area of the Ga signal.
  • the signal comparison unit 242 arranges the local gain difference (correction gain) of (Gb signal / Ga signal) with respect to the flicker area of the Ga signal, and creates a gain map Ma for Ga signal correction.
  • the noise included in the gain map Ma may be suppressed by performing a local smoothing process on the correction gain of the gain map Ma.
  • Step S19 When the flicker area is detected in the Gb signal in step S17, the signal correction unit 243 shifts the operation to step S20. On the other hand, when the flicker area is not detected in the Gb signal, the signal correction unit 243 shifts the operation to step S23.
  • Step S20 The signal correction unit 243 determines whether or not the representative value of the gain map Mb (for example, an intermediate value, a maximum value, an average value, etc.) exceeds the limit of the imaging sensitivity of the imaging apparatus 200.
  • the limit of the imaging sensitivity here is an upper limit value of the amplification gain at which the noise feeling becomes unacceptable when the video signal is amplified based on the S / N ratio of the video signal. If the limit of the imaging sensitivity is not exceeded, the signal correction unit 243 shifts to the operation in step S21. On the contrary, when the limit of the imaging sensitivity is exceeded, the signal correction unit 243 shifts to the operation in step S22.
  • Step S21 The signal correction unit 243 amplifies the flicker area of the Gb signal according to the correction gain of the gain map Mb, thereby raising the signal level of the Gb signal to the same level as the Ga signal and correcting the flicker area.
  • the signal correction unit 243 shifts to the operation in step S23.
  • Step S22 The signal correction unit 243 replaces the flicker area of the Gb signal with the interpolated pixel value of the corresponding area of the Ga signal.
  • the interpolated pixel value is used because the Ga signal and the Gb signal are spatially pixel-shifted for super-resolution, and therefore it is necessary to align the phases of the pixel positions.
  • Step S23 When a flicker area is detected in the Ga signal in step S18, it is determined that the same flicker area has occurred in the R signal and the B signal captured in the same frame period as the Ga signal. This is because most of the blinking light sources are white light, and flicker occurs in wavelength ranges other than green. In this case, the signal correction unit 243 corrects the flicker area for the R, B, and Ga signals, so that the operation shifts to step S24. On the other hand, when the flicker area is not detected in the Ga signal, the flicker area does not occur in the R signal and the B signal captured in the same frame period as the Ga signal. In this case, the signal correction unit 243 omits the correction of the flicker area for the R, B, and Ga signals, and returns the operation to step S13.
  • Step S24 The signal correction unit 243 determines whether or not the representative value of the gain map Ma (for example, an intermediate value, a maximum value, an average value, etc.) exceeds the limit of the imaging sensitivity of the imaging apparatus 200. If the limit of the imaging sensitivity is not exceeded, the signal correction unit 243 shifts to the operation in step S25. On the contrary, when the limit of the imaging sensitivity is exceeded, the signal correction unit 243 shifts to the operation in step S26.
  • the representative value of the gain map Ma for example, an intermediate value, a maximum value, an average value, etc.
  • Step S25 The signal correction unit 243 amplifies the flicker area of the Ga signal according to the correction gain of the gain map Ma, thereby raising the signal level of the Ga signal to the same level as the Gb signal and correcting the flicker area.
  • the signal correction unit 243 shifts to the operation in step S27.
  • Step S26 The signal correction unit 243 replaces the flicker area of the Ga signal with the interpolated pixel value of the corresponding area of the Gb signal.
  • Step S27 The signal correction unit 243 applies gain correction to the flicker area of the R signal based on the gain map Ma.
  • the R signal may be amplified according to the correction gain of the gain map Ma.
  • the flicker area of the R signal may be gain-corrected based on the multiplication value of the “correction multiple of the green component of the gain map Ma” and the “emission ratio of red light / green light of the blinking light source”.
  • Step S28 The signal correction unit 243 applies gain correction to the flicker area of the B signal based on the gain map Ma.
  • the B signal may be amplified according to the correction gain of the gain map Ma.
  • the flicker area of the B signal may be gain-corrected based on the multiplication value of the “correction multiple of the green component of the gain map Ma” and the “emission ratio of blue light / green light of the blinking light source”.
  • the CPU unit 260 In order to repeat the series of operations described above for each frame period, the CPU unit 260 returns the operations to step S13.
  • Example 3 in addition to the same effects as in Examples 1 and 2, the following effects are exhibited.
  • Example 3 the exposure start timings of the dual green image pickup devices Ga and Gb are shifted by a predetermined delay time. As a result, the timings of the non-exposure periods of the image pickup devices Ga and Gb do not overlap. Therefore, when a blinking light source that causes flicker is present within the shooting angle of view, it is possible to shift the frame or line in which the timings of the flashing light source's light emission period and the non-exposure period overlap in the image sensors Ga and Gb. .. Therefore, it is possible to determine which of the image sensors Ga and Gb has flicker by detecting which of the G signals generated at substantially the same image position is darker between the image sensors Ga and Gb. become.
  • the areas where the levels of the Ga signal and the Gb signal, which are generated at substantially the same image positions, differ between the dual green image sensors Ga and Gb are set in pixel units or pixel block units. By detecting, it becomes possible to detect the area of the flicker area generated in the captured image. Further, for the remaining image sensors R and B, the exposure start timing (that is, the frame period) coincides with that of the image sensor Ga, so that the image sensors R and B have a flicker area similar to that of the image sensor Ga. Can be determined.
  • the frame frequency (frame rate) of the imaging device substantially matches the emission frequency of the blinking light source, as described in the first and second embodiments (see FIGS. 4 and 6). It is also possible to detect and correct flicker. Therefore, it is possible to detect and correct the occurrence of flicker regardless of the frame frequency.
  • the frame frequency is fixed by a synchronization signal with an external device, or the frame frequency (frame rate) as in the television broadcasting standard. ) Is strictly defined, it is possible to reliably detect and correct flicker.
  • the deviation of the frame period from the Gb signal is reduced by delaying the Ga signal, the R signal, and the B signal that precede the exposure start timing. Therefore, it is possible to obtain a video signal (a video signal compatible with a video signal having substantially the same frame period) as that of the conventional dial-green type four-plate image pickup device.
  • the signal comparison unit 242 can easily detect the level difference between the Ga signal and the Gb signal in a state where the frame periods are substantially the same.
  • the drive signal delayed by the delay time may be supplied to the image pickup devices R, B, and Ga via the drive delay unit 232. In this case, the signal delay unit 241 delays the video signal of the image sensor Gb by the delay time, so that the frame periods of the video signals of the image sensors R, B, Ga, and Gb can be aligned.
  • the delay time of the drive unit 230 is controlled so that the flicker area does not occur in the same area or the same line between the captured images of the image pickup devices Ga and Gb. Therefore, since flicker does not occur together between the video signals generated at substantially the same image position of the image pickup devices Ga and Gb, the level difference is not canceled and the flicker area is not failed to be detected.
  • Example 3 the delay time of Example 3 can be made sufficiently shorter than the one-frame period. Therefore, between the Ga signal and the Gb signal, the change in brightness and the change in the band pattern of the subject itself (which does not change as fast as the blinking light source) are slight. Therefore, in the third embodiment, there is less possibility that a change in brightness or a change in the band pattern of the subject itself is erroneously detected as a flicker.
  • an optical system that obtains a plurality of subject images such as a half mirror optical system, a pupil split optical system, and a compound eye optical system may be adopted.
  • a pupil division type image sensor is adopted as a device that integrally includes a pupil division optical system that obtains a plurality of subject images and a plurality of image pickup elements (image pickup pixel groups) that receive a plurality of subject images, respectively.
  • the image pickup device of the present invention is provided by a one-chip image pickup device by further forming an image processing circuit including a signal delay section, a signal comparison section, and a signal correction section with respect to this pupil division type image pickup device. It may be realized. Further, a drive unit that drives a plurality of image pickup pixel groups at different exposure start timings may be further added to the image sensor of one chip.
  • the image pickup apparatus may be configured by a combination of a camera and an image processing apparatus, and the functions of a signal comparison unit and a signal correction unit may be provided on the image processing apparatus side.
  • Such a video processing device may be configured as a computer system equipped with a CPU (Central Processing Unit), memory, or the like as hardware.
  • the computer system may function as a signal comparison unit and a signal correction unit by executing a video processing program (a program similar to steps S16 to S28 in FIGS. 9 and 10) by this hardware.
  • DSP Digital Signal Processor
  • FPGA Field-Programmable Gate Array
  • GPU Graphics Processing Unit
  • PLD programmable logic device
  • the present invention is not limited to this.
  • a video signal shot with the exposure start shifted on the camera side is subjected to minimum video processing and recorded as RAW data. Even if this recorded RAW data is later processed by a video processing device (RAW development processing device or video processing program) having the functions of a signal comparison unit and a signal correction unit to perform "flicker area detection and correction". Good.
  • RAW development processing device or video processing program having the functions of a signal comparison unit and a signal correction unit to perform "flicker area detection and correction".
  • the present invention is not limited to the above-described embodiment, and includes various modifications.
  • the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the configurations and processes described.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本発明は、フレーム周波数に拘わらず、フリッカの発生を検出する技術を提供する。代表的な本発明の撮像装置の一つは、光学系、複数の撮像素子、駆動部、信号比較部、および信号補正部を備える。前記光学系は、被写体の光束を複数に分けて複数の被写体像を得る。複数の前記撮像素子は、複数の前記被写体像をそれぞれ受光する。前記駆動部は、少なくとも２つの前記撮像素子の間で露光開始タイミングを所定の遅延時間ずらして撮像を行う。前記信号比較部は、露光開始タイミングのずれた前記撮像素子の間において、略同一の像位置で生成される映像信号のレベル相違を画素単位または画素ブロック単位に検出し、前記レベル相違に基づいて撮像画像内に発生したフリッカエリアを領域検出する。前記信号補正部は、領域検出されたフリッカエリアを補正する。

Description

撮像装置、撮像方法、および映像処理プログラム
　本発明は、撮像装置、撮像方法、および映像処理プログラムに関する。
　近年、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）撮像素子の性能向上により、ＣＣＤ（Charge　Coupled　Device）撮像素子が主流であった放送カメラなどの業務用撮像装置においても、ＣＭＯＳ撮像素子の採用が増えている。
　ＣＭＯＳ撮像素子は、主走査方向の水平ライン（以下「ライン」という）ごとに露光するローリングシャッタ方式のものと、フレーム単位に一括露光するグローバルシャッタ方式のものとがある。
　また、ＣＭＯＳ撮像素子は、１フレーム期間の全てを露光できず、１フレーム期間中に「非露光期間」が存在するものが多い。
　ところで、映像表示装置であるモニタやプロジェクタは、表示する画像に合わせて表示素子のスイッチマトリクスを組み替えた後にバックライトを発光する動作を繰り返して所定の映像を表示または投影している。
　一般に、この種の表示装置は、テレビジョン規格のフレーム周波数またはその逓倍周波数で点滅発光する。
　この場合、表示装置の発光期間が、撮像素子の非露光期間とタイミングが一致した瞬間に、表示装置の発光の一部または全部が露光されずに暗くなり、撮像画像に輝度ムラが生じる。
　この輝度ムラは、一種のフリッカであり、グローバルシャッタ方式の撮像素子の場合は撮像画像すなわち１フレームを単位に発生する。また、ローリングシャッタ方式の撮像素子の場合は帯状すなわち複数ラインを単位に発生する。
　さらに、多くの場合、バックライトの発光周波数と撮像素子のフレーム周波数は完全には一致しない。そのため、バックライトの発光期間と撮像素子の非露光期間は僅かずつずれながら、一定の長周期を経て再びタイミングが重なる。
　これにより、グローバルシャッタ方式の撮像素子の場合、一定の長周期ごとに瞬間的に暗転するタイプのフリッカが発生する。
　また、ローリングシャッタ方式の撮像素子の場合、一定の長周期をかけて撮像画像内を帯状の輝度ムラが副走査方向に移動するタイプのフリッカが発生する。
　従来、フリッカを検出して補正する方法として、特許文献１には『映像信号の前後フレームのフレーム間差に基づいてフリッカを検出し補正する』旨の技術が開示されている。
特表２００９－５２２９４８号公報
　前述したフリッカを発生させないためには、撮像素子の非露光期間を無くすことが考えられる。すなわち１フレーム期間のほぼ全てを露光するということであり、ＣＣＤ撮像素子であれば可能である。しかしながら、ＣＭＯＳ撮像素子は、その構造原理上から非露光期間を無くすことができない場合が多い。
　また、特許文献１のように、前後フレームのフレーム間差に基づいてフリッカを検出する手段では、前後フレームの間に１フレーム期間に相当する時間間隔が存在する。そのため、１フレーム期間相当の時間間隔の間に被写体それ自体が明暗変化したり、被写体の帯状の模様が移動したりした場合、被写体それ自体の変化を誤ってフリッカとして検出してしまうという問題があった。
　さらに、バックライトの発光周波数と撮像素子のフレーム周波数が一致すると、バックライトの発光期間と撮像素子の非露光期間（または露光期間）が常に一致する。この場合、グローバルシャッタ方式の撮像素子では、被写体の実際の見た目とは異なり、撮像画像内の被写体が暗くなったまま（または明るくなったまま）になる。この状態でフレーム間差は検出されないため、特許文献１の技術ではフリッカを検出できない。また、ローリングシャッタ方式の撮像素子では、帯状のフリッカが撮像画像の一定位置に停止する。この場合も、フレーム間差は検出されないため、特許文献１の技術ではフリッカを検出できない。
　なお、発光周波数とフレーム周波数が一致することを避ける方策として、特許文献１には、撮像装置のフレーム周波数（フレームレート）を変化させる方法が開示されている。
　しかしながら、フレーム周波数が外部機器と同期する場合や、放送カメラのように規格上においてフレーム周波数（フレームレート）が固定されている場合は、フレームレートを変化させる方策は採用できない。
　そこで、本発明は、フレーム周波数に拘わらず、フリッカの発生を検出する技術を提供することを目的とする。
　上記課題を解決するために、代表的な本発明の撮像装置の一つは、光学系、複数の撮像素子、駆動部、信号比較部、および信号補正部を備える。前記光学系は、被写体の光束を複数に分けて複数の被写体像を得る。複数の前記撮像素子は、複数の前記被写体像をそれぞれ受光する。前記駆動部は、少なくとも２つの前記撮像素子の間で露光開始タイミングを所定の遅延時間ずらして撮像を行う。前記信号比較部は、露光開始タイミングのずれた前記撮像素子の間において、略同一の像位置で生成される映像信号のレベル相違を画素単位または画素ブロック単位に検出し、前記レベル相違に基づいて撮像画像内に発生したフリッカエリアを領域検出する。前記信号補正部は、領域検出されたフリッカエリアを補正する。
　本発明によれば、フレーム周波数に拘わらず、フリッカの発生を検出することが可能になる。
　上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
図１は、グローバルシャッタ方式の撮像素子に生じるフリッカエリアを説明する図である。 図２は、ローリングシャッタ方式の撮像素子に生じるフリッカエリアを説明する図である。 図３は、撮像装置１００の構成例を示すブロック図である。 図４は、グローバルシャッタ方式の撮像素子ａ，ｂにそれぞれ生じるフリッカエリアを示す図である。 図５は、グローバルシャッタ方式の撮像素子ａ，ｂにおけるフリッカエリアの検出および補正を説明する図である。 図６は、ローリングシャッタ方式の撮像素子ａ，ｂにそれぞれ生じるフリッカエリアを示す図である。 図７は、ローリングシャッタ方式の撮像素子ａ，ｂにおけるフリッカエリアの検出および補正を説明する図である。 図８は、撮像装置２００の構成例を示すブロック図である。 図９は、ディアルグリーン４板式の撮像装置２００の動作を示す流れ図（１／２）である。 図１０は、ディアルグリーン４板式の撮像装置２００の動作を示す流れ図（２／２）である。
＜フリッカエリアの発生原因について＞
　実施形態の説明に先立って、フリッカエリアの発生プロセスについて説明する。
（１）　グローバルシャッタ方式の撮像素子の例
　図１は、グローバルシャッタ方式の撮像素子に生じるフリッカエリアを説明する図である。
　図１［Ａ］には、フリッカエリアが発生しないケースが示される。
　同図の露光チャートに示すように、撮像素子は、１フレーム期間おきに、グローバルシャッタ方式による露光期間および非露光期間を繰り返す。
　一方、撮像画像には、点滅光源として、プロジェクタ４０のプロジェクタ映像４１と、モニタ５０のモニタ映像５１とが写っている。図１［Ａ］のケースでは、プロジェクタ４０は、撮像素子の露光期間中に発光する。また、モニタ５０も、撮像素子の露光期間中に発光する。そのため、撮像素子の撮像画像には、プロジェクタ映像４１およびモニタ映像５１が明るく写り、フリッカエリアは発生しない。
　図１［Ｂ］には、プロジェクタ映像４１にフリッカエリアが発生するケースが示される。
　同図のケースでは、プロジェクタ４０は、撮像素子の非露光期間中に発光する。一方、モニタ５０は、撮像素子の露光期間中に発光する。そのため、撮像素子の撮像画像では、プロジェクタ４０の発光を十分に露光できず、プロジェクタ映像４１の領域が暗くなってフリッカエリア４２が発生する。
　図１［Ｃ］には、モニタ映像５１にフリッカエリアが発生するケースが示される。
　同図のケースでは、プロジェクタ４０は、撮像素子の露光期間中に発光する。一方、モニタ５０は、撮像素子の非露光期間中に発光する。そのため、撮像素子の撮像画像では、モニタ５０の発光を十分に露光できず、モニタ映像５１の領域が暗くなってフリッカエリア５２が発生する。
　前述のような発生プロセスにより、グローバルシャッタ方式の撮像素子には、フリッカエリア４２，５２が発生する。
（２）ローリングシャッタ方式の撮像素子の例
　図２は、ローリングシャッタ方式の撮像素子に生じるフリッカエリアを説明する図である。
　同図の露光チャートに示すように、ローリングシャッタ方式の撮像素子は、ライン間において、露光期間および非露光期間のタイミングが徐々にずれる。
　プロジェクタ映像４１が位置する複数ラインの内、非露光期間がプロジェクタ４０の発光期間とタイミングが重なるラインについては、帯状のフリッカエリア４３が発生する。
　また、モニタ映像５１が位置する複数ラインの内、非露光期間がモニタ５０の発光期間とタイミングが重なるラインについては、帯状のフリッカエリア５３が発生する。
　前述のような発生プロセスにより、ローリングシャッタ方式の撮像素子には、フリッカエリア４３，５３が発生する。
　続いて、本発明の個々の実施例について具体的に説明する。
＜実施例１の構成＞
　実施例１として、グローバルシャッタ方式の撮像装置の実施形態について説明する。
　図３は、撮像装置１００の構成例を示すブロック図である。
　同図において、撮像装置１００は、レンズ１１０、光学系１２０、撮像素子ａ、撮像素子ｂ、駆動部１３０、映像信号処理部１４０、映像信号出力部１５０、およびＣＰＵ（Central　Processing　Unit）部１６０を備える。
　レンズ１１０は、被写体からの入射光を結像する。
　光学系１２０は、プリズムから構成され、レンズ１１０により結像される光束を分けて２つの被写体像を得る。
　実施例１では、撮像素子ａ，ｂは、グローバルシャッタ方式で駆動可能な撮像素子である。
　また、撮像素子ａ，ｂは、モノクロの撮像素子、またはカラーモザイクフィルタの撮像素子である。撮像素子ａ，ｂの撮像面は、光学系１２０により得られる各被写体像の略同一の像位置を受光するように位置決めして配置される。
　なお、撮像素子ａ，ｂは、超解像のために、撮像面の画素配列の位相を（例えば縦横方向に半位相ずつ）ずらして配置してもよい。
　また、撮像素子ａ，ｂは、広ダイナミックレンジ合成のために、受光する光量を互いに異ならせたり、露光時間を互いに異ならせてもよい。
　駆動部１３０は、撮像素子の駆動信号（例えば、水平同期信号や垂直同期信号など）を生成する駆動信号生成部１３１と、駆動信号を任意の遅延時間だけ遅延させる駆動遅延部１３２とを備える。
　この駆動遅延部１３２により、撮像素子ｂの露光開始タイミングは、撮像素子ａの露光開始タイミングに対して、所定の遅延時間だけ遅れる。
　映像信号処理部１４０は、信号遅延部１４１、信号比較部１４２、信号補正部１４３、映像合成部１４４、およびガンマ補正部１４５を備える。
　この信号遅延部１４１は、撮像素子ａから出力される映像信号Ｖａを遅延させて、映像信号Ｖａ′として出力する。この遅延処理により、映像信号Ｖａ′，Ｖｂの間のフレーム期間のズレは低減する。
　次に、信号比較部１４２は、フレーム期間のズレを低減した映像信号Ｖａ′，Ｖｂについて、画素単位または画素ブロック単位に信号レベルを比較してレベル相違を求める。
　信号比較部１４２は、求めたレベル相違に基づいて、撮像画像内に生じたフリッカエリアを領域検出する。
　信号補正部１４３は、領域検出されたフリッカエリアの影響を低減する補正を行う。補正後の映像信号Ｅａ，Ｅｂは、映像合成部１４４に入力される。
　映像合成部１４４は、フリッカエリアの影響を低減した映像信号Ｅａ，Ｅｂを所定の映像信号（輝度色差信号など）に合成する。
　ここで、撮像素子ａ，ｂが画素ずらし配列されている場合、映像合成部１４４は、映像信号の間で超解像成分を求めて、合成画像の解像度を高める処理を行う。
　また、撮像素子ａ，ｂの受光量（または露光時間）が互いに異なる場合、映像合成部１４４は、映像信号Ｖａ′，Ｖｂの白飛び成分や黒潰れ成分を互いに補完することにより、広ダイナミックレンジ合成の処理を行う。
　ガンマ補正部１４５は、合成された映像信号に対して利得補正、ガンマ補正、ニー補正、輪郭補正、デモザイク処理、および色補正などの映像信号処理を施す。
　映像信号出力部１５０は、映像信号処理部１４０から出力される映像信号を、ＨＤ－ＳＤＩ（High　Definition　Serial　Digital　Interface）などの所定の映像信号形式に変換し、外部に出力する。
　ＣＰＵ部１６０は、駆動部１３０の制御や、映像信号処理部１４０の制御などを実行する。
＜実施例１の動作＞
　次に、実施例１におけるフリッカエリアの検出および補正について具体的に説明する。
　図４は、グローバルシャッタ方式の撮像素子ａ，ｂにそれぞれ生じるフリッカエリア４２，５２を示す図である。
　図４には、特許文献１においてフリッカ検出が困難となるケースとして、撮像装置１００のフレーム周波数（フレームレート）が点滅光源（プロジェクタ４０、モニタ５０）の発光周波数と略一致するケースをあえて示している。
　同図の露光チャートに示すように、駆動部１３０は、撮像素子ｂの露光開始タイミングを、撮像素子ａの露光開始タイミングに対して、例えばｎライン分の遅延時間だけ遅らせる。
　厳密にいえば、撮像素子ａの撮像画像と、撮像素子ｂの撮像画像は、露光開始タイミングに遅延時間分の時間差があるため、同一時刻の撮像画像ではない。しかし、例えば、フルＨＤ（フレーム周波数６０Ｈｚで総ライン数１１２５本のプログレッシブスキャン）の撮像素子の場合、ｎライン分の時間は（約１５マイクロ秒×ｎライン）という一瞬である。そのため、被写体が高速に動かない限り、撮像素子ａと撮像素子ｂには同一時刻の被写体が写るとみなせる。
　図４では、撮像装置１００は、被写体としてプロジェクタ４０とモニタ５０を撮影する。
　図４に示すフレーム期間のタイミングにおいて、プロジェクタ４０は、撮像素子ａの露光期間に発光し、撮像素子ｂの非露光期間に発光する。モニタ５０は、撮像素子ａの非露光期間に発光し、撮像素子ｂの露光期間に発光する。
　その結果、撮像素子ａの撮像画像では、モニタ５０の発光は露光されず、モニタ映像５１の領域が暗くなってフリッカエリア５２が発生する。撮像素子ｂの撮像画像では、プロジェクタ４０の発光は露光されず、プロジェクタ映像４１の領域が暗くなってフリッカエリア４２が発生する。
　このように、遅延時間をコントロールすることにより、撮像素子ａ，ｂの非露光期間のタイミングがずれて、撮像素子ａ，ｂの撮像画像に発生するフリッカエリアが同一エリアに発生しなくなる。
　図５は、グローバルシャッタ方式の撮像素子ａ，ｂにおけるフリッカエリアの検出および補正を説明する図である。
　同図において、信号遅延部１４１は、撮像素子ａから出力される映像信号Ｖａを駆動遅延部１３２の遅延時間と同一時間だけ遅延させて、映像信号Ｖａ′として出力する。この信号処理により、映像信号Ｖａ′は、撮像素子ｂの映像信号Ｖｂとフレーム期間の位相が一致する。
　次に、信号比較部１４２は、映像信号Ｖａ′，Ｖｂを画素単位または画素ブロック単位に取り込み、両者の信号レベルを比較して局所的なレベル相違を求める。
　このような比較は、輝度成分について行ってもよいし、またカラーモザイクの色成分（例えばベイヤー配列の赤緑青の各色成分）別に行ってもよい。
　なお、撮像素子ａ，ｂの受光量（または露光時間）が予め異なる場合は、レベル相違を求める前に、映像信号Ｖａ′，Ｖｂの平均的な信号レベルを合わせておく。
　映像信号Ｖａ′，Ｖｂの画素位相が一致している場合は、単純に画素単位のレベル相違を求めることができる。また、レンズ１１０や光学系１２０や光学的ローパスフィルタなどの解像力の理由などから画素位相のズレが無視できる場合も、単純に画素単位のレベル相違を求めることができる。
　一方、画素位相のズレが無視できない場合は、映像信号Ｖａ′，Ｖｂの一方または両方について画素補間を行い、映像信号Ｖａ′，Ｖｂの画素位相を揃えてからレベル相違を求めてもよい。また、映像信号Ｖａ′，ＶｂにＬＰＦ（Low　Pass　Filter）を掛けて、映像信号波形を鈍らせてからレベル相違を求めてもよい。
　さらに、複数の画素（ｍ×ｍ画素など）からなる画素ブロック単位に信号レベルを比較してもよい。画素ブロックのサイズに対して画素位相のズレが小さい分だけ、前述した画素位相のズレの影響は軽減する。また、画素ブロック単位で信号レベルを求めることにより低照度ノイズなども抑えることができる。
　また、撮像装置１００内においてスルー画表示用などに映像信号Ｖａ′，Ｖｂをそれぞれ低解像度化している場合は、低解像度映像信号の間で信号レベルを比較することによって画素ブロック単位のレベル相違を得てもよい。
　一般に、フリッカエリア４２，５２は、点滅光源（プロジェクタ４０やモニタ５０）の発光期間と撮像素子ａ，ｂの非露光期間のタイミングが重なって生じる。そのため、フリッカエリア４２，５２は、フリッカの生じていない撮像画像に比べて信号レベルが低くなる。
　そこで、信号比較部１４２は、映像信号Ｖａ′において信号レベルが有意に低くなるフリッカエリア５２を、映像信号Ｖａ′のフリッカエリア５２と判定する。また、信号比較部１４２は、映像信号Ｖｂにおいて信号レベルが有意に低くなるフリッカエリア４２を、映像信号Ｖｂのフリッカエリア４２と判定する。
　信号比較部１４２は、フリッカエリア５２のレベル相違に基づく補正ゲインを縦横配列して、映像信号Ｖａ′に対するゲインマップＭａを生成する。また、信号比較部１４２は、フリッカエリア４２のレベル相違に基づく補正ゲインを縦横配列して、映像信号Ｖｂに対するゲインマップＭｂを生成する。
　信号補正部１４３は、映像信号Ｖａ′の各画素に対してゲインマップＭａの補正ゲイン分の補正を施すことにより、フリッカエリア５２を補正した映像信号Ｅａを生成する。また、信号補正部１４３は、映像信号Ｖｂの各画素に対してゲインマップＭｂの補正ゲイン分の補正を施すことにより、フリッカエリア４２を補正した映像信号Ｅｂを生成する。なお、映像信号Ｖａ′のフリッカエリア５２を、映像信号Ｖｂの対応エリアに置き換えて、フリッカエリア５２を補正した映像信号Ｅａを生成してもよい。また、映像信号Ｖｂのフリッカエリア４２を、映像信号Ｖａ′の対応エリアに置き換えて、フリッカエリア４２を補正した映像信号Ｅｂを生成してもよい。
＜実施例１の効果など＞
（１）実施例１では、撮像素子ａ，ｂの露光開始タイミングを所定の遅延時間ずらす。その結果、撮像素子ａ，ｂの非露光期間のタイミングがずれる。そのため、フリッカの発生原因となる点滅光源が撮影画角内に存在する場合、撮像素子ａ，ｂそれぞれにおいて、フリッカの発生するフレーム（点滅光源の発光期間と非露光期間のタイミングが重なるフレーム）がずれる。そのため、撮像素子ａ，ｂの間において、略同一の像位置で生成される映像信号のどちらが暗いかを検出することにより、撮像素子ａ，ｂのどちらにフリッカが生じたかを判定することが可能になる。
（２）また、実施例１では、撮像素子ａ，ｂの間において、略同一の像位置で生成される映像信号に生じたレベル相違の領域を画素単位または画素ブロック単位に検出するため、撮像画像内に発生したフリッカエリアを領域検出することが可能になる。
（３）前述の特許文献１のように、前後フレームのフレーム間差に基づいてフリッカを検出し補正する技術では、撮像装置のフレーム周波数（フレームレート）が点滅光源の発光周波数と略一致した場合にフリッカを検出できないという問題があった。
　しかしながら、実施例１では、露光開始タイミングのずれた撮像素子ａ，ｂのレベル相違を検出する方式であるため、図４に示したように、撮像装置のフレーム周波数（フレームレート）が点滅光源の発光周波数と略一致してもフリッカを検出し補正することが可能になる。したがって、フレーム周波数に拘わらずに、フリッカを検出して補正することが可能になる。
（４）このようにフレーム周波数に拘わらずにフリッカを検出して補正できるため、フレーム周波数が外部機器との同期信号により固定されている装置や、テレビジョン放送規格のようにフレーム周波数（フレームレート）が厳密に規定される撮像仕様であっても、確実にフリッカを検出して補正することが可能になる。
（５）また、実施例１では、露光開始タイミングのずれた複数の撮像素子ａ，ｂからそれぞれ出力される映像信号Ｖａ，Ｖｂの少なくとも一方を遅延させて複数の映像信号の間のフレーム期間のズレを低減する信号遅延部１４１を備える。そのため、信号比較部１４２は、フレーム期間のズレを低減した映像信号についてレベル相違を容易に検出することが可能になる。
（６）さらに、実施例１では、撮像素子ａ，ｂの撮像画像間で、フリッカエリアが同一エリアに発生しないように、駆動部１３０の遅延時間がコントロールされる。このような状態は、例えば、撮像素子ａ，ｂの非露光期間の時間間隔（つまり遅延時間）を点滅光源の発光期間よりも長く設定することにより実現できる。その結果、撮像素子ａ，ｂにおいてフリッカが同一エリアに発生しないため、レベル相違が相殺されることがなく、フリッカエリアを検出し損なうことがない。
（７）前述の特許文献１のように、前後フレームのフレーム間差に基づいてフリッカを検出する手段では、前後フレームの間に１フレーム期間に相当する時間間隔が存在する。そのため、１フレーム期間の時間間隔における被写体それ自体の明暗変化や帯模様の変化をフリッカと誤って検出してしまうという問題があった。しかしながら、実施例１の遅延時間は、１フレーム期間よりも十分に短くすることができる。そのため、映像信号Ｖａ′，Ｖｂの間において、（点滅光源ほど高速変化しない）被写体それ自体の明暗変化や帯模様の変化は僅かになる。そのため、実施例１では、被写体それ自体の明暗変化や帯模様の変化をフリッカとして誤検出する虞が少なくなる。
　続いて、実施例２として、ローリングシャッタ方式の撮像装置の実施形態について説明する。
＜実施例２の構成＞
　実施例２の特徴は、撮像素子ａ，ｂにローリングシャッタ方式の撮像素子を採用する点と、駆動信号生成部１３１がローリングシャッタ方式の駆動信号を生成する点である。
　実施例２のその他の構成は、実施例１の構成（図３）と同じため、ここでの重複説明を省略する。
＜実施例２の動作＞
　以下、実施例２におけるフリッカエリアの検出および補正について説明する。
　図６は、ローリングシャッタ方式の撮像素子ａ，ｂにそれぞれ生じるフリッカエリアを示す図である。
　図６には、特許文献１においてフリッカ検出が困難となるケースとして、撮像装置１００のフレーム周波数（フレームレート）が点滅光源（プロジェクタ４０、モニタ５０）の発光周波数と略一致するケースをあえて示している。
　まず、撮像素子ａの撮像画像において、プロジェクタ映像４１が位置する複数ラインの内、非露光期間がプロジェクタ４０の発光期間とタイミングが重なるラインについては、帯状に暗くなったフリッカエリア４３ａが発生する。また、撮像素子ａの撮像画像において、モニタ映像５１が位置する複数ラインの内、非露光期間がモニタ５０の発光期間とタイミングが重なるラインについては、帯状に暗くなったフリッカエリア５３ａが発生する。
　一方、撮像素子ｂの撮像画像において、プロジェクタ映像４１が位置する複数ラインの内、非露光期間がプロジェクタ４０の発光期間とタイミングが重なるラインについては、帯状に暗くなったフリッカエリア４３ｂが発生する。また、撮像素子ｂの撮像画像において、モニタ映像５１が位置する複数ラインの内、非露光期間がモニタ５０の発光期間とタイミングが重なるラインについては、帯状に暗くなったフリッカエリア５３ｂが発生する。
　ここで、図６の露光チャートに示すように、駆動部１３０は、撮像素子ｂの露光開始タイミングを、撮像素子ａの露光開始タイミングに対して、例えばｎライン分の遅延時間だけ遅らせる。この遅延時間は、撮像素子ａに発生する帯状のフリッカエリア４３ａ，５３ａと、撮像素子ｂに発生する帯状のフリッカエリア４３ｂ，５３ｂとがそれぞれ同一ラインに発生しないように、コントロールされる。
　図７は、ローリングシャッタ方式の撮像素子ａ，ｂにおけるフリッカエリアの検出および補正を説明する図である。
　実施例２の動作上の特徴は、撮像素子ａの映像信号Ｖａ′について帯状のフリッカエリア４３ａ，５３ａが検出される点と、撮像素子ｂの映像信号Ｖｂについて帯状のフリッカエリア４３ｂ，５３ｂが検出される点である。
　なお、その他の動作については、実施例１の動作（図５参照）と同じため、ここでの重複説明を省略する。
＜実施例２の効果など＞
　実施例２においても、実施例１と同様の効果を奏する。
　さらに、実施例２では、撮像素子ａ，ｂの撮像画像間で、帯状のフリッカエリアが同一ラインに発生しないように、駆動部１３０の遅延時間がコントロールされる。このような状態は、例えば、帯状のフリッカエリアの最大ライン数よりも、遅延時間を長く設定することにより実現できる。その結果、撮像素子ａ，ｂにおいてフリッカが同一ラインに発生しないため、レベル相違が相殺されることがなく、フリッカエリアを検出し損なうことがない。
　実施例３は、デュアルグリーン方式の４板式撮像装置の実施形態である。
　図８は、撮像装置２００の構成例を示すブロック図である。
　同図において、撮像装置２００は、レンズ２１０、光学系２２０、４つの撮像素子Ｒ，Ｂ，Ｇａ，Ｇｂ、駆動部２３０、映像信号処理部２４０、映像信号出力部２５０、およびＣＰＵ部２６０を備える。
　レンズ２１０は、被写体からの入射光を結像する。
　光学系２２０は、ダイクロイックプリズムから構成され、レンズ２１０により結像される光束を赤成分、青成分、および２つの緑成分を含む各色成分に分けて４つの被写体像を得る。
　実施例３では、４つの撮像素子Ｒ，Ｂ，Ｇａ，Ｇｂは、グローバルシャッタ方式またはローリングシャッタ方式で駆動可能な撮像素子である。
　４つの撮像素子Ｒ，Ｂ，Ｇａ，Ｇｂの撮像面は、赤成分、青成分、および２つの緑成分の被写体像の略同一の像位置を受光するようにそれぞれ位置決めして配置される。
　なお、２つの撮像素子Ｇａ，Ｇｂは、図８に示すように、撮像面の画素配列の位相を例えば縦横方向に半位相ずつずらして配置される（空間画素ずらし）。
　また、撮像素子Ｇａ，Ｇｂは、広ダイナミックレンジ合成のために、受光する光量を互いに異ならせたり、露光時間を互いに異ならせてもよい。
　駆動部２３０は、撮像素子を駆動する信号（例えば、水平同期信号や垂直同期信号など）を生成する駆動信号生成部２３１と、駆動信号を任意の遅延時間だけ遅延させる駆動遅延部２３２とを備える。
　この駆動遅延部２３２により、撮像素子Ｇｂの露光開始タイミングは、その他の撮像素子Ｇａ，Ｒ，Ｂの露光開始タイミングに対して、所定の遅延時間だけ遅れる。
　映像信号処理部２４０は、信号遅延部２４１、信号比較部２４２、信号補正部２４３、映像合成部２４４、およびガンマ補正部２４５を備える。
　この信号遅延部２４１は、撮像素子Ｇａ，Ｒ，Ｂから映像信号として読み出されるＧａ信号，Ｒ信号，Ｂ信号をそれぞれ遅延させる。この遅延処理により、Ｇｂ信号、Ｇａ信号，Ｒ信号，およびＢ信号の間のフレーム期間のズレは低減する。
　次に、信号比較部２４２は、フレーム期間のズレを低減したＧａ信号およびＧｂ信号について、画素単位または画素ブロック単位に信号レベルを比較してレベル相違を求める。
　信号比較部２４２は、以上のように求めたレベル相違の正負と、各色成分の撮像素子Ｒ，Ｂ，Ｇａ，Ｇｂにおける露光開始タイミングの関係とに基づいて、映像信号の内からフリッカエリアが発生している映像信号を選定し、選定された映像信号に生じるフリッカエリアを領域検出する。
　信号補正部２４３は、求めたレベル相違に応じて、領域検出されたフリッカエリアの影響を低減する補正を行う。補正後の映像信号は、映像合成部２４４に入力される。
　映像合成部２４４は、フリッカエリアを補正した映像信号に基づいて、所定の映像信号（輝度色差信号など）を合成する。このとき、映像合成部２４４は、撮像素子Ｇａ，Ｇｂの空間画素ずらしに基づいて超解像成分を求め、映像信号の解像度を高める処理を行う。
　また、撮像素子Ｇａ，Ｇｂの受光量（または露光時間）が互いに異なる場合、映像合成部２４４は、Ｇａ信号、Ｇｂ信号の白飛び成分や黒潰れ成分を互いに補完することにより、広ダイナミックレンジ合成の処理を行う。
　ガンマ補正部２４５は、合成された映像信号に対して利得補正、ガンマ補正、ニー補正、輪郭補正、および色補正などの映像信号処理を施す。
　映像信号出力部２５０は、映像信号処理部１４０から出力される映像信号を、ＨＤ－ＳＤＩなどの所定の映像信号形式に変換し、外部に出力する。
　ＣＰＵ部２６０は、駆動部２３０の制御や、映像信号処理部２４０の制御などを実行する。
＜実施例３の動作＞
　続いて、実施例３の動作について具体的に説明する。
　図９および図１０は、ディアルグリーン４板式の撮像装置２００の動作を示す流れ図である。
　これらの図に示すステップ番号に沿って、フリッカの検出および補正の手順を説明する。
ステップＳ１１：　ＣＰＵ部２６０は、駆動遅延部２３２に対して、例えばｎライン分の遅延時間を設定する。
　グローバルシャッタ方式の撮像素子Ｒ，Ｂ，Ｇａ，Ｇｂの場合、ＣＰＵ部２６０は、この遅延時間をフリッカの発生元である点滅光源の発光期間よりも長く設定する。この設定により、撮像素子Ｇａ，Ｇｂの撮像画像間で、フリッカエリアが同一エリアに発生しないようになる。
　ローリングシャッタ方式の撮像素子Ｒ，Ｂ，Ｇａ，Ｇｂの場合、ＣＰＵ部２６０は、この遅延時間を帯状のフリッカエリアの最大ライン分の走査時間よりも長く設定する。この設定により、撮像素子Ｇａ，Ｇｂの撮像画像間で、帯状のフリッカエリアが同一ラインに発生しないようになる。
ステップＳ１２：　ＣＰＵ部２６０は、駆動遅延部２３２に設定した遅延時間を、信号遅延部２４１に対しても設定する。
ステップＳ１３：　ＣＰＵ部２６０は、撮像装置２００の撮影操作部（不図示）を介して、操作者による撮像／一時停止／停止の指示を受け付ける。撮像の指示に対して、ＣＰＵ部２６０はステップＳ１４に動作を移行する。一時停止の指示に対して、ＣＰＵ部２６０はステップＳ１３において動作を待機する。停止の指示に対して、ＣＰＵ部２６０は撮像装置２００の動作を停止する。
ステップＳ１４：　ＣＰＵ部２６０は、駆動部２３０に対して撮像動作を指示する。駆動部２３０内では、駆動信号生成部２３１により、撮像素子の駆動信号（例えば、水平同期信号や垂直同期信号など）が生成される。撮像素子Ｒ，Ｂ，Ｇａには、この駆動信号が供給される。一方、撮像素子Ｇｂには、駆動遅延部２３２を介してｎライン分の遅延時間だけ遅れた駆動信号が供給される。このように駆動信号を供給することにより、撮像素子Ｒ，Ｂ，Ｇａの露光開始タイミングに対して、撮像素子Ｇｂの露光開始タイミングはｎライン分の遅延時間だけ遅れる。
ステップＳ１５：　信号遅延部２４１は、撮像素子Ｒ，Ｂ，Ｇａの映像信号をｎライン分の遅延時間だけ遅延させることにより、撮像素子Ｇｂの映像信号とのフレーム期間のズレを低減する。
ステップＳ１６：　信号比較部２４２は、Ｇａ信号とＧｂ信号とを局所的（画素単位または画素ブロック単位）に比較して、レベル相違を求める。比較処理の詳細については実施例１，２と同様である。
ステップＳ１７：　信号比較部２４２は、Ｇｂ信号が、Ｇａ信号よりもノイズレベルを有意に超えて暗くなるエリアを、Ｇｂ信号のフリッカエリアとして検出する。信号比較部２４２は、Ｇｂ信号のフリッカエリアに対して、（Ｇａ信号／Ｇｂ信号）の局所的なゲイン差（補正ゲイン）を配列し、Ｇｂ信号補正用のゲインマップＭｂを作成する。なお、ゲインマップＭｂの補正ゲインに対して局所平滑化の処理を施すことにより、ゲインマップＭｂに含まれるノイズを抑制してもよい。
ステップＳ１８：　信号比較部２４２は、Ｇａ信号が、Ｇｂ信号よりもノイズレベルを有意に超えて暗くなるエリアを、Ｇａ信号のフリッカエリアとして検出する。信号比較部２４２は、Ｇａ信号のフリッカエリアに対して、（Ｇｂ信号／Ｇａ信号）の局所的なゲイン差（補正ゲイン）を配列し、Ｇａ信号補正用のゲインマップＭａを作成する。なお、ゲインマップＭａの補正ゲインに対して局所平滑化の処理を施すことにより、ゲインマップＭａに含まれるノイズを抑制してもよい。
ステップＳ１９：　ステップＳ１７においてＧｂ信号にフリッカエリアを検出すると、信号補正部２４３はステップＳ２０に動作を移行する。一方、Ｇｂ信号にフリッカエリアを検出しなかった場合、信号補正部２４３はステップＳ２３に動作を移行する。
ステップＳ２０：　信号補正部２４３は、ゲインマップＭｂの代表値（例えば中間値や最大値や平均値など）が、撮像装置２００の撮像感度の限界を超えているか否かを判定する。ここでの撮像感度の限界は、映像信号のＳ／Ｎ比に基づいて、映像信号を増幅した場合にノイズ感が許容できなくなる増幅ゲインの上限値である。
　撮像感度の限界を超えない場合、信号補正部２４３はステップＳ２１に動作を移行する。
　逆に、撮像感度の限界を超えた場合、信号補正部２４３はステップＳ２２に動作を移行する。
ステップＳ２１：　信号補正部２４３は、Ｇｂ信号のフリッカエリアをゲインマップＭｂの補正ゲインに従って増幅することにより、Ｇｂ信号の信号レベルをＧａ信号と同等レベルまで持ちあげてフリッカエリアを補正する。補正が完了すると、信号補正部２４３は、ステップＳ２３に動作を移行する。
ステップＳ２２：　信号補正部２４３は、Ｇｂ信号のフリッカエリアをＧａ信号の対応エリアの補間画素値に置き換える。ここで、補間画素値を用いるのは、Ｇａ信号とＧｂ信号は、超解像のために空間画素ずらしが行われているため、画素位置の位相を揃える必要があるためである。
ステップＳ２３：　ステップＳ１８においてＧａ信号にフリッカエリアを検出すると、Ｇａ信号と同じフレーム期間に撮影されたＲ信号，Ｂ信号にも、同様のフリッカエリアが発生したと判定される。これは点滅光源の殆どが白色光であって、緑色以外の波長域についてもフリッカが生じるためである。この場合、信号補正部２４３はＲ，Ｂ，Ｇａ信号についてフリッカエリアの補正を行うため、ステップＳ２４に動作を移行する。
　一方、Ｇａ信号にフリッカエリアを検出しない場合、Ｇａ信号と同じフレーム期間に撮影されたＲ信号，Ｂ信号にもフリッカエリアは発生しない。この場合、信号補正部２４３はＲ，Ｂ，Ｇａ信号についてフリッカエリアの補正を省いて、ステップＳ１３に動作を戻す。
ステップＳ２４：　信号補正部２４３は、ゲインマップＭａの代表値（例えば中間値や最大値や平均値など）が、撮像装置２００の撮像感度の限界を超えているか否かを判定する。
　撮像感度の限界を超えない場合、信号補正部２４３はステップＳ２５に動作を移行する。
　逆に、撮像感度の限界を超えた場合、信号補正部２４３はステップＳ２６に動作を移行する。
ステップＳ２５：　信号補正部２４３は、Ｇａ信号のフリッカエリアをゲインマップＭａの補正ゲインに従って増幅することにより、Ｇａ信号の信号レベルをＧｂ信号と同等レベルまで持ちあげてフリッカエリアを補正する。補正が完了すると、信号補正部２４３は、ステップＳ２７に動作を移行する。
ステップＳ２６：　信号補正部２４３は、Ｇａ信号のフリッカエリアをＧｂ信号の対応エリアの補間画素値に置き換える。
ステップＳ２７：　信号補正部２４３は、ゲインマップＭａに基づいて、Ｒ信号のフリッカエリアにゲイン補正を施す。例えば、Ｒ信号をゲインマップＭａの補正ゲインに従って増幅してもよい。また例えば、「ゲインマップＭａの緑成分の補正倍数」と「点滅光源の赤色光／緑色光の発光比率」との乗算値に基づいて、Ｒ信号のフリッカエリアをゲイン補正してもよい。
ステップＳ２８：　信号補正部２４３は、ゲインマップＭａに基づいて、Ｂ信号のフリッカエリアにゲイン補正を施す。例えば、Ｂ信号をゲインマップＭａの補正ゲインに従って増幅してもよい。また例えば、「ゲインマップＭａの緑成分の補正倍数」と「点滅光源の青色光／緑色光の発光比率」との乗算値に基づいて、Ｂ信号のフリッカエリアをゲイン補正してもよい。
　前述した一連の動作を、フレーム期間ごとに繰り返すため、ＣＰＵ部２６０は動作をステップＳ１３に戻す。
＜実施例３の効果など＞
　実施例３は、実施例１，２と同様の効果に加えて、次の効果を奏する。
（１）実施例３では、デュアルグリーン用の撮像素子Ｇａ，Ｇｂの露光開始タイミングを所定の遅延時間ずらす。その結果、撮像素子Ｇａ，Ｇｂの非露光期間のタイミングが重ならない。そのため、フリッカの発生原因となる点滅光源が撮影画角内に存在した場合、撮像素子Ｇａ，Ｇｂにおいて、点滅光源の発光期間と非露光期間のタイミングが重なるフレームやラインをずらすことが可能になる。したがって、撮像素子Ｇａ，Ｇｂの間において、略同一の像位置で生成されるＧ信号のどちらが暗いかを検出することにより、撮像素子Ｇａ，Ｇｂのどちらにフリッカが生じたかを判定することが可能になる。
（２）また、実施例３では、デュアルグリーン方式の撮像素子Ｇａ，Ｇｂの間において、略同一の像位置で生成されるＧａ信号およびＧｂ信号のレベル相違の領域を画素単位または画素ブロック単位に検出することにより、撮像画像内に発生したフリッカエリアを領域検出することが可能になる。さらに、残りの撮像素子Ｒ，Ｂについては、撮像素子Ｇａと露光開始タイミング（すなわちフレーム期間）が一致するため、撮像素子Ｒ，Ｂには、撮像素子Ｇａと同様のフリッカエリアが発生していると判定することが可能になる。
（３）さらに、実施例３では、実施例１，２（図４，図６参照）で説明したと同様に、撮像装置のフレーム周波数（フレームレート）が点滅光源の発光周波数と略一致してもフリッカを検出し補正することが可能になる。したがって、フレーム周波数に拘わらずに、フリッカの発生を検出して補正することが可能になる。
（４）このようにフレーム周波数に拘わらずにフリッカを検出して補正できるため、フレーム周波数が外部機器との同期信号により固定されている装置や、テレビジョン放送規格のようにフレーム周波数（フレームレート）が厳密に規定される撮像仕様であっても、確実にフリッカを検出して補正することが可能になる。
（５）また、実施例３では、露光開始タイミングの先行するＧａ信号，Ｒ信号，およびＢ信号を遅延させることにより、Ｇｂ信号とのフレーム期間のズレを低減する。そのため、従来のディアルグリーン方式の４板式撮像装置と同様の映像信号（フレーム期間の略一致した映像信号と互換性のある映像信号）を得ることができる。また、信号比較部２４２は、Ｇａ信号とＧｂ信号との間でフレーム期間が略一致した状態でレベル相違を容易に検出することが可能になる。なお、実施例３の別バリエーションとして、駆動遅延部２３２を介して遅延時間だけ遅れた駆動信号を撮像素子Ｒ，Ｂ，Ｇａに供給してもよい。この場合、信号遅延部２４１が撮像素子Ｇｂの映像信号を遅延時間だけ遅延させることにより、撮像素子Ｒ，Ｂ，Ｇａ，Ｇｂの映像信号のフレーム期間を揃えることが可能になる。
（６）さらに、実施例３では、撮像素子Ｇａ，Ｇｂの撮像画像間で、フリッカエリアが同一エリアまたは同一ラインに発生しないように、駆動部２３０の遅延時間がコントロールされる。したがって、撮像素子Ｇａ，Ｇｂの略同一の像位置で生成される映像信号間においてフリッカが一緒に発生しないため、レベル相違が相殺されることがなく、フリッカエリアを検出し損なうことがない。
（７）また、実施例３の遅延時間は、１フレーム期間よりも十分に短くすることができる。そのため、Ｇａ信号，Ｇｂ信号の間において、（点滅光源ほど高速変化しない）被写体それ自体の明暗変化や帯模様の変化は僅かになる。そのため、実施例３では、被写体それ自体の明暗変化や帯模様の変化をフリッカとして誤検出する虞が少なくなる。
＜実施形態の補足事項＞
　前述した実施例では、プリズムを用いて複数の被写体像を得るケースについて説明した。しかしながら、本発明はこれに限定されない。
　例えば、ハーフミラー光学系や、瞳分割光学系や、複眼光学系などの複数の被写体像を得る光学系を採用してもよい。
　また、複数の被写体像を得る瞳分割光学系と、複数の被写体像をそれぞれ受光する複数の撮像素子（撮像画素群）とを一体に備えるものとして、瞳分割式の撮像素子を採用してもよい。なお、この瞳分割式の撮像素子に対して、信号遅延部、信号比較部、信号補正部を含む映像処理回路をさらに積層構造にすることにより、本発明の撮像装置を１チップの撮像素子により実現してもよい。さらに、１チップの撮像素子に対して、複数の撮像画素群を露光開始タイミングをずらして駆動する駆動部をさらに付加してもよい。
　さらに、前述した実施例では、撮像装置に信号比較部および信号補正部を内蔵するケースについて説明した。しかしながら、本発明はこれに限定されない。撮像装置を、カメラと映像処理装置との組み合わせにより構成し、映像処理装置の側に信号比較部および信号補正部の機能を設けてもよい。
　このような映像処理装置を、ハードウェアとしてＣＰＵ（Central Processing Unit）やメモリなどを備えたコンピュータシステムとして構成してもよい。このハードウェアが映像処理プログラム（図９，図１０のステップＳ１６～Ｓ２８と同様のプログラム）を実行することにより、コンピュータシステムを信号比較部および信号補正部として機能させてもよい。
　さらに、このハードウェアの一部または全部については、専用の装置、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、ＰＬＤ(programmable logic device）などで代替してもよい。
　また、ハードウェアの一部または全部をネットワーク上のサーバに集中または分散してクラウド配置することにより、複数ユーザがネットワークを介してフリッカエリアの検出および補正に係る映像処理サービスの提供を受けるようにしてもよい。
　なお、前述した実施形態では、「撮像処理」と「フリッカエリアの検出および補正」とを同時並行して実施するケースについて説明した。しかしながら、本発明はこれに限定されない。例えば、カメラ側において露光開始をずらして撮影された映像信号を最小限の映像処理を施してＲＡＷデータとして記録する。この記録済みのＲＡＷデータを後から信号比較部および信号補正部の機能を有する映像処理装置（ＲＡＷ現像処理装置や映像処理プログラム）で処理して「フリッカエリアの検出および補正」を実施してもよい。
　なお、本発明は前述した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成や処理を備えるものに限定されるものではない。
　また、ある実施例の構成や処理の一部を他の実施例の構成や処理に置き換えることが可能であり、また、ある実施例の構成や処理に他の実施例の構成や処理を加えることも可能である。
　さらに、各実施例の構成や処理の一部について、他の構成や処理の追加・削除・置換をすることが可能である。
ａ…撮像素子、ｂ…撮像素子、Ｂ…撮像素子、Ｒ…撮像素子、Ｇａ…撮像素子、Ｇｂ…撮像素子、４０…プロジェクタ、４１…プロジェクタ映像、４２…フリッカエリア、４３…フリッカエリア、４３ａ…フリッカエリア、４３ｂ…フリッカエリア、５０…モニタ、５１…モニタ映像、５２…フリッカエリア、５３…フリッカエリア、５３ａ…フリッカエリア、５３ｂ…フリッカエリア、１００…撮像装置、１１０…レンズ、１２０…光学系、１３０…駆動部、１３１…駆動信号生成部、１３２…駆動遅延部、１４０…映像信号処理部、１４１…信号遅延部、１４２…信号比較部、１４３…信号補正部、１４４…映像合成部、１４５…ガンマ補正部、１５０…映像信号出力部、１６０…ＣＰＵ部、２００…撮像装置、２１０…レンズ、２２０…光学系、２３０…駆動部、２３１…駆動信号生成部、２３２…駆動遅延部、２４０…映像信号処理部、２４１…信号遅延部、２４２…信号比較部、２４３…信号補正部、２４４…映像合成部、２４５…ガンマ補正部、２５０…映像信号出力部、２６０…ＣＰＵ部

 

Claims (8)

  1. 　被写体の光束を複数に分けて複数の被写体像を得る光学系と、
    　複数の前記被写体像をそれぞれ受光する複数の撮像素子と、
    　少なくとも２つの前記撮像素子の間で露光開始タイミングを所定の遅延時間ずらして撮像を行うことが可能な駆動部と、
    　露光開始タイミングのずれた前記撮像素子の間において、略同一の像位置で生成される映像信号のレベル相違を画素単位または画素ブロック単位に検出し、前記レベル相違に基づいて、撮像画像内に発生したフリッカエリアを領域検出する信号比較部と、
    　領域検出されたフリッカエリアを補正する信号補正部と
    　を備えることを特徴とする撮像装置。
  2. 　請求項１に記載の撮像装置であって、
    　露光開始タイミングのずれた複数の前記撮像素子からそれぞれ出力される映像信号の少なくとも一方を遅延させて、複数の映像信号の間のフレーム期間のズレを低減する信号遅延部を備え、
    　前記信号比較部は、フレーム期間のズレを低減した複数の映像信号について前記レベル相違を検出する
    　ことを特徴とする撮像装置。
  3. 　請求項１～２のいずれか一項に記載の撮像装置であって、
    　複数の前記撮像素子は、フレーム期間に非露光期間が生じるグローバルシャッタ方式で撮像する素子であり、
    　前記駆動部は、複数の前記撮像素子の撮像画像間で、フリッカエリアが同一エリアに発生しないように、前記遅延時間がコントロールされる
    　ことを特徴とする撮像装置。
  4. 　請求項１～２のいずれか一項に記載の撮像装置であって、
    　複数の前記撮像素子は、ローリングシャッタ方式で撮像する素子であり、
    　前記駆動部は、複数の前記撮像素子の撮像画像間で、帯状のフリッカエリアが同一ラインに発生しないように、前記遅延時間がコントロールされる
    　ことを特徴とする撮像装置。
  5. 　請求項１～４のいずれか一項に記載の撮像装置であって、
    　前記光学系は、被写体の光束を、赤成分、青成分、および２つの緑成分を含む各色成分に分け、
    　複数の前記撮像素子は、各色成分の前記被写体像をそれぞれ受光して各色成分の映像信号を生成し、
    　前記駆動部は、緑成分を受光する２つの前記撮像素子の一方と、それ以外の前記撮像素子との間で露光開始タイミングを前記遅延時間ずらし、
    　前記信号比較部は、緑成分の２つの映像信号の間で前記レベル相違を検出し、緑成分の前記レベル相違の正負と、各色成分の前記撮像素子における露光開始タイミングの関係とに基づいて、各色成分の映像信号の内からフリッカエリアが発生している映像信号を選定し、
    　前記信号補正部は、選定された映像信号のフリッカエリアを補正する
    　ことを特徴とする撮像装置。
  6. 　請求項５に記載の撮像装置であって、
    　緑成分をそれぞれ受光する２つの前記撮像素子は、撮像位置に画素配列の位相をずらして配置され、
    　緑成分の２つの映像信号に基づいて超解像成分を演算し、映像信号の解像度を向上させる映像合成部を備えた
    　ことを特徴とする撮像装置。
  7. 　被写体の光束を複数に分けて複数の被写体像を得る光学系と、
    　複数の前記被写体像をそれぞれ受光する複数の撮像素子と、
    　を備えた撮像装置の撮像方法であって、
    　少なくとも２つの前記撮像素子の間で露光開始タイミングを所定の遅延時間ずらして撮像を行う駆動ステップと、
    　露光開始タイミングのずれた前記撮像素子の間において、略同一の像位置で生成される映像信号のレベル相違を画素単位または画素ブロック単位に検出し、前記レベル相違に基づいて、撮像画像内に発生したフリッカエリアを領域検出する信号比較ステップと、
    　領域検出されたフリッカエリアを補正する信号補正ステップと
    　を備えることを特徴とする撮像方法。
  8. 　露光開始タイミングのずれた複数の映像信号を映像処理するコンピュータシステムを、請求項１～６のいずれか一項に記載の前記信号比較部、および前記信号補正部として機能させる
    　ことを特徴とする映像処理プログラム。
PCT/JP2019/033349 2019-08-26 2019-08-26 撮像装置、撮像方法、および映像処理プログラム WO2021038692A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2019/033349 WO2021038692A1 (ja) 2019-08-26 2019-08-26 撮像装置、撮像方法、および映像処理プログラム
JP2021541817A JP7237164B2 (ja) 2019-08-26 2019-08-26 撮像装置、撮像方法、および映像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/033349 WO2021038692A1 (ja) 2019-08-26 2019-08-26 撮像装置、撮像方法、および映像処理プログラム

Publications (1)

Publication Number Publication Date
WO2021038692A1 true WO2021038692A1 (ja) 2021-03-04

Family

ID=74683923

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/033349 WO2021038692A1 (ja) 2019-08-26 2019-08-26 撮像装置、撮像方法、および映像処理プログラム

Country Status (2)

Country Link
JP (1) JP7237164B2 (ja)
WO (1) WO2021038692A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1093866A (ja) * 1996-09-12 1998-04-10 Toshiba Corp 撮像装置
JP2000228775A (ja) * 1999-02-05 2000-08-15 Nippon Hoso Kyokai <Nhk> Ｃｃｄ型４板式高速撮像装置
JP2007067736A (ja) * 2005-08-30 2007-03-15 Sony Corp フリッカ検出装置とフリッカ除去装置と撮像装置およびフリッカ検出方法
JP2013051523A (ja) * 2011-08-30 2013-03-14 Sharp Corp フリッカ検出装置、フリッカ検出方法、制御プログラム、可読記録媒体、固体撮像装置、多眼撮像装置および電子情報機器
JP2015092660A (ja) * 2013-10-01 2015-05-14 株式会社ニコン 撮像装置、撮像装置の制御方法、電子機器、電子機器の制御方法、及び制御プログラム
JP2015207943A (ja) * 2014-04-22 2015-11-19 日本放送協会 ビデオカメラ装置、映像信号の処理方法および映像信号処理装置
JP2018064257A (ja) * 2016-10-15 2018-04-19 キヤノン株式会社 撮像システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1093866A (ja) * 1996-09-12 1998-04-10 Toshiba Corp 撮像装置
JP2000228775A (ja) * 1999-02-05 2000-08-15 Nippon Hoso Kyokai <Nhk> Ｃｃｄ型４板式高速撮像装置
JP2007067736A (ja) * 2005-08-30 2007-03-15 Sony Corp フリッカ検出装置とフリッカ除去装置と撮像装置およびフリッカ検出方法
JP2013051523A (ja) * 2011-08-30 2013-03-14 Sharp Corp フリッカ検出装置、フリッカ検出方法、制御プログラム、可読記録媒体、固体撮像装置、多眼撮像装置および電子情報機器
JP2015092660A (ja) * 2013-10-01 2015-05-14 株式会社ニコン 撮像装置、撮像装置の制御方法、電子機器、電子機器の制御方法、及び制御プログラム
JP2015207943A (ja) * 2014-04-22 2015-11-19 日本放送協会 ビデオカメラ装置、映像信号の処理方法および映像信号処理装置
JP2018064257A (ja) * 2016-10-15 2018-04-19 キヤノン株式会社 撮像システム

Also Published As

Publication number Publication date
JP7237164B2 (ja) 2023-03-10
JPWO2021038692A1 (ja) 2021-03-04

Similar Documents

Publication Publication Date Title
TWI390971B (zh) 成像裝置，成像處理方法及成像控制程式
US9712757B2 (en) Image capturing apparatus capable of compositing images generated using the same development parameter and control method therefor
JP5035025B2 (ja) 画像処理装置、フリッカ低減方法、撮像装置及びフリッカ低減プログラム
JP2007336561A (ja) 映像生成装置及び方法
JP2005033616A (ja) 撮像装置およびフリッカ低減方法
JP2010114834A (ja) 撮像装置
JP2007006021A (ja) 撮像装置および画像処理プログラム
JP3999321B2 (ja) 電子カメラ
JP2020053771A (ja) 画像処理装置、撮像装置
KR20120024448A (ko) 촬상 장치, 신호 처리 방법 및 프로그램
JP4616794B2 (ja) 画像データのノイズ低減装置およびその制御方法
JP5440245B2 (ja) 撮像装置
US20190349513A1 (en) Image capture apparatus and control method thereof
JP6242129B2 (ja) 撮像装置、その制御方法、及び制御プログラム
JP2006135381A (ja) キャリブレーション方法およびキャリブレーション装置
WO2021038692A1 (ja) 撮像装置、撮像方法、および映像処理プログラム
JP2000092377A (ja) 固体撮像装置
JP6157274B2 (ja) 撮像装置、情報処理方法及びプログラム
JP6886026B2 (ja) 撮像装置
JP2006157342A (ja) カメラモジュール
JP2008283477A (ja) 画像処理装置及び画像処理方法
JP7379217B2 (ja) 撮像システム
JP7039720B2 (ja) 撮像装置、映像処理方法、およびプログラム
WO2021059991A1 (ja) 撮像装置
JP3696897B2 (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19943154

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021541817

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19943154

Country of ref document: EP

Kind code of ref document: A1