WO2020059425A1 - 撮像装置、映像処理方法、およびプログラム - Google Patents

撮像装置、映像処理方法、およびプログラム Download PDF

Info

Publication number
WO2020059425A1
WO2020059425A1 PCT/JP2019/033061 JP2019033061W WO2020059425A1 WO 2020059425 A1 WO2020059425 A1 WO 2020059425A1 JP 2019033061 W JP2019033061 W JP 2019033061W WO 2020059425 A1 WO2020059425 A1 WO 2020059425A1
Authority
WO
WIPO (PCT)
Prior art keywords
line
image
unit
correction
level difference
Prior art date
Application number
PCT/JP2019/033061
Other languages
English (en)
French (fr)
Inventor
拓洋 澁谷
Original Assignee
株式会社日立国際電気
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立国際電気 filed Critical 株式会社日立国際電気
Priority to US17/276,721 priority Critical patent/US11310446B2/en
Priority to JP2020548188A priority patent/JP7039720B2/ja
Publication of WO2020059425A1 publication Critical patent/WO2020059425A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration

Definitions

  • the present invention relates to an imaging device, a video processing method, and a program.
  • CMOS imaging devices are also used in commercial imaging devices such as broadcast cameras, which have traditionally mainly used CCD (Charge Coupled Device) imaging devices. Things are increasing.
  • CCD Charge Coupled Device
  • CMOS image sensor charge accumulation (hereinafter, referred to as exposure) is started sequentially for each scanning line (hereinafter, referred to as “line”) in the main scanning direction, and a video signal is sequentially read out for each line to form a frame.
  • line scanning line
  • video signal is sequentially read out for each line to form a frame.
  • rolling shutter systems that output.
  • the exposure start time differs for each line, if a flash is fired on the subject in the middle of the frame, the image signal in the read frame has a band-like signal level step ( Flash band).
  • Patent Document 1 a signal level between lines is calculated in one frame, and when a level change occurs in one frame, it is detected that a flash band has occurred if the change value is a predetermined value or more. A method for doing so is disclosed.
  • Patent Document 2 there are regions where the signal level of the pixel has increased in the lower part of the screen of the first frame and in the upper part of the screen of the second frame.
  • a method for detecting that a flash band has occurred when the signal level has been visually reduced has been disclosed.
  • Patent Document 1 discloses a method of removing a frame in which a flash band has occurred and replacing it with a previous frame in which a flash band has not occurred, or a method of removing a frame having the same signal level in a plurality of frames in which a flash band has occurred. There is disclosed a method of generating and replacing an image in which images are connected to each other.
  • Patent Document 2 discloses a method in which a frame in which a flash band has occurred is removed, and images of frames before and after that in which a flash band has not occurred are synthesized and replaced.
  • Patent Document 3 a frame in which a flash band has occurred is removed, and an image in which the entire screen is affected by a flash is generated and replaced by using the image of the frame before the occurrence of the flash band. A method is disclosed.
  • the correction method for replacing the frames stills the image for several frames.
  • an object of the present invention is to provide a technique for appropriately detecting and correcting a flash band.
  • one of the representative imaging apparatuses of the present invention includes an optical system that disperses light of a subject image, and a plurality of components that separately capture each subject image separated by the optical system by a rolling shutter method.
  • An image sensor an image pickup unit for shifting a slit range between a first curtain / a second curtain of a rolling shutter system among a plurality of image sensors in the sub-scanning direction by at least one line, and images output by a plurality of image sensors.
  • a comparison unit for comparing signals with each other to determine a level difference generated between video signals in line units, and a correction unit for correcting effect of the video signal due to the flash band based on the level difference.
  • a flash band can be detected and corrected appropriately. Problems, configurations, and effects other than those described above will be clarified by the following description of the embodiments.
  • FIG. 2 is a block diagram illustrating a configuration example according to the first exemplary embodiment.
  • FIG. 4 is a diagram illustrating a rolling shutter operation of the imaging element.
  • FIG. 5 is an explanatory diagram illustrating a rolling shutter operation on a time axis.
  • FIG. 3 is a diagram illustrating detection and correction of a flash band.
  • FIG. 5 is an explanatory diagram illustrating a rolling shutter operation on a time axis.
  • FIG. 3 is a diagram illustrating detection and correction of a flash band.
  • FIG. 5 is an explanatory diagram illustrating a rolling shutter operation on a time axis.
  • FIG. 3 is a diagram illustrating detection and correction of a flash band.
  • FIG. 3 is a diagram illustrating detection and correction of a flash band.
  • FIG. 3 is a diagram illustrating shifting of a spatial line of an image sensor.
  • FIG. 13 is a block diagram illustrating a configuration example of a third embodiment.
  • FIG. 1 is a block diagram illustrating a configuration example of the first embodiment.
  • an imaging apparatus 1 includes an optical system including a lens 2a and a spectral prism 2b, an imaging element A, an imaging element B, a driving section 3, a video signal processing section 4, a video signal output section 5, and a CPU (Central Processing). Unit) unit 7.
  • an optical system including a lens 2a and a spectral prism 2b, an imaging element A, an imaging element B, a driving section 3, a video signal processing section 4, a video signal output section 5, and a CPU (Central Processing). Unit) unit 7.
  • CPU Central Processing
  • the lens 2a forms incident light from a subject on a subject image.
  • the spectral prism 2b disperses the image-forming light of the subject image.
  • the imaging devices A and B are imaging devices of the same specification of a monochrome or color mosaic filter.
  • the image pickup areas of the image pickup devices A and B are arranged at positions where the subject images separated by the light splitting prism 2b are received at the same pixel position.
  • charge storage and readout are performed in units of lines using a rolling shutter format having the same specifications.
  • the drive unit 3 includes a drive signal generation unit 31 and a drive delay unit 32.
  • the drive signal generation unit 31 # generates a drive signal (for example, a horizontal synchronization signal or a vertical synchronization signal) for the imaging devices A and B ⁇ .
  • the drive delay unit 32 delays the drive signal of the image sensor B by a predetermined time ⁇ ⁇ ⁇ ⁇ with respect to the drive signal of the image sensor A.
  • the video signal processing unit 4 includes a signal delay unit 41, a comparison unit 42, a correction unit 43, a video synthesis unit 44, a gamma correction unit 45, and the like.
  • the signal delay unit 41 delays the video signal a output from the imaging device A by a predetermined time, thereby adjusting the video phase of the video signal a to the video signal b of the imaging device B whose exposure start is delayed. .
  • the ⁇ comparing unit 42 compares the signal levels ⁇ of the video signals a and b having the same video phase on a line-by-line basis, and obtains a level difference such as a gain difference. Such a comparison may be performed ⁇ for the luminance component or for each color component of the color mosaic (for example, RGB color components in a Bayer array) ⁇ . Further, the average level of one line may be compared, or the comparison may be made in pixel units of one line.
  • the correction unit 43 sequentially holds the video signals a and b having the same video phase sequentially in an internal line memory.
  • the correction unit 43 corrects the gain of the video signals a and b in line units according to a rule described later based on the level difference in line units obtained by the comparison unit 42, and reduces the effect of the flash band.
  • the video synthesizing unit 44 synthesizes the video signals a and b in which the influence of the flash band is reduced into one video signal (such as a luminance color difference signal).
  • one video signal such as a luminance color difference signal.
  • the gamma correction unit 45 performs various video signal processes such as gain correction, gamma correction, knee correction, contour correction, and color correction on the synthesized video signal.
  • the video signal output unit 5 converts the video signal output from the video signal processing unit 4 into a predetermined video signal format such as an HD-SDI (High Definition Serial Digital Interface) signal and outputs the same to the outside.
  • the CPU unit 7 controls the driving unit 3 and controls the video signal processing unit 4.
  • FIG. 2 is a diagram illustrating a rolling shutter operation of the imaging devices A and B.
  • the electronic front curtain is an operation of discharging the accumulated charges in the image pickup areas of the image pickup devices A and B for one line and resetting them. This reset line starts the charge accumulation corresponding to the amount of received light from that moment.
  • the electronic rear curtain is an operation of reading one line of the voltage (video signal) based on the accumulated charges of the imaging devices A and B.
  • the pixel area sandwiched between the electronic front curtain and the electronic rear curtain is an area where charge accumulation is continuing (that is, during exposure), and corresponds to a slit range between shutter curtains in a rolling shutter.
  • this is referred to as a slit range.
  • the slit range moves at a predetermined sub-scanning speed in the sub-scanning direction while maintaining a slit width (the number of lines) determined by an exposure time (shutter speed) set by the imaging apparatus 1.
  • the slit range of the image sensor B moves while keeping at least one line (width of one line in the short direction) in the sub-scanning direction with respect to the slit range of the image sensor A. Scanning).
  • the delay of the slit range is realized by the drive unit 3 delaying the drive signal of the image sensor B by a predetermined time with respect to the drive signal of the image sensor A to shift the exposure start timing of the image sensors A and B.
  • the predetermined time in this case can be determined using the following equation as a guide.
  • the predetermined time for delaying the start of exposure the number of lines of the deviation width ⁇ the period of one line of the video signal.
  • the deviation width of the slit range is assumed to be one line. It may be n lines (n times the short width of one line).
  • the video captured by the image sensor A and the video captured by the image sensor B are out of synchronization by a predetermined time after the start of exposure is delayed. Therefore, it is not strictly an image of the subject at the same moment.
  • an image sensor of a full HD for example, a progressive scan with a frame rate of 60 Hz and a total number of lines of 1125
  • one line period of a video signal is about 15 microseconds in an instant.
  • the image pickup device A and the image pickup device B can be regarded as having captured the image of the subject at the same moment.
  • FIG. 3 is an explanatory diagram showing a rolling shutter operation on a time axis.
  • the subject is irradiated with a third-party flash at the timing when the slit range extends from the lower part of the imaging area of the second frame to the upper part of the imaging area of the third frame. Therefore, in the captured video, flash bands are generated at the lower part of the screen of the second frame and at the upper part of the screen of the third frame.
  • FIG. 4 is a view for explaining detection and correction of the flash band in the second frame.
  • the flash is irradiated after the image pickup device A completes the charge accumulation on the X-th line and at the timing when the image pickup device B whose exposure start is delayed by one line is still accumulating the charge on the X-line. Is done.
  • the comparing section 42 detects a level difference occurring on the X-th line by comparing the video signals a and b having the same video phase by the signal delay section 41 and outputs the difference to the correcting section 43.
  • the correction unit 43 determines, as the X line shown in FIG. 4, a line in which the signal level ⁇ ⁇ of the imaging device A with the early exposure start is lower than the signal level of the imaging device B with the late exposure start as the flash band start line. .
  • the correction unit 43 prevents erroneous correction by replacing the level difference with “0 dB”.
  • the correction unit 43 combines the value of the level difference and the correction value gb of the image sensor B of the previous line to obtain the correction value gb of the image sensor B of the current line. For example, in the X-th line shown in FIG. 4, the correction value gb of the image pickup element B in the (X-1) -th line is combined with 0 dB for the level difference: -6 dB, and the correction value gb in the X-th line is obtained. Is -6 dB.
  • the correction value gb: ⁇ 6 dB is combined with the correction value gb: ⁇ 6 dB one line before the level difference: 0 dB, so that the correction value gb continues to be ⁇ 6 dB.
  • the correction unit 43 corrects the level of the video signal b based on the obtained correction value gb. Due to this level correction, the flash band at the lower part of the screen generated in the video signal b of the image sensor B is corrected to be dark and inconspicuous.
  • the correction unit 43 sets the correction value gb of the previous line as the correction value ga of the image sensor A.
  • the correction unit 43 corrects the level of the video signal a using the correction value ga. As a result of this level correction, the flash band at the lower part of the screen, which is generated by shifting the video signal a of the image sensor A by one line, is darkened and becomes inconspicuous.
  • FIG. 5 is a diagram for explaining detection and correction of the flash band of the third frame shown in FIG. In the figure, the flash is applied after the image sensor A completes the charge reset of the X-th line and starts the charge accumulation and before the image sensor B starts the charge accumulation.
  • the comparing unit 42 detects the level difference occurring on the X-th line by comparing the video signals a and b with the adjusted video phase by the signal delaying unit 41, and outputs the difference to the correcting unit 43.
  • the correction unit 43 determines, as the X line shown in FIG. 5, a line in which the signal level ⁇ of the image sensor A with the early exposure start exceeds the signal level of the image sensor B with the late exposure start as the end line of the flash band. .
  • the correction unit 43 replaces the level difference with “0 dB” to prevent erroneous correction.
  • the correction unit 43 combines the value of the level difference and the correction value gb of the image sensor B of the previous line to obtain the correction value gb of the image sensor B of the current line. For example, on the X-th line shown in FIG. 5, the correction value gb of the image pickup element B on the (X-1) -th line is combined with 0 dB for the level difference: +6 dB, and the correction value gb on the X-th line is +6 dB.
  • the corrector 43 corrects the level of the video signal b on and after the X-th line based on the correction value gb.
  • the lower part of the screen is corrected so that the signal level is adjusted to the flash band at the upper part of the screen of the image sensor B.
  • the boundary of the flash band is reduced and becomes inconspicuous, and the entire screen is corrected to a state where the flash is uniformly received.
  • the correction unit 43 sets the correction value gb of the previous line as the correction value ga of the image sensor A.
  • the correction unit 43 corrects the level of the video signal a using the correction value ga.
  • This level correction removes the difficulty of viewing the flash band while leaving the fact that the flash was fired as an image.
  • FIG. 6 is an explanatory diagram showing the rolling shutter operation on the time axis.
  • a flash having a long light emission period has occurred.
  • Such a flash is generated by FP emission for high-speed synchro-flash photography or by superposition of multiple flashes.
  • the slit area see FIG. 2 moves over this long light emission period, the brightness of the boundary area of the flash band changes stepwise.
  • FIG. 7 is a diagram illustrating the detection and correction of the flash band that changes stepwise.
  • the brightness of the flash band gradually increases from the X line to the (X + 1) line.
  • the comparison unit 42 By comparing the video signals a and b whose video phases have been matched by the signal delay unit 41, the comparison unit 42 outputs the level difference starting from the X line to the correction unit 43.
  • the correction unit 43 determines a line in which the signal level of the image sensor A with the early exposure start is lower than the signal level of the image sensor B with the late exposure start as the X line shown in FIG. 7 as the start line of the flash band. .
  • the level difference is not a significant level difference (such as a level difference whose absolute value is less than the threshold value)
  • the correcting unit 43 replaces the level difference with “0 dB” to prevent erroneous correction.
  • the correction unit 43 combines the value of the level difference and the correction value gb of the image sensor B of the previous line to obtain the correction value gb of the image sensor B of the current line. For example, in the X-th line shown in FIG. 4, the correction value gb of the image pickup element B in the (X-1) -th line is combined with 0 dB for the level difference: -3 dB, and the correction value gb in the X-th line is obtained. Is -3 dB.
  • the level difference: -3 dB is combined with the correction value gb of the imaging element B on the X-th line: -3 dB, and the correction value gb on the X-th line is -6 dB.
  • the correction value gb of the previous line is combined with ⁇ 6 dB with respect to the level difference of 0 dB, so that the correction value gb maintains ⁇ 6 dB.
  • the correction unit 43 corrects the level of the video signal b based on the obtained correction value gb. Due to this level correction, the flash band at the lower part of the screen generated in the video signal b of the image sensor B is corrected to be dark and inconspicuous.
  • the correction unit 43 sets the correction value gb of the previous line as the correction value ga of the image sensor A.
  • the correction unit 43 corrects the level of the video signal a using the correction value ga. Due to this level correction, the flash band at the lower part of the screen, which is generated by shifting the video signal a of the image sensor A by one line, is darkened and becomes inconspicuous.
  • FIG. 8 is an explanatory diagram showing the rolling shutter operation on the time axis.
  • the exposure time of the rolling shutter is set short. Therefore, the width of the slit area (see FIG. 2) is short.
  • the flash is fired in this state, a narrow flash band is generated in the frame.
  • FIG. 9 is a diagram illustrating the detection and correction of the flash band.
  • a flash band is generated in the video signal b of the image sensor B with a width of two lines from the X line to the (X + 1) line.
  • a flash band is generated with a width of two lines from the (X + 1) line to the (X + 2) line.
  • the comparison unit 42 By comparing the video signals a and b whose video phases have been matched by the signal delay unit 41, the comparison unit 42 outputs the level difference starting from the X line to the correction unit 43.
  • the correction unit 43 determines, as the X line shown in FIG. 9, a line in which the signal level of the imaging device A with the early exposure start is lower than the signal level of the imaging device B with the late exposure start as the flash band start line. .
  • the correction unit 43 sets a line in which the signal level of the imaging device A whose exposure starts earlier is higher than the signal level of the imaging device B whose exposure starts later as the X + 2 line shown in FIG. Is determined.
  • the correction unit 43 replaces the level difference with “0 dB” to prevent erroneous correction.
  • the correction unit 43 combines the value of the level difference and the correction value gb of the image sensor B of the previous line to obtain the correction value gb of the image sensor B of the current line. For example, in the X-th line shown in FIG. 4, the correction value gb of the image pickup element B in the (X-1) -th line is combined with 0 dB for the level difference: -6 dB, and the correction value gb in the X-th line is obtained. Is -6 dB.
  • the correction unit 43 corrects the level of the video signal b using the obtained correction value gb.
  • the narrow flash band generated in the video signal b of the image sensor B is corrected to be dark and inconspicuous.
  • the correction unit 43 sets the correction value gb of the previous line as the correction value ga of the image sensor A.
  • the correction unit 43 corrects the level of the video signal a using the correction value ga. As a result of this level correction, a narrow flash band generated by a one-line shift in the video signal a of the image sensor A is corrected to be dark and inconspicuous.
  • the video signals a and b of the image sensors A and B are compared with each other at the same place of the subject and at the lines that can be regarded as the same time. Based on this comparison result, the occurrence of the flash band can be accurately detected.
  • the lines that can be regarded as the same place and the same time of the subject are compared.
  • the flash band can be corrected with high accuracy.
  • the correction is made by the intra-frame correction. Therefore, even when a flash band occurs continuously over several frames, there is no need to perform frame replacement as in Patent Document 3, and there is no adverse effect such as a video being frozen over several frames.
  • the correction values ga and gb on the X-th line of the imaging devices A and B can be determined by a simple calculation using the following recurrence algorithm.
  • -Correction value ga (X) of the X-th line of image sensor A Correction value gb (X-1) of line (X-1) of image sensor B [1]
  • Correction value gb (X) of line X of image sensor B Composite correction value of "correction value gb (X-1) of (X-1) th line of image sensor B" and "label difference of Xth line of imagers A and B" ... [2]
  • the substantial initial value of the above recurrence formula algorithm is the correction value ga (1) of the first line of the imaging element A based on the formula [1]. If the correction value ga (1) is set to the initial value 0 dB, the first line of the image sensor A is not always corrected. Thereafter, by repeating the equations [2] and [1] of the algorithm, the correction values ga and gb of the imaging elements A and B are sequentially determined so as to cancel the signal difference from the first line of the imaging element A. Is determined. This means that the first line of the image sensor A serves as a reference for the signal level of the frame.
  • the first frame is an image in which the effect of the flash is reduced on the entire screen.
  • the second frame is an image in which the entire screen is affected by the flash.
  • the correction value gb (0) one line before the first line of the image sensor B is used as the initial value of the recurrence algorithm, and the correction value gb (0) of the last line one frame before the image sensor B is used. It can also be a correction value.
  • the correction of the flash band continues from the previous frame to the next frame. Therefore, if the flash band starts from the lower part of the screen of the first frame and disappears at the upper part of the screen of the second frame, the corrected image has the flash band covering the entire screen in both the first frame and the second frame. It becomes the removed video. By performing such correction, a natural image can be obtained as if the flasher had not been fired.
  • the level difference when the magnitude of the level difference is smaller than the threshold value, the level difference is replaced with 0 dB. Therefore, when the level difference of one line is merely an error, there is little possibility that a correction value as an error will erroneously spread to the subsequent line.
  • the level difference in the line unit between the image pickup devices A and B may be obtained for each color component of the color mosaic (for example, RGB color components in a Bayer array).
  • a correction value for reducing the effect of the flash band can be obtained for each color component (for each RGB). As a result, it is possible to reduce the influence even in the flash band of colored light.
  • the shift of the slit range is realized by shifting the exposure start timing. Therefore, even in a conventional multi-chip imaging device, the shift of the slit range can be performed by shifting the exposure start timing by firmware (program), and the function of detecting and correcting the flash band can be realized later. For example, by controlling the driving unit 3, the video signal processing unit 4, and the CPU unit 7 with firmware (program), a function of detecting and correcting a flash band can be realized.
  • FIG. 10 is a diagram for explaining spatial line shifting of the imaging devices A and B.
  • the image pickup areas of the image pickup devices A and B are positioned by being shifted by at least one line in the sub-scanning direction.
  • the image pickup devices A and B perform a rolling shutter operation by matching the timing of the exposure start.
  • the slit range of the imaging devices A and B is shifted by at least one line in the sub-scanning direction, reflecting the spatial shift.
  • the imaging areas of the imaging elements A and B are shifted by at least one line of the image of the subject due to a spatial shift. Therefore, the image signals of the image sensors that pass through the slit area first with respect to the subject image are delayed, and the phases of the images output by the image sensors A and B are adjusted.
  • FIG. 11 is a block diagram illustrating a configuration example of the imaging device 1a.
  • a color separation / spectral prism 2c of the imaging apparatus 1a separates the image forming light flux of the lens 2a into red light, blue light and green light, and further separates green light into two.
  • the spectrally separated object image of each color component is converted into a video signal for each color component by the imaging device R, the imaging device B, the imaging device Ga, and the imaging device Gb.
  • These multi-chip image sensors are rolling shutter type monochrome image sensors having the same performance, and are positioned and arranged in the same pixel space.
  • the drive signal generation unit 31 of the drive unit 3 supplies drive signals at the same timing to the image sensor Ga, the image sensor R, and the image sensor B.
  • a drive signal delayed by a predetermined time is supplied to the image sensor Gb via the drive delay unit 32.
  • the timing of the exposure start of the image sensor Gb is delayed by a predetermined time as compared with the image sensor Ga #.
  • the signal delay unit 41 of the video signal processing unit 4 delays the video signals of the imaging device R, the imaging device B, and the imaging device Ga to match the video phases of these video signals and the video signal of the imaging device Gb. Let it.
  • the comparing section 42 compares the signal levels of the video signals of the image sensor Ga and the image sensor Gb, and obtains a level difference in line units.
  • the correction unit 43 executes a recurrence formula algorithm described later based on the level difference on a line basis and the hue adjustment unit 46, and outputs the video signals of the imaging device R, the imaging device B, the imaging device Ga, and the imaging device Gb #. , A level correction is performed to reduce the influence of the flash band.
  • the video signal of each color component after the level correction is synthesized into one color video signal in the video synthesis unit 44, and then subjected to video processing such as gamma correction in the gamma correction unit 45, and is output via the video signal output unit 5. Output to the outside.
  • the CPU unit 7 controls the driving unit 3, controls the video signal processing unit 4, and the like.
  • the imaging element R and the imaging element B perform imaging at the same timing as the imaging element Ga. Therefore, when the flash is fired, the effect of the flash appears on the images of the image sensor R and the image sensor B, similarly to the image of the image sensor Ga. Therefore, similarly to the image of the image sensor Ga, the correction can be performed using the correction value one line before the image sensor Gb.
  • this correction value is a correction value for green light calculated from the difference between the signal levels of the image sensor Ga and the image sensor Gb ⁇ . Therefore, in the hue adjustment unit 46, a correction coefficient for the ratio of red light to green light and a correction coefficient for the ratio of blue light to green light are set in advance.
  • the correction unit # 43 corrects the images of the image pickup device R and the image pickup device B by using a correction value obtained by multiplying each of the correction coefficients.
  • the correction coefficients of the red light and the blue light set in the hue adjustment unit 46 are based on the color balance of the flash light assumed in advance, and may be configured so that the user can adjust and set an arbitrary value. In addition, it may be automatically calculated each time from the color balance of the video affected by the flash.
  • the correction value of the signal on the X-th line of each image sensor is as follows.
  • the third embodiment has the following effects in addition to the effects of the first and second embodiments.
  • the correction value of the flash band is calculated based on the video signal of the green light of the dual green multi-plate type.
  • the green light is a color component in which the flash band is conspicuous because the human visual sensitivity is high.
  • the red light and the blue light video signals are corrected using the correction values obtained by correcting the green light correction values with the color tone correction. Therefore, correction can be performed with good color reproducibility, and the flash band can be appropriately made inconspicuous.
  • the imaging devices A and B have a phase (for example, ⁇ 1/1 ⁇ ) in the horizontal and vertical directions based on the image position of each subject image separated by the spectral prism 2b. (2 pixel pitch).
  • the image pickup elements Ga and Gb have a phase (horizontal and vertical) in the horizontal and vertical directions based on the image position of each subject image of green light that has been spectrally separated by the color separation spectral prism 2c. For example, the position is shifted by 1/2 pixel pitch).
  • the video synthesizing unit 44 improves the resolution by obtaining the horizontal and vertical high frequency components based on the spatially sampled video signal with the phase of the pixel array shifted. Also in the fourth embodiment, the method of detecting and correcting the flash band is the same as the method described in the first to third embodiments.
  • the comparison unit 42 makes a comparison in line units. ⁇ There may be a case where a slight shift (high-frequency component) occurs in the picture of the subject. For this reason, it is preferable to apply a low-pass filter or an average value filter before or after the comparison by the comparing unit 42 so as to dull the slight deviation (high-frequency component) of the picture.
  • the fourth embodiment has the following effects in addition to the effects of the first to third embodiments. An image with excellent resolution can be obtained while appropriately removing the flash band.
  • the scanning may be performed by shifting the slit range by a plurality of n lines or more in the sub-scanning direction. In this case, the level difference in line units due to the flash belt occurs continuously for n lines in the frame.
  • the correction unit 43 corrects the video signal by gain correction (dB).
  • the amount of incident light when the flash is fired is (reflectance of subject) ⁇ (the amount of flash light and the amount of ambient light). Therefore, the influence of the flash light amount can be reduced by multiplying (gain correction) the environmental light amount / (flash light amount and environmental light amount) with the video signal of the flash band. Note that this gain correction is preferably performed on a video signal ⁇ ⁇ that can be regarded as linear before gamma correction.
  • the present invention is not limited to this.
  • the amount of incident light when the flash is fired within the lens angle of view of the imaging device is the amount of (subject light + flash light).
  • the incident light amount when the flash is fired just outside the lens angle of view of the imaging device is (subject light + lens flare light caused by the flash).
  • the correction unit 43 may subtract the level difference from the flash band area of the video signal (offset correction or black level correction).
  • the detection and correction of the flash band are performed by the imaging device.
  • the invention is not limited to this.
  • Some or all of the functions of the comparison unit 42, the correction unit 43, the signal delay unit 41, and the hue adjustment unit 46 may be implemented by a computer attached to an imaging device, an external computer, or a server computer on a network. May be realized.
  • the present invention is applicable to an imaging device such as a commercial imaging device and a broadcast camera, a video processing method in the imaging device, a program used for the imaging device, and the like.
  • This application claims the benefit of priority based on Japanese Patent Application No. 2018-174131 filed on Sep. 18, 2018, the entire disclosure of which is incorporated herein by reference.
  • a, b video signal
  • A, B imaging device
  • 1 imaging device
  • 1a imaging device
  • 2a lens
  • 2b spectral prism
  • 2c color separation spectral prism
  • 3 drive unit
  • 4 video signal processing Unit
  • 5 video signal output unit
  • 7 CPU unit 31 drive signal generation unit
  • 32 drive delay unit 41 signal delay unit
  • 42 comparison unit 41 signal delay unit
  • 43 correction unit 44
  • video synthesis unit 45: gamma correction unit
  • 46 ° hue adjustment unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

フラッシュバンドを適切に検出・補正する技術を提供することを目的とする。 上記課題を解決するために、代表的な本発明の撮像装置の一つは、被写体像の光を分光する光学系と、光学系により分光された各被写体像をそれぞれローリングシャッタ方式で撮像する複数の撮像素子と、複数の撮像素子間において、ローリングシャッタ方式の先幕／後幕の間であるスリット範囲を副走査方向に少なくとも１ライン分ずらして走査する撮像部と、複数の撮像素子が出力する映像信号を互いに比較して、映像信号の間に生じるライン単位のレベル相違を求める比較部と、レベル相違に基づいてフラッシュバンドによる映像信号の影響を補正する補正部とを備える。

Description

撮像装置、映像処理方法、およびプログラム
　本発明は、撮像装置、映像処理方法、およびプログラムに関する。
　近年のＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）撮像素子の性能向上 により、従来ＣＣＤ（Charge　Coupled　Device）撮像素子の採用が主流であった放送カ メラ等の業務用撮像装置においてもＣＭＯＳ撮像素子が採用されることが多くなっている 。
　ＣＭＯＳ撮像素子では、主走査方向の走査ライン（以下、「ライン」という。）毎に順 次に電荷蓄積（以下、露光という）を開始し、ライン毎に映像信号を順次読み出してフレ ームを出力するローリングシャッタ方式のものが多い。
　このローリングシャッタ方式では、ライン毎に露光を開始する時間が異なるため、フレ ームの途中で被写体にフラッシュが焚かれた場合、読み出されたフレーム内の映像信号に 帯状の信号レベルの段差（フラッシュバンド）が生じることがある。
　このフラッシュバンドを検出する技術はいくつか提案されている。
　例えば、特許文献１には、１フレーム内においてライン間の信号レベルを算出し、１フ レーム内でレベル変化があった場合、その変化値が所定値以上であればフラッシュバンド が発生したと検出する方法が開示されている。
　また、特許文献２には、１フレーム目の画面下部と２フレーム目の画面上部に画素の信 号レベルが増加した領域が存在し、さらに、１フレーム目でレベルが増加した領域が、２ フレーム目で信号レベルが減少していた場合にフラッシュバンドが発生したと検出する方 法が開示されている。
　また、発生したフラッシュバンドを補正する技術もいくつか提案されている。
　例えば、特許文献１には、フラッシュバンドが発生したフレームを除去し、フラッシュ バンドが発生していない前フレームに置き換える方法や、フラッシュバンドが発生した複 数フレームの中で、同じ信号レベルのラインの映像同士を繋ぎ合わせた映像を生成して置 き換える方法が開示されている。
　また、特許文献２には、フラッシュバンドが発生したフレームを除去し、フラッシュバ ンドが発生していない前後のフレームの映像を合成して置き換える方法が開示されている 。
　さらに、特許文献３には、フラッシュバンドが発生したフレームを除去し、フラッシュ バンドが発生する前のフレームの映像を用いて、擬似的に画面全体にフラッシュの影響を 受けた映像を生成して置き換える方法が開示されている。
特開２０１５－１２６４２５号公報 特開２００７－３０６２２５号公報 特開２０１４－１８７６７３号公報
　しかしながら、１フレーム内のライン間の信号レベルの変化によってフラッシュバンド を検出する方法では、上下方向に信号レベルがくっきりと分かれる被写体を撮像した場合 にフラッシュバンドと誤って検出してしまう不具合がある。
　また、多くの会見者が集まる記者会見などでは、特に注目される場面（被会見者がポー ズをとる場面や頭を下げる場面など）で、多くのフラッシュが連続して照射されることが 多い。この場合、数フレームにわたってフラッシュバンドが発生し続けるため、フレーム 間で信号レベルを比較してフラッシュバンドを検出する方法では正確な検出を行うことが 難しい。
　さらに、数フレームにわたって連続してフラッシュバンドが発生した場合、フレームを 置き換える補正方法では、数フレームにわたって映像が静止してしまう。
　また、同一フレーム内において、複数のフラッシュが重畳して照射された場合には、信 号レベルの異なる複数のフラッシュバンドが発生する。また、フラッシュの発光期間が長 くなると、数十ラインから数百ラインにもわたって緩やかに信号レベルが変化するフラッ シュバンドが発生する。このようなケースにおいて、フラッシュバンドによる信号レベル の緩やかな変化を正確に検出・補正することは困難であった。
　そこで、本発明は、フラッシュバンドを適切に検出・補正する技術を提供することを目 的とする。
　上記課題を解決するために、代表的な本発明の撮像装置の一つは、被写体像の光を分光 する光学系と、光学系により分光された各被写体像をそれぞれローリングシャッタ方式で 撮像する複数の撮像素子と、複数の撮像素子の間においてローリングシャッタ方式の先幕 ／後幕の間であるスリット範囲を副走査方向に少なくとも１ライン分ずらす撮像部と、複 数の撮像素子が出力する映像信号を互いに比較して、映像信号の間に生じるライン単位の レベル相違を求める比較部と、レベル相違に基づいてフラッシュバンドによる映像信号の 影響を補正する補正部とを備える。
　本発明によれば、フラッシュバンドを適切に検出・補正することができる。
　上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる 。
実施例１の構成例を示すブロック図である。 撮像素子のローリングシャッタ動作を説明する図である。 ローリングシャッタ動作を時間軸に表した説明図である。 フラッシュバンドの検出・補正を説明する図である。 フラッシュバンドの検出・補正を説明する図である。 ローリングシャッタ動作を時間軸に表した説明図である。 フラッシュバンドの検出・補正を説明する図である。 ローリングシャッタ動作を時間軸に表した説明図である。 フラッシュバンドの検出・補正を説明する図である。 撮像素子の空間ラインずらしを説明する図である。 実施例３の構成例を示すブロック図である。
　以下、図面に基づいて、発明の実施形態を説明する。
 ＜実施例１の構成説明＞
　図１は、実施例１の構成例を示すブロック図である。
　図１において、撮像装置１は、レンズ２ａおよび分光プリズム２ｂを備える光学系、撮 像素子Ａ、撮像素子Ｂ、駆動部３、映像信号処理部４、映像信号出力部５、およびＣＰＵ （Central　Processing　Unit）部７を備える。
　レンズ２ａは、被写体からの入射光を被写体像に結像する。分光プリズム２ｂは被写体 像の結像光を分光する。
　撮像素子Ａ，Ｂは、同一仕様のモノクロまたはカラーモザイクフィルタの撮像素子であ る。撮像素子Ａ，Ｂの撮像領域は、分光プリズム２ｂに対して分光された各被写体像を同 画素位置で受光する位置に配置される。また、同一仕様のローリングシャッタ形式により ライン単位に電荷蓄積および読み出しがなされる。
　駆動部３は、駆動信号生成部３１および駆動遅延部３２を備える。駆動信号生成部３１ は、撮像素子Ａ，Ｂの駆動信号（例えば、水平同期信号や垂直同期信号など）を生成する 。駆動遅延部３２は、撮像素子Ａの駆動信号に対して、撮像素子Ｂの駆動信号を所定時間 だけ遅延させる。
　映像信号処理部４は、信号遅延部４１、比較部４２、補正部４３、映像合成部４４、ガ ンマ補正部４５などを備える。
　信号遅延部４１は、撮像素子Ａから出力される映像信号ａを所定時間だけ遅延させるこ とにより、露光開始の遅れた撮像素子Ｂの映像信号ｂに対して、映像信号ａの映像位相を 合わせる。
　比較部４２は、映像位相を合わせた映像信号ａ，ｂについて、ライン単位に信号レベル を比較して、ゲイン差などのレベル相違を求める。このような比較は、輝度成分について 行ってもよいし、またカラーモザイクの色成分（例えばベイヤー配列のＲＧＢ色成分）別 に行ってもよい。また、１ラインの平均レベルを比較してもよいし、１ラインの画素単位 に比較してもよい。
　補正部４３は、映像位相を合わせた映像信号ａ，ｂそれぞれを内部のラインメモリに順 次に保持する。補正部４３は、比較部４２で求めたライン単位のレベル相違に基づいて、 後述するルールに従って映像信号ａ，ｂをライン単位に利得補正し、フラッシュバンドの 影響を低減する。
　映像合成部４４は、フラッシュバンドの影響を低減した映像信号ａ，ｂを１つの映像信 号（輝度色差信号など）に合成する。ここで、撮像素子Ａ，Ｂが画素ずらし配列されてい る場合は、解像度を高める処理が行われる。
　ガンマ補正部４５は、合成された映像信号に対して利得補正、ガンマ補正、ニー補正、 輪郭補正、色補正などの各種映像信号処理を施す。
　映像信号出力部５は、映像信号処理部４から出力される映像信号を、ＨＤ－ＳＤＩ（Hi gh　Definition　Serial　Digital　Interface）信号などの所定の映像信号形式に変換し 、外部に出力する。
　ＣＰＵ部７は、駆動部３の制御や、映像信号処理部４の制御などを実行する。
　次に、実施例１の各種動作について順番に説明する。
 ＜ローリングシャッタ動作の説明＞
　図２は、撮像素子Ａ，Ｂのローリングシャッタ動作を説明する図である。
　同図において、電子先幕は、撮像素子Ａ，Ｂの撮像領域の蓄積電荷を１ライン分排出し てリセットする動作である。このリセットされたラインは、その瞬間から受光量に応じた 電荷蓄積を開始する。
　一方、電子後幕は、撮像素子Ａ，Ｂの蓄積電荷による電圧（映像信号）を１ライン分読 み出す動作である。
　この電子先幕と電子後幕との間に挟まれる画素領域は、電荷蓄積を継続中（つまり露光 中）の領域であり、ローリングシャッタにおけるシャッタ幕間のスリット範囲に該当する 。以下、これをスリット範囲という。
　このスリット範囲は、撮像装置１が設定する露出時間（シャッタ速度）により決まるス リット幅（ライン数）を保ちながら、副走査方向に所定の副走査速度で移動する。
　図２に示すように、撮像素子Ｂのスリット範囲は、撮像素子Ａのスリット範囲に対して 副走査方向に少なくとも１ライン分（１ラインの短尺方向の幅）だけ遅れた状態を保って 移動（走査）する。
　このスリット範囲の遅れは、駆動部３において、撮像素子Ｂの駆動信号を撮像素子Ａの 駆動信号に対して所定時間だけ遅延させ、撮像素子Ａ，Ｂの露光開始タンミングをずらす ことにより実現する。この場合の所定時間は、次式を目安に決定できる。 露光開始を遅延させる所定時間＝ずれ幅のライン数×映像信号の１ライン期間
　以下、説明を簡略化するために、スリット範囲のずれ幅を１ライン分とするが、必要に 応じて、少なくとも複数ｎライン分（１ラインの短尺幅のｎ倍）としてもよい。
　なお、このローリングシャッタ動作では、撮像素子Ａが撮像した映像と、撮像素子Ｂが 撮像した映像は、露光開始を遅延させた所定時間だけ同期がずれることになる。そのため 、厳密には、同じ瞬間の被写体の映像ではない。しかし、例えばフルＨＤ（例えば、フレ ームレート６０Ｈｚで総ライン数１１２５本のプログレッシブスキャン）の撮像素子では 、映像信号の１ライン期間は約１５マイクロ秒という一瞬であり、超高速被写体の撮影で ない限り、撮像素子Ａと撮像素子Ｂは、同じ瞬間の被写体の映像を撮像したものと見なす ことができる。 ＜画面上部および画面下部に発生するフラッシュバンドの検出・補正＞
　続いて、図３～図５を参照して、画面上部および画面下部に発生するフラッシュバンド の検出・補正について説明する。
　図３は、ローリングシャッタ動作を時間軸に表した説明図である。
　同図において、２フレーム目の撮像領域の下部から３フレーム目の撮像領域の上部にス リット範囲が跨がったタイミングで、被写体に第三者のフラッシュが照射されている。そ のため、撮像映像において、２フレーム目の画面下部、および３フレーム目の画面上部に 、フラッシュバンドが発生する。
　図４は、この２フレーム目におけるフラッシュバンドの検出・補正を説明する図である 。
　同図において、撮像素子ＡがＸライン目の電荷蓄積を完了した後で、かつ露光開始を１ ライン分遅らせた撮像素子ＢがＸラインの電荷蓄積をまだ行っているタイミングで、フラ ッシュが照射される。
　この場合、撮像素子ＡのＸライン目は、電荷蓄積を完了しているため、フラッシュバン ドは発生しない。一方、撮像素子ＢのＸライン目は、電荷蓄積中のため、フラッシュバン ドが発生する。
　比較部４２は、信号遅延部４１により映像位相を合わせた映像信号ａ，ｂを比較するこ とにより、Ｘライン目に発生したレベル相違を検出し、補正部４３に出力する。
　補正部４３は、図４に示すＸラインのように、露光開始の早い撮像素子Ａの信号レベル が、露光開始の遅い撮像素子Ｂの信号レベルを下回るラインを、フラッシュバンドの開始 ラインと判定する。
　補正部４３は、有意なレベル相違でない場合（絶対値が閾値未満のレベル相違など）、 レベル相違を「０ｄＢ」に置き換えることで、誤った補正を防止する。
　補正部４３は、レベル相違の値と、１ライン前の撮像素子Ｂの補正値ｇｂとを合成して 、現ラインの撮像素子Ｂの補正値ｇｂとする。
　例えば、図４に示すＸライン目では、レベル相違：－６ｄＢに対して、（Ｘ－１）ライ ン目の撮像素子Ｂの補正値ｇｂ：０ｄＢを合成して、Ｘライン目の補正値ｇｂは－６ｄＢ となる。
　図４に示す撮像素子Ｂの（Ｘ＋１）ライン以降では、レベル相違：０ｄＢに対して、１ ライン前の補正値ｇｂ：－６ｄＢを合成することにより、補正値ｇｂは－６ｄＢを継続す る。
　補正部４３は、求めた補正値ｇｂにより映像信号ｂをレベル補正する。このレベル補正 により、撮像素子Ｂの映像信号ｂに発生した画面下部のフラッシュバンドは暗く補正され て目立たなくなる。
　また、補正部４３は、１ライン前の補正値ｇｂを、撮像素子Ａの補正値ｇａとする。補 正部４３は、この補正値ｇａにより映像信号ａをレベル補正する。このレベル補正により 、撮像素子Ａの映像信号ａに１ラインずれて発生した画面下部のフラッシュバンドは暗く 補正されて目立たなくなる。
　図５は、図３に示した３フレーム目のフラッシュバンドの検出・補正を説明する図であ る。
　同図において、撮像素子ＡがＸライン目の電荷リセットを完了して電荷蓄積を開始した 後で、かつ撮像素子Ｂが電荷蓄積を開始する前のタイミングで、フラッシュが照射される 。
　この場合、撮像素子ＡのＸライン目には、電荷蓄積を開始した直後のため、フラッシュ バンドが発生する。一方、撮像素子ＢのＸライン目は、電荷蓄積を開始する前のため、フ ラッシュバンドは発生しない。
　比較部４２は、信号遅延部４１により映像位相を合わせた映像信号ａ，ｂを比較するこ とにより、Ｘライン目に発生したレベル相違を検出し、補正部４３に出力する。
　補正部４３は、図５に示すＸラインのように、露光開始の早い撮像素子Ａの信号レベル が、露光開始の遅い撮像素子Ｂの信号レベルを上回るラインを、フラッシュバンドの終了 ラインと判定する。
　補正部４３は、有意なレベル相違でない場合（絶対値が閾値未満のレベル相違など）、 レベル相違を「０ｄＢ」に置き換えて、誤った補正を防止する。
　補正部４３は、レベル相違の値と、１ライン前の撮像素子Ｂの補正値ｇｂとを合成して 、現ラインの撮像素子Ｂの補正値ｇｂとする。
　例えば、図５に示すＸライン目では、レベル相違：＋６ｄＢに対して、（Ｘ－１）ライ ン目の撮像素子Ｂの補正値ｇｂ：０ｄＢを合成して、Ｘライン目の補正値ｇｂは＋６ｄＢ となる。
　図５に示す（Ｘ＋１）ライン以降では、レベル相違：０ｄＢに対して、１ライン前の補 正値ｇｂ：＋６ｄＢを合成することにより、補正値ｇｂは＋６ｄＢを継続する。
　補正部４３は、この補正値ｇｂにより映像信号ｂのＸライン目以降をレベル補正する。 このレベル補正により、撮像素子Ｂの画面上部のフラッシュバンドに信号レベルを合わせ るように、画面下部が補正される。その結果、フラッシュバンドの境目は低減されて目立 たなくなり、画面全体が一様にフラッシュを受けた状態に補正される。
　また、補正部４３は、１ライン前の補正値ｇｂを、撮像素子Ａの補正値ｇａとする。補 正部４３は、この補正値ｇａにより映像信号ａをレベル補正する。このレベル補正により 、撮像素子Ａの映像信号ａに１ラインずれて発生した画面下部のフラッシュバンドの境目 を低減されて目立たなくなり、画面全体が一様にフラッシュを受けた状態に補正される。 この補正は、フラッシュが焚かれた事実を映像として残しつつ、フラッシュバンドの見づ らさを除去する補正となる。
 ＜段階的に変化するフラッシュバンドの検出・補正＞
　続いて、図６～図７を参照して、段階的に変化するフラッシュバンドの検出・補正につ いて説明する。
　図６は、ローリングシャッタ動作を時間軸に表した説明図である。
　同図において、発光期間の長いフラッシュが発生している。このようなフラッシュは、 高速シンクロ撮影のためのＦＰ発光や、複数回のフラッシュが重畳することにより発生す る。
　この長い発光期間にわたって、スリット範囲（図２参照）が移動することにより、フラ ッシュバンドの境界域は、段階的に明るさが変化する。
　図７は、この段階的に変化するフラッシュバンドの検出・補正を説明する図である。
　同図において、撮像素子Ｂの映像信号ｂには、Ｘラインから（Ｘ＋１）ラインにかけて フラッシュバンドの明るさが段階的に増加する。
　比較部４２は、信号遅延部４１により映像位相を合わせた映像信号ａ，ｂを比較するこ とにより、Ｘラインから始まったレベル相違を、補正部４３に出力する。
　補正部４３は、図７に示すＸラインのように、露光開始の早い撮像素子Ａの信号レベル が、露光開始の遅い撮像素子Ｂの信号レベルを下回るラインを、フラッシュバンドの開始 ラインと判定する。
　補正部４３は、有意なレベル相違でない場合（絶対値が閾値未満のレベル相違など）、 レベル相違を「０ｄＢ」に置き換えて、誤った補正を防止する。
　補正部４３は、レベル相違の値と、１ライン前の撮像素子Ｂの補正値ｇｂとを合成して 、現ラインの撮像素子Ｂの補正値ｇｂとする。
　例えば、図４に示すＸライン目では、レベル相違：－３ｄＢに対して、（Ｘ－１）ライ ン目の撮像素子Ｂの補正値ｇｂ：０ｄＢを合成して、Ｘライン目の補正値ｇｂは－３ｄＢ となる。
　図４に示す（Ｘ＋１）ライン目では、レベル相違：－３ｄＢに対して、Ｘライン目の撮 像素子Ｂの補正値ｇｂ：－３ｄＢを合成して、Ｘライン目の補正値ｇｂは－６ｄＢとなる 。
　図４に示す撮像素子Ｂの（Ｘ＋２）ライン以降では、レベル相違：０ｄＢに対して、１ ライン前の補正値ｇｂ：－６ｄＢを合成することにより、補正値ｇｂは－６ｄＢを維持し 続ける。
　補正部４３は、求めた補正値ｇｂにより映像信号ｂをレベル補正する。このレベル補正 により、撮像素子Ｂの映像信号ｂに発生した画面下部のフラッシュバンドは暗く補正され て目立たなくなる。
　また、補正部４３は、１ライン前の補正値ｇｂを、撮像素子Ａの補正値ｇａとする。補 正部４３は、この補正値ｇａにより映像信号ａをレベル補正する。このレベル補正により 、撮像素子Ａの映像信号ａに１ラインずれで発生した画面下部のフラッシュバンドは暗く 補正されて目立たなくなる。
 ＜フレーム内のフラッシュバンドの検出・補正＞
　続いて、図８～図９を参照して、フレーム内に発生するフラッシュバンドの検出・補正 について説明する。
　図８は、ローリングシャッタ動作を時間軸に表した説明図である。
　同図において、ローリングシャッタの露光時間は短く設定される。そのため、スリット 範囲の幅（図２参照）は短い。この状態でフラッシュが焚かれると、フレーム内に狭い幅 のフラッシュバンドが発生する。
　図９は、このフラッシュバンドの検出・補正を説明する図である。
　同図において、撮像素子Ｂの映像信号ｂには、Ｘラインから（Ｘ＋１）ラインまでの２ ライン幅でフラッシュバンドが発生する。一方、撮像素子Ａの映像信号ａには、（Ｘ＋１ ）ラインから（Ｘ＋２）ラインまでの２ライン幅でフラッシュバンドが発生する。
　比較部４２は、信号遅延部４１により映像位相を合わせた映像信号ａ，ｂを比較するこ とにより、Ｘラインから始まったレベル相違を、補正部４３に出力する。
　補正部４３は、図９に示すＸラインのように、露光開始の早い撮像素子Ａの信号レベル が、露光開始の遅い撮像素子Ｂの信号レベルを下回るラインを、フラッシュバンドの開始 ラインと判定する。
　また、補正部４３は、図９に示すＸ＋２ラインのように、露光開始の早い撮像素子Ａの 信号レベルが、露光開始の遅い撮像素子Ｂの信号レベルを上回るラインを、フラッシュバ ンドの終了ラインと判定する。
　補正部４３は、有意なレベル相違でない場合（絶対値が閾値未満のレベル相違など）、 レベル相違を「０ｄＢ」に置き換えて、誤った補正を防止する。
　補正部４３は、レベル相違の値と、１ライン前の撮像素子Ｂの補正値ｇｂとを合成して 、現ラインの撮像素子Ｂの補正値ｇｂとする。
　例えば、図４に示すＸライン目では、レベル相違：－６ｄＢに対して、（Ｘ－１）ライ ン目の撮像素子Ｂの補正値ｇｂ：０ｄＢを合成して、Ｘライン目の補正値ｇｂは－６ｄＢ となる。
　図４に示す（Ｘ＋１）ライン目では、レベル相違：０ｄＢに対して、Ｘライン目の撮像 素子Ｂの補正値ｇｂ：－６ｄＢを合成して、Ｘライン目の補正値ｇｂは－６ｄＢとなる。
　図４に示す（Ｘ＋２）ライン目では、レベル相違：＋６ｄＢに対して、（Ｘ＋１）ライ ン目の撮像素子Ｂの補正値ｇｂ：－６ｄＢを合成して、Ｘライン目の補正値ｇｂは０ｄＢ となる。
　補正部４３は、求めた補正値ｇｂにより映像信号ｂをレベル補正する。このレベル補正 により、撮像素子Ｂの映像信号ｂに発生した狭いフラッシュバンドは暗く補正されて目立 たなくなる。
　また、補正部４３は、１ライン前の補正値ｇｂを、撮像素子Ａの補正値ｇａとする。補 正部４３は、この補正値ｇａにより映像信号ａをレベル補正する。このレベル補正により 、撮像素子Ａの映像信号ａに１ラインずれで発生した狭いフラッシュバンドは暗く補正さ れて目立たなくなる。
 ＜実施例１の効果＞
 （１）実施例１では、撮像素子Ａ，Ｂの映像信号ａ，ｂについて、被写体の同一箇所かつ 同一時刻と見なせるライン同士を比較する。この比較結果に基づけば、フラッシュバンド の発生を正確に検出することができる。
 （２）特許文献１の従来技術では、１フレーム内において隣接ライン間の輝度差を算出し 、その変化が所定値以上であればフラッシュバンドが発生したと検出する。この場合、隣 接ライン間に明暗差のある絵柄を撮像すると、フラッシュバンドと誤って検出してしまう 。
　一方、実施例１では、撮像素子Ａ，Ｂの映像信号ａ，ｂについて、被写体の同一箇所と 見なせるライン同士を比較するため、被写体の絵柄（明暗差の絵柄）に殆ど影響されない 。したがって、フラッシュバンドの誤検出は少ない。
 （３）また例えば、特許文献２の従来技術では、隣接フレーム間の輝度差を算出し、その 変化が所定値以上であればフラッシュバンドが発生したと検出する。この場合、暗い室内 から明るい屋外に出るなど時間的に明暗変化が生じると、フレーム間に輝度差が生じてフ ラッシュバンドと誤って検出してしまう。
　一方、実施例１では、撮像素子Ａ，Ｂの映像信号ａ，ｂについて、被写体の同一時刻と 見なせるライン同士を比較するため、被写体の時間的な明暗変化に殆ど影響されない。し たがって、フラッシュバンドの誤検出は少ない。
 （４）特に、実施例１では、撮像素子Ａ，Ｂの映像信号ａ，ｂについて、被写体の同一箇 所かつ同一時刻と見なせるライン同士を比較する。この比較により、フラッシュバンドに より生じるライン単位のレベル相違を高い精度で求めることができる。したがって、フラ ッシュバンドの補正を高い精度で行うことが可能になる。
 （５）実施例１では、被写体の同一箇所かつ同一時刻と見なせるライン同士を比較するた め、小さなレベル相違も見逃さずに検出することができる。したがって、少しずつレベル 変化するフラッシュバンドであっても適切に検出して補正することが可能になる。
 （６）実施例１では、複数のフラッシュが重畳して照射され、複雑にレベル変化するフラ ッシュバンドについても、被写体の同一箇所かつ同一時刻と見なせるライン同士を比較す ることにより、見逃さずに検出することができる。したがって、複雑にレベル変化するフ ラッシュバンドであっても適切に検出して補正することが可能になる。
 （７）実施例１では、フレーム内補正により補正する。そのため、数フレームにわたって 連続してフラッシュバンドが発生した場合も、特許文献３のようにフレーム入れ替えを行 う必要がなく、映像が数フレームにわたって静止するなどの弊害は生じない。
 （８）実施例１では、撮像素子Ａ，ＢのＸライン目の補正値ｇａ，ｇｂを次の漸化式アル ゴリズムにより簡易な演算で決定することができる。 ・撮像素子ＡのＸライン目の補正値ｇａ（Ｘ）
　＝撮像素子Ｂの（Ｘ－１）ライン目の補正値ｇｂ（Ｘ－１）　　…［１］ ・撮像素子ＢのＸライン目の補正値ｇｂ（Ｘ）
　＝「撮像素子Ｂの（Ｘ－１）ライン目の補正値ｇｂ（Ｘ－１）」と「撮像素子Ａ，Ｂの Ｘライン目のラベル相違」との合成補正値　　…［２］
 （９）なお、撮像素子Ｂの最初ラインに対して１ライン前の補正値ｇｂ（０）は存在しな い。そのため、上記の漸化式アルゴリズムの実質的な初期値は、［１］式に基づいて、撮 像素子Ａの１ライン目の補正値ｇａ（１）となる。
　この補正値ｇａ（１）を初期値０ｄＢとすると、撮像素子Ａの１ライン目は常に補正さ れないことになる。
　以降、アルゴリズムの［２］式と［１］式が繰り返されることにより、撮像素子Ａ，Ｂ の補正値ｇａ，ｇｂは、撮像素子Ａの１ライン目との信号相違を打ち消すように順次に決 定される。これは、撮像素子Ａの１ライン目がそのフレームの信号レベルの基準となるこ とを意味する。
　そのため、１フレーム目の画面下部からフラッシュバンドが開始し、２フレーム目の画 面上部でフラッシュバンドが消えた場合、補正された映像では、１フレーム目は画面全体 にフラッシュの影響を低減した映像となり、２フレーム目は画面全体にフラッシュの影響 を受けた映像となる。
　特に２フレーム目をこのように補正することにより、瞬間的にフラッシュが焚かれたと いう事実を残しつつ、グローバルシャッタ撮影に似た自然なフラッシュ映像を得ることが できる。
 （１０）また、実施例１では、漸化式アルゴリズムの初期値として、撮像素子Ｂの最初ラ インの１ライン前の補正値ｇｂ（０）を、撮像素子Ｂの１フレーム前の最終ラインの補正 値とすることもできる。この場合、前フレームから次フレームへフラッシュバンドの補正 が継続することになる。
　そのため、１フレーム目の画面下部からフラッシュバンドが開始し、２フレーム目の画 面上部でフラッシュバンドが消えた場合、補正された映像では、１フレーム目および２フ レーム共に画面全体にフラッシュバンドを除去した映像となる。
　このように補正することにより、フラッシャが焚かれなかったかのような自然な映像を 得ることができる。
 （１１）さらに、実施例１では、レベル相違の大きさが閾値より小さい場合は、レベル相 違を０ｄＢに置き換える。そのため、１ラインのレベル相違が誤差に過ぎない場合に後続 ラインに誤差である補正値が誤って波及してしまう虞が少ない。
 （１２）また、実施例１では、撮像素子Ａ，Ｂ間のライン単位のレベル相違をカラーモザ イクの色成分（例えばベイヤー配列のＲＧＢ色成分）別に求めてもよい。この色成分別に レベル相違を上記の漸化式アルゴリズムに代入することにより、フラッシュバンドの影響 を低減する補正値を、色成分別（ＲＧＢ別）に求めることができる。その結果、有色光の フラッシュバンドであっても影響を低減することが可能になる。
 （１３）特に、実施例１は、露光開始タイミングをずらすことで、スリット範囲のずらし を実現する。そのため、従来の多板式撮像装置においても、ファームウェア（プログラム ）により露光開始タイミングをずらすことで、スリット範囲のずらしを行い、フラッシュ バンドの検出・補正の機能を後から実現することができる。
　例えば、駆動部３、映像信号処理部４およびＣＰＵ部７をファームウェア（プログラム ）で制御することにより、フラッシュバンドの検出・補正の機能を実現することができる 。
　実施例２として、撮像素子の空間ラインずらしによるフラッシュバンドの検出・補正を 説明する。
　図１０は、撮像素子Ａ，Ｂの空間ラインずらしを説明する図である。
　同図において、撮像素子Ａ，Ｂの撮像領域を副走査方向に少なくとも１ライン分ずらし て位置決めする。この撮像素子Ａ，Ｂは、露光開始のタイミングを一致させてローリング シャッタ動作を行う。その結果、撮像素子Ａ，Ｂのスリット範囲は、空間ずらしを反映し て、副走査方向に少なくとも１ライン分のずれが生じる。
　なお、撮像素子Ａ，Ｂの互いにはみ出した撮像領域は、フラッシュバンドの検出ができ ないため、有効撮像領域から外しておくことが好ましい。
　また、撮像素子Ａ，Ｂの撮像領域は、空間ずらしのため、被写体の映像が少なくとも１ ラインずれる。そこで、被写体像に対してスリット範囲が先に通過する撮像素子の映像信 号を遅延させて、撮像素子Ａ，Ｂが出力する映像の位相を合わせる。
　なお、その他の構成、動作、および効果については、実施例１と重複するため、ここで の説明を省略する。
　実施例３として、デュアルグリーン多板式の撮像装置について説明する。
　図１１は、この撮像装置１ａの構成例を示すブロック図である。
　同図において、撮像装置１ａの色分解分光プリズム２ｃは、レンズ２ａの結像光束を赤 色光、青色光および緑色光に分光し、さらに緑色光を２つに分光する。分光された各色成 分の被写体像は、撮像素子Ｒ、撮像素子Ｂ、撮像素子Ｇａおよび撮像素子Ｇｂによって色 成分ごとの映像信号に変換される。これら多板の撮像素子は、同一性能のローリングシャ ッタ方式のモノクロ撮像素子であり、同一画素空間に位置決めして配置される。
　駆動部３の駆動信号生成部３１は、撮像素子Ｇａ、撮像素子Ｒ、撮像素子Ｂに対して同 一タイミングの駆動信号を供給する。一方、撮像素子Ｇｂには、駆動遅延部３２を介して 所定時間だけ遅延した駆動信号が供給される。その結果、撮像素子Ｇｂは、撮像素子Ｇａ に比べて露光開始のタイミングが所定時間だけ遅れる。
　映像信号処理部４の信号遅延部４１は、撮像素子Ｒ、撮像素子Ｂおよび撮像素子Ｇａの 映像信号をそれぞれ遅延させることで、これらの映像信号と撮像素子Ｇｂの映像信号との 映像位相を一致させる。
　次に、比較部４２は撮像素子Ｇａと撮像素子Ｇｂの映像信号の信号レベルを比較し、ラ イン単位のレベル相違を求める。
　補正部４３は、ライン単位のレベル相違と、色相調整部４６とに基づいて、後述する漸 化式アルゴリズムを実行し、撮像素子Ｒ、撮像素子Ｂ、撮像素子Ｇａおよび撮像素子Ｇｂ それぞれの映像信号に対して、フラッシュバンドの影響を低減するためのレベル補正を実 行する。
　レベル補正後の各色成分の映像信号は、映像合成部４４において１つのカラー映像信号 に合成された後、ガンマ補正部４５においてガンマ補正などの映像処理が施され、映像信 号出力部５を介して外部に出力される。
　ＣＰＵ部７は、駆動部３の制御や、映像信号処理部４の制御などを実行する。
 ＜実施例３の動作＞
　撮像素子Ｇａと撮像素子Ｇｂの映像信号において、フラッシュバンドを検出・補正する 動作は、実施例１で説明した撮像素子Ａと撮像素子Ｂにおける検出・補正の動作と同様で あるため、ここでの重複説明を省略する。
　一方、撮像素子Ｒおよび撮像素子Ｂは、撮像素子Ｇａと同じタイミングで撮像を行って いる。そのため、フラッシュが焚かれた場合、撮像素子Ｒおよび撮像素子Ｂの映像には、 撮像素子Ｇａの映像と同様にフラッシュの影響が現れる。よって、撮像素子Ｇａの映像と 同様に、撮像素子Ｇｂの１ライン前の補正値を用いて補正することができる。
　ただし、この補正値は、撮像素子Ｇａと撮像素子Ｇｂの信号レベルの差分から算出した 緑色光の補正値である。そのため、色相調整部４６には、緑色光に対する赤色光の割合の 補正係数と、緑色光に対する青色光の割合の補正係数をあらかじめ設定しておく。補正部 ４３は、撮像素子Ｒおよび撮像素子Ｂの映像には、それぞれの補正係数を乗じた補正値に よって補正を行う。
　色相調整部４６に設定する赤色光および青色光の補正係数は、あらかじめ想定したフラ ッシュ光の色バランスによるものであり、ユーザーが任意の値に調整設定できるようにし てもよい。また、フラッシュの影響を受けた映像の色バランスからその都度自動的に算出 しても良い。
　この補正値の算出を漸化式アルゴリズムにまとめると、各撮像素子のＸライン目の信号 レベルの補正値は以下のようになる。 ・撮像素子ＧａのＸライン目の補正値［ｄＢ］＝（撮像素子ＧｂのＸ－１ライン目の補正 値） ・撮像素子ＧｂのＸライン目の補正値［ｄＢ］＝（撮像素子ＧｂのＸ－１ライン目の補正 値）＋｛（撮像素子ＧａのＸライン目の信号レベル）－（撮像素子ＧｂのＸライン目の信 号レベル）｝ ・撮像素子ＲのＸライン目の補正値［ｄＢ］＝（撮像素子ＧｂのＸ－１ライン目の補正値 ）＋（緑色光に対する赤色光の補正係数） ・撮像素子ＢのＸライン目の補正値［ｄＢ］＝（撮像素子ＧｂのＸ－１ライン目の補正値 ）＋（緑色光に対する青色光の補正係数）
 ＜実施例３の効果＞
　実施例３は、実施例１～２の効果の他に、次の効果も奏する。
 （１）実施例２は、ディアルグリーン多板式の緑色光の映像信号に基づいて、フラッシュ バンドの補正値を計算する。この緑色光は、人間の視覚感度が高いため、フラッシュバン ドが目立ちやすい色成分である。この緑色の映像信号についてフラッシュバンドを検出・ 補正することにより、フラッシュバンドを目立たなくすることができる。
 （２）実施例２では、赤色光および青色光の映像信号については、緑色光の補正値を色調 補正した補正値を用いて補正する。したがって、色再現性よく補正することが可能になり 、フラッシュバンドを適切に目立たなくすることができる。
　実施例４として、画素配列の位相をずらすケースについて説明する。
　実施例１，２における撮像装置１（図１）の場合、分光プリズム２ｂにより分光された 各被写体像の像位置を基準にして、撮像素子Ａ，Ｂは水平および垂直方向に位相（例えば １／２画素ピッチ）をずらして位置決めされる。
　実施例３における撮像装置１ａ（図１１）の場合、色分解分光プリズム２ｃにより分光 された緑色光の各被写体像の像位置を基準にして、撮像素子Ｇａ，Ｇｂは水平および垂直 方向に位相（例えば１／２画素ピッチ）をずらして位置決めされる。
　映像合成部４４では、画素配列の位相をずらして空間サンプリングされた映像信号に基 づいて水平および垂直方向の高域成分を求めることにより、解像度を向上させる。
　実施例４においても、フラッシュバンドを検出・補正する方法は、実施例１～３で述べ た方法と同様である。
　ただし、画素配列の位相ずらしを行っているため、比較部４２でライン単位に比較する 被写体の絵柄に微少なズレ（高域成分）が生じる場合がある。そのため、比較部４２で比 較する前または後に、ローパスフィルタや平均値フィルタをかけることで、絵柄の微少な ズレ（高域成分）を鈍らせることが好ましい。
 ＜実施例４の効果＞
　実施例４は、実施例１～３の効果の他に、次の効果も奏する。
　フラッシュバンドを適切に除去しつつ、解像度の優れた映像を得ることができる。
 ＜実施形態の補足事項＞
 （１）上述した実施形態では、複数の撮像素子間において、ローリングシャッタ方式の先 幕／後幕の間であるスリット範囲を副走査方向に１ライン分ずらして走査するケースにつ いて説明した。
　しかしながら、本発明はこれに限定されない。スリット範囲を副走査方向に複数ｎライ ン以上ずらして走査してもよい。この場合、フラッシュベルトによるライン単位のレベル 相違は、フレーム内にｎライン連続して発生する。
　このようにｎライン分の幅広のレベル相違が発生することにより、フラッシュベルトの 検出精度を高めることが可能になる。
　また、ｎライン分の幅広のレベル相違を平均化することにより、レベル相違に含まれる ノイズを抑圧し、レベル相違のＳ／Ｎを高めることができる。その結果、レベル相違を正 確に求めることが可能になり、フラッシュベルトの補正を高い精度で行うことができるよ うになる。
　さらに、ｎライン分の幅広のレベル相違では、画素配列の位相ずらし（１／２画素ピッ チなど）の影響が相対的に小さくなるため、実施例４との併用は好適である。
 （２）また、実施形態では、補正部４３は利得補正（ｄＢ）により映像信号を補正する。 一般に、フラッシュが焚かれた場合の入射光量は，（被写体の反射率）×（フラッシュ光 量と環境光量）である。そのため、フラッシュバンドの映像信号に対して環境光量／（フ ラッシュ光量と環境光量）を乗算（利得補正）することにより、フラッシュ光量の影響を 低減することができる。なお、この利得補正は、ガンマ補正前の線形とみなせる映像信号 に対して施すことが好ましい。
　しかしながら、本発明はこれに限定されない。例えば、撮像装置のレンズ画角内でフラ ッシュが焚かれた場合の入射光量は、（被写体光＋フラッシュ光）の光量となる。また、 撮像装置のレンズ画角のすぐ外側でフラッシュが焚かれた場合の入射光量は、（被写体光 ＋フラッシュ原因のレンズフレア光）の光量となる。このようなケースにおいては、補正 部４３は、レベル相違分を映像信号のフラッシュバンドの領域から減算（オフセット補正 や黒レベル補正）してもよい。
 （３）さらに、実施形態では、フラッシュバンドの検出・補正を撮像装置で実施する。し かしながら、本発明はこれに限定されない。上述した比較部４２、補正部４３、信号遅延 部４１、および色相調整部４６の機能の一部または全部を、撮像装置に付随するコンピュ ータや、外部コンピュータや、ネットワーク上のサーバコンピュータにおいてプログラム により実現してもよい。
　以上、本発明をその好適な実施形態に基づいて詳述したが、本発明はこれら特定の実施 形態に限られるものではなく、上述の実施形態の一部を適宜組み合わせても良い。
 本発明は、業務用撮像装置、放送カメラなどの撮像装置、撮像装置における映像処理方法、撮像装置に用いるプログラムなどに利用可能である。この出願は、２０１８年９月１８日に出願された日本出願特願２０１８－１７４１３１を基礎として優先権の利益を主張するものであり、その開示の全てを引用によってここに取り込む。
 ａ，ｂ…映像信号、Ａ，Ｂ…撮像素子、１…撮像装置、１ａ…撮像装置、２ａ…レンズ、 ２ｂ…分光プリズム、２ｃ…色分解分光プリズム、３…駆動部、４…映像信号処理部、５ …映像信号出力部、７…ＣＰＵ部、３１…駆動信号生成部、３２…駆動遅延部、４１…信 号遅延部、４２…比較部、４３…補正部、４４…映像合成部、４５…ガンマ補正部、４６ …色相調整部

Claims (9)

  1. 　被写体像の光を分光する光学系と、
    　前記光学系により分光された各被写体像をそれぞれローリングシャッタ方式で撮像する複数の撮像素子と、
    　前記複数の撮像素子の間において、前記ローリングシャッタ方式の先幕／後幕の間であるスリット範囲を副走査方向に少なくとも１ライン分ずらす撮像部と、
    　前記複数の撮像素子が出力する映像信号を互いに比較して、前記映像信号の間に生じるライン単位のレベル相違を求める比較部と、
    　前記レベル相違に基づいてフラッシュバンドによる前記映像信号の影響を補正する補正部と
    　を備えた撮像装置。
  2. 　請求項１に記載の撮像装置において、
    　前記撮像部は、
    　　前記複数の撮像素子間において、露光開始のタイミングを所定時間ずらす
    　ことを特徴とする撮像装置。
  3. 　請求項１に記載の撮像装置において、
    　前記複数の撮像素子は、
    　　分光された前記各被写体像の像位置を基準にして、撮像領域を前記副走査方向に少なくとも１ライン分ずらして配置される
    　ことを特徴とする撮像装置。
  4. 　請求項１～３のいずれか１項に記載の撮像装置において、
    　　前記各被写体像に対して前記スリット範囲が先に通過する撮像素子の映像信号を遅延させて、前記複数の撮像素子が出力する映像のラインずれを低減する信号遅延部を備え、
    　前記比較部は、
    　　前記信号遅延部を介して複数の映像信号を比較して、前記映像信号の間に生じるライン単位のレベル相違を求める
    　ことを特徴とする撮像装置。
  5. 　請求項１～４のいずれか１項に記載の撮像装置において、
    　前記比較部は、
    　　前記スリット範囲が先に通過する撮像素子Ａの信号レベルＬａと、前記スリット範囲が後に通過する撮像素子Ｂの信号レベルＬｂとのライン単位のレベル相違を求め、
    　前記補正部は、
    　　前記レベル相違と、１ライン前の撮像素子Ｂの補正値Ｇｂとを合成して、撮像素子Ｂの補正値Ｇｂとし、撮像素子Ｂの映像信号をライン単位に補正し、
    　　１ライン前の補正ゲインＧｂを、撮像素子Ａの補正値Ｇａとし、撮像素子Ａの映像信号をライン単位に補正する
    　ことを特徴とする撮像装置。
  6. 　請求項１～５のいずれか１項に記載の撮像装置において、
    　前記複数の撮像素子は、
    　　分光された前記各被写体像の像位置を基準にして、画素配列の位相をずらして配置される
    　ことを特徴とする撮像装置。
  7. 　請求項１～６のいずれか１項に記載の撮像装置において、
    　前記光学系は、
    　　被写体像を、赤成分、青成分、および２つの緑成分に分光し、
    　前記撮像部は、
    　　２つの緑成分をそれぞれ受光する２つの撮像素子間において、前記スリット範囲を副走査方向に所定ライン数分ずらして走査し、
    　前記比較部は、
    　　前記２つの緑成分の映像信号の信号レベルを比較し、ライン単位のレベル相違を求め、
    　前記補正部は、
    　　前記２つの緑成分の前記レベル相違に応じて前記フラッシュバンドの緑成分を補正し、前記レベル相違を赤成分に色相調整したレベル相違に応じて前記フラッシュバンドの赤成分を補正し、前記レベル相違を青成分に色相調整したレベル相違に応じて前記フラッシュバンドの青成分を補正する
    　ことを特徴とする撮像装置。
  8. 　被写体像の光を分光する光学系と、
    　前記光学系により分光された各被写体像をそれぞれローリングシャッタ方式で撮像する複数の撮像素子と、
    　前記複数の撮像素子間において、前記ローリングシャッタ方式の先幕／後幕の間であるスリット範囲を副走査方向に少なくとも１ライン分ずらして走査する撮像部と
    　を備えた撮像装置の映像信号を処理する方法であって、
    　前記複数の撮像素子が出力する映像信号を互いに比較して、前記映像信号の間に生じるライン単位のレベル相違を求める比較ステップと、
    　前記レベル相違に基づいてフラッシュバンドによる前記映像信号の影響を補正する補正ステップと
    　を備えた映像処理方法。
  9. 　請求項１～７のいずれか１項に記載の前記比較部および前記補正部として、コンピュータを機能させる
    　ことを特徴とするプログラム。
PCT/JP2019/033061 2018-09-18 2019-08-23 撮像装置、映像処理方法、およびプログラム WO2020059425A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/276,721 US11310446B2 (en) 2018-09-18 2019-08-23 Imaging device, image processing method, and program
JP2020548188A JP7039720B2 (ja) 2018-09-18 2019-08-23 撮像装置、映像処理方法、およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-174131 2018-09-18
JP2018174131 2018-09-18

Publications (1)

Publication Number Publication Date
WO2020059425A1 true WO2020059425A1 (ja) 2020-03-26

Family

ID=69887148

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/033061 WO2020059425A1 (ja) 2018-09-18 2019-08-23 撮像装置、映像処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US11310446B2 (ja)
JP (1) JP7039720B2 (ja)
WO (1) WO2020059425A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010119669A1 (ja) * 2009-04-16 2010-10-21 パナソニック株式会社 撮像装置、外部閃光検出方法、プログラムおよび集積回路
JP2011015222A (ja) * 2009-07-02 2011-01-20 Fujifilm Corp 撮像装置及び撮像制御方法
JP2012019429A (ja) * 2010-07-09 2012-01-26 Ikegami Tsushinki Co Ltd 撮像信号処理回路及び撮像信号処理方法
JP2013165439A (ja) * 2012-02-13 2013-08-22 Sony Corp フラッシュバンド補正装置、フラッシュバンド補正方法及び撮像装置
JP2014023035A (ja) * 2012-07-20 2014-02-03 Jvc Kenwood Corp 画像処理装置及び方法
WO2016111239A1 (ja) * 2015-01-06 2016-07-14 日本電気株式会社 映像処理装置、映像処理方法及びプログラム記録媒体
JP2017224885A (ja) * 2016-06-13 2017-12-21 キヤノン株式会社 撮像装置、その制御方法、及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3005543A1 (fr) * 2013-10-14 2014-11-14 St Microelectronics Grenoble 2 Procede de compensation de scintillement utilisant deux images
US9407832B2 (en) * 2014-04-25 2016-08-02 Himax Imaging Limited Multi-exposure imaging system and method for eliminating rolling shutter flicker

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010119669A1 (ja) * 2009-04-16 2010-10-21 パナソニック株式会社 撮像装置、外部閃光検出方法、プログラムおよび集積回路
JP2011015222A (ja) * 2009-07-02 2011-01-20 Fujifilm Corp 撮像装置及び撮像制御方法
JP2012019429A (ja) * 2010-07-09 2012-01-26 Ikegami Tsushinki Co Ltd 撮像信号処理回路及び撮像信号処理方法
JP2013165439A (ja) * 2012-02-13 2013-08-22 Sony Corp フラッシュバンド補正装置、フラッシュバンド補正方法及び撮像装置
JP2014023035A (ja) * 2012-07-20 2014-02-03 Jvc Kenwood Corp 画像処理装置及び方法
WO2016111239A1 (ja) * 2015-01-06 2016-07-14 日本電気株式会社 映像処理装置、映像処理方法及びプログラム記録媒体
JP2017224885A (ja) * 2016-06-13 2017-12-21 キヤノン株式会社 撮像装置、その制御方法、及びプログラム

Also Published As

Publication number Publication date
JP7039720B2 (ja) 2022-03-22
US11310446B2 (en) 2022-04-19
US20220038647A1 (en) 2022-02-03
JPWO2020059425A1 (ja) 2021-08-30

Similar Documents

Publication Publication Date Title
JP4337857B2 (ja) 画像データのノイズ処理方法及びノイズ処理装置並びに撮像装置
US8175378B2 (en) Method and system for noise management for spatial processing in digital image/video capture systems
US7030913B2 (en) White balance control apparatus and method, and image pickup apparatus
US20030184659A1 (en) Digital color image pre-processing
US20080278609A1 (en) Imaging apparatus, defective pixel correcting apparatus, processing method in the apparatuses, and program
US8154629B2 (en) Noise canceling circuit, noise canceling method, and solid-state imaging device
KR20070024559A (ko) 촬상 장치 및 신호 처리 방법
US9444979B2 (en) Imaging device and image processing method
US7667735B2 (en) Image pickup device and image processing method having a mask function
WO2019225071A1 (ja) 信号処理装置及び信号処理方法、並びに撮像装置
KR20110016812A (ko) 촬상장치 및 촬상방법
JP2013029995A (ja) 撮像システム
JP3553999B2 (ja) 撮像装置とその画像処理方法
JP3748031B2 (ja) 映像信号処理装置及び映像信号処理方法
WO2020059425A1 (ja) 撮像装置、映像処理方法、およびプログラム
JP4948303B2 (ja) 撮像装置及び信号処理方法
JP6886026B2 (ja) 撮像装置
JP2006121165A (ja) 撮像装置、画像形成方法
JP4993275B2 (ja) 画像処理装置
JP4498086B2 (ja) 画像処理装置および画像処理方法
JP7237164B2 (ja) 撮像装置、撮像方法、および映像処理プログラム
JP7379217B2 (ja) 撮像システム
US8625008B2 (en) Image processing apparatus having luminance-type gamma correction circuit capable of changing nonlinear characteristic, and image processing method therefor
US20230386000A1 (en) Image processing apparatus, control method thereof, and non-transitory computer-readable storage medium
US20200314349A1 (en) Image processing device, image processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19862658

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020548188

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19862658

Country of ref document: EP

Kind code of ref document: A1