WO2013084605A1 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

画像処理装置、および画像処理方法、並びにプログラム Download PDF

Info

Publication number
WO2013084605A1
WO2013084605A1 PCT/JP2012/077193 JP2012077193W WO2013084605A1 WO 2013084605 A1 WO2013084605 A1 WO 2013084605A1 JP 2012077193 W JP2012077193 W JP 2012077193W WO 2013084605 A1 WO2013084605 A1 WO 2013084605A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
flicker
short
flicker correction
exposure image
Prior art date
Application number
PCT/JP2012/077193
Other languages
English (en)
French (fr)
Inventor
啓太郎 山本
茂幸 馬場
真博 伊東
晋 大野
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201280059243.1A priority Critical patent/CN103975578A/zh
Priority to EP12855320.3A priority patent/EP2790399A1/en
Priority to US14/361,754 priority patent/US20140375848A1/en
Publication of WO2013084605A1 publication Critical patent/WO2013084605A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures

Definitions

  • the present disclosure relates to an image processing apparatus, an image processing method, and a program. More specifically, the present invention relates to an image processing apparatus that performs flicker correction, an image processing method, and a program.
  • CMOS Complementary Metal Oxide Semiconductor
  • flicker When an image is taken with a camera equipped with an XY address scanning type imaging device such as a CMOS (Complementary Metal Oxide Semiconductor) imaging device under illumination of a fluorescent lamp, striped luminance unevenness and color unevenness occur in the image signal.
  • CMOS Complementary Metal Oxide Semiconductor
  • flicker when an image is captured and displayed on a display device, a phenomenon is observed in which a high-brightness portion and a low-brightness stripe pattern flow on the screen. This is called flicker.
  • Flicker is caused by the fact that the fluorescent lamp connected to the commercial power supply (alternating current) basically repeats blinking at a cycle twice the power supply frequency and the operation principle of the image sensor.
  • FIG. 1 shows the following data.
  • A Luminance change of fluorescent lamp
  • b Schematic diagram of imaging (exposure) sequence of CMOS image sensor
  • c CMOS image readout timing
  • d Image of output image In FIG. 1, time (t) is from left to right Has passed.
  • Fluorescent lamps are assumed to be operating in a commercial power supply area of 50 Hz.
  • the fluorescent lamp repeatedly blinks at a frequency of 100 Hz which is twice the power supply frequency (50 Hz).
  • the arc-shaped curve shown in (a) shows the luminance change of the fluorescent lamp.
  • a luminance change is generated at a cycle of 100 Hz, that is, in units of 1/100 second.
  • an image is taken with a CMOS image sensor having a rolling shutter at a frame rate of 60 frames per second.
  • the exposure process is sequentially performed from the upper end row (Row) to the lower end row (Row) of each photographing frame as time passes.
  • an oblique dotted line is a line indicating the reset timing of the image sensor
  • an oblique solid line is a line indicating the readout timing. Exposure is started after the reset indicated by the dotted line, and the period until the readout timing indicated by the solid line is the exposure time. Exposure is performed from the upper scan line of the frame toward the lower scan line by the rolling shutter.
  • the area surrounded by two diagonal solid lines adjacent to each other represents one frame of the image sensor.
  • a luminance change corresponding to the luminance change of the illumination occurs. That is, since the exposure timing is different for each row constituting the image frame, horizontal stripe-shaped unevenness, so-called flicker, is generated as shown in the output image of FIG.
  • the output image shows four continuously shot images of frame # 1 to frame # 4. These are image frames # 1 to # 4 constituting a moving image shot at a frame rate (60 fps) of 60 frames per second.
  • Frame # 3 shows an upper end portion P, an intermediate portion Q, and a lower end portion R, respectively. These are shown in order to clearly show the corresponding positions with the exposure times P, Q, and R in the imaging schematic diagram of the CMOS image sensor shown in FIG.
  • the upper end portion P of the frame # 3 is a row portion exposed during a period when the luminance of the fluorescent lamp is bright.
  • the middle portion Q of frame # 3 is a row portion exposed during a period in which the luminance of the fluorescent lamp changes from a dark period to a bright period.
  • the lower end R of the frame # 3 corresponds to a row portion exposed during a period when the luminance of the fluorescent lamp is dark. As described above, since the fluorescent lamp luminance in the exposure period of each row (Row) does not match, a stripe pattern based on luminance unevenness and color unevenness occurs.
  • a general image sensor has a configuration in which, for example, any one of RGB wavelength lights is selectively input in units of constituent pixels of the image sensor.
  • RGB array for example, a Bayer array is known.
  • flicker differs for each color signal (color channel) due to the wavelength dependence of the afterglow characteristics of the phosphor of the fluorescent lamp, Color unevenness occurs due to differences in amplitude and phase.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 11-122513 discloses a plurality of signal intensity distributions obtained by integrating pixel values of past images taken in advance of a flicker corrected image in the horizontal direction (for one flicker period).
  • a correction waveform (for example, a correction waveform for correcting the intensity of each row unit of the image based on this ratio is calculated based on this ratio by calculating the ratio between the obtained average intensity distribution and the intensity distribution of the current image to be corrected. (Flicker correction waveform) is generated, and the correction waveform is applied to correct the intensity of each line of the current image as flicker correction.
  • Patent Document 1 Japanese Patent Laid-Open No. 11-122513
  • Japanese Patent Laid-Open No. 11-122513 Japanese Patent Laid-Open No. 11-122513
  • Patent Document 2 Japanese Patent Laid-Open No. 2002-165141 discloses a method of reducing the influence of flicker by adjusting the power supply frequency and the exposure time so as to have a multiple relationship. .
  • This method eliminates the need for integrating the intensity distribution of still scenes, but in practice it is difficult to make the shutter speed completely coincide with the power supply frequency, and it is inevitable that minute errors will occur. As a result, flicker having a very long period (long period flicker) is generated. This flicker appears more prominently in a captured image with a short exposure time.
  • the flicker described with reference to FIG. 1 is called short-period flicker.
  • the types of flicker include the short cycle flicker described with reference to FIG. 1 and the above-described long cycle flicker. That is, the short cycle flicker described with reference to FIG. 1 appears as unevenness in a captured image when captured at a shutter speed clearly shorter than the light / dark cycle of the fluorescent lamp, and when displayed as a video, a bright portion and a dark portion It is recognized that the stripe pattern consisting of is relatively clearly identified and moves at a relatively fast speed.
  • long-period flicker is image unevenness appearing in an image taken at a shutter speed close to the light / dark cycle of a fluorescent lamp, and is caused by a difference between the power supply frequency and the shutter speed.
  • a striped pattern consisting of a bright part and a dark part is gently discriminated and recognized as a striped pattern that moves at a relatively slow speed.
  • the present disclosure has been made in view of, for example, the above-described problem, and an object thereof is to provide an image processing apparatus, an image processing method, and a program that perform flicker correction with higher accuracy.
  • an image processing apparatus for example, an image processing apparatus, an image processing method, and a program that perform high-precision flicker correction while reducing processing load without performing past image integration processing, etc. provide.
  • the first aspect of the present disclosure is: A signal processing unit that inputs a captured image of at least two different exposure times of a short exposure image and a long exposure image and executes a flicker correction process for removing a flicker component included in the short exposure image;
  • the signal processing unit A short-time exposure image row profile comprising an integral value of the signal amount in units of rows of the short-time exposure image; Generate a reference profile consisting of an integral value of the signal amount in units of rows of the long exposure image,
  • a flicker correction waveform is generated by data processing including division processing by the reference profile with respect to the short-time exposure image row profile,
  • An image processing apparatus that generates a corrected image from which a flicker component is removed by a process of multiplying a pixel value of each line of a short-time exposure image by a coefficient in units of lines corresponding to the flicker correction waveform.
  • the long-time exposure image is an image photographed under an exposure time setting that substantially matches an integer multiple of the luminance change period of the image photographing environment.
  • the signal processing unit when generating the flicker correction waveform, flicker component data obtained by dividing the short-time exposure image row profile by the reference profile, Alternatively, a sine wave approximation process is performed on the phase inversion data of the flicker component data to generate the flicker correction waveform.
  • the signal processing unit when generating the flicker correction waveform, flicker component data obtained by dividing the short-time exposure image row profile by the reference profile, Alternatively, the flicker correction waveform is generated by executing spline interpolation processing on the phase inversion data of the flicker component data.
  • the signal processing unit when generating the flicker correction waveform, flicker component data obtained by dividing the short-time exposure image row profile by the reference profile, Alternatively, the flicker correction waveform is generated by executing linear interpolation processing on the phase inversion data of the flicker component data.
  • the signal processing unit when generating the flicker correction waveform, flicker component data obtained by dividing the short-time exposure image row profile by the reference profile, Alternatively, a discrete Fourier transform is performed on the phase inversion data of the flicker component data, and a process of distributing the second and subsequent higher order components to the lower order is performed.
  • the signal processing unit performs the peak position of the row profile of the correction target image and the peak position of the flicker correction waveform in the generation process of the correction image from which the flicker component is removed. After the phase matching is performed, a process of multiplying the pixel value of each row of the short-time exposure image by a row unit coefficient corresponding to the flicker correction waveform is executed.
  • the signal processing unit determines whether each image includes a moving subject, and applies the image determined not to include the moving subject to apply the flicker correction. Performs waveform generation processing.
  • the signal processing unit determines whether or not the short-time exposure image to be corrected includes a moving subject, and determines that the image does not include the moving subject. On the other hand, image correction using the flicker correction waveform is performed.
  • the signal processing unit determines whether or not the short-time exposure image to be corrected includes a moving subject, and for an image determined to include the moving subject.
  • the flicker correction waveform is corrected in consideration of the phase change of the row profile due to the influence of the moving subject, and image correction using the corrected flicker correction waveform is performed.
  • the signal processing unit determines whether or not the short-time exposure image to be corrected includes a moving subject, and for an image determined to include the moving subject. Then, based on the inter-frame phase shift calculated based on the still image, the flicker correction waveform is cut out so that the phase coincides with the image including the moving subject, and image correction using the cut out flicker correction waveform is performed. Do.
  • the second aspect of the present disclosure is: An image processing method executed in an image processing apparatus, Signal processing in which a signal processing unit inputs flicker images having at least two different exposure times of a short-time exposure image and a long-time exposure image, and executes flicker correction processing for removing flicker components included in the short-time exposure image Perform steps, In the signal processing step, A short-time exposure image row profile comprising an integral value of the signal amount in units of rows of the short-time exposure image; A process of generating a reference profile consisting of an integral value of the signal amount in units of rows of the long exposure image, Flicker correction waveform generation processing by data processing including division processing by the reference profile for the short exposure image row profile; An image processing method for executing a correction image generation process in which a flicker component is removed by a process of multiplying a pixel value of each line of a short-time exposure image by a coefficient in units corresponding to the flicker correction waveform.
  • the third aspect of the present disclosure is: A program for executing a flicker correction process for removing a flicker component included in an image in an image processing apparatus, At least two types of captured images with different exposure times, a short exposure image and a long exposure image, are input to the signal processing unit, In the signal processing unit, A short-time exposure image row profile comprising an integral value of the signal amount in units of rows of the short-time exposure image; A process of generating a reference profile consisting of an integral value of the signal amount in units of rows of the long exposure image, Flicker correction waveform generation processing by data processing including division processing by the reference profile for the short exposure image row profile; A program for executing a correction image generation process in which a flicker component is removed by a process of multiplying a pixel value of each line of a short-time exposure image by a line unit coefficient corresponding to the flicker correction waveform.
  • the program of the present disclosure is a program provided by, for example, a storage medium to an information processing apparatus or a computer system that can execute various program codes. By executing such a program by the program execution unit on the information processing apparatus or the computer system, processing according to the program is realized.
  • system is a logical set configuration of a plurality of devices, and is not limited to one in which the devices of each configuration are in the same casing.
  • an apparatus and a method that enable effective flicker removal are realized. Specifically, flicker generated in a photographed image under an illumination environment such as a fluorescent lamp having a luminance change is effectively removed or reduced.
  • a short-exposure image row profile consisting of an integral value of the signal amount of each short-exposure image row and a long-exposure image are input by inputting at least two types of photographed images with different exposure times: a short-exposure image and a long-exposure image.
  • FIG. 2 is a block diagram illustrating an overall configuration of the imaging apparatus 100 according to an embodiment of the present disclosure.
  • the imaging apparatus 100 includes an imaging unit 101, a signal processing unit 102, a codec (encoding / decoding processing unit) 103, a recording / playback unit 104, a recording medium 120, a display unit 130, a control unit 150, and a memory 151.
  • the imaging unit 101 is configured by a lens, an imaging element, and the like.
  • the imaging device is a CMOS image sensor that is an XY address scanning type imaging device. As described above with reference to FIG. 1, the CMOS image sensor, which is an XY address scanning type image sensor, sequentially performs exposure processing from the upper row to the lower row as time elapses. The received light signal from the CMOS image sensor is photoelectrically converted and input to the signal processing unit 102 as an electrical signal.
  • the signal processing unit 102 performs flicker correction processing according to the present invention in addition to processing such as white balance adjustment, gamma correction, or demosaic processing that is executed as general camera signal processing.
  • processing such as white balance adjustment, gamma correction, or demosaic processing that is executed as general camera signal processing.
  • the configuration of the flicker correction processing unit that executes the flicker correction processing and details of the processing will be described later with reference to FIG.
  • Data obtained as a result of signal processing in the signal processing unit 102 is input to a codec (encoding / decoding processing unit) 103.
  • the data is output to the display unit 130 and display processing is executed.
  • the codec 103 executes a predetermined encoding process such as an MPEG encoding process, and outputs the processing result to the recording / reproducing unit 104.
  • the recording / playback unit 104 executes a process of recording a captured image on the recording medium 120 according to a recording format defined in advance.
  • the recording medium 120 is a data recordable medium such as a flash memory, a magnetic disk, and an optical disk.
  • the recording / playback unit 104 executes data reading from the recording medium 120, and the read data is provided to the codec 103 to execute decoding processing. Is done. An image obtained as a result of the decoding process is displayed on the display unit 130.
  • the control of each of these components is executed by the control unit 150 according to a program recorded in advance in the memory 151.
  • the control unit 150 has a CPU having a program execution function.
  • the memory 151 is composed of RAM, ROM, and the like.
  • such shooting processing with a plurality of different exposure times is a method performed as processing for shooting an image with a wide dynamic range.
  • imaging is performed by periodically changing the exposure time of the image sensor, and a wide dynamic range image is obtained by image synthesis processing according to the luminance level of each pixel. That is, an image having a wide dynamic range is generated by image composition processing in which the pixel value of the long exposure image is applied to the low luminance pixel portion and the pixel value of the short exposure image is used for the high luminance pixel portion.
  • image composition processing in which the pixel value of the long exposure image is applied to the low luminance pixel portion and the pixel value of the short exposure image is used for the high luminance pixel portion.
  • a pixel value calculation process for maintaining overall consistency is performed.
  • the imaging device A short exposure image with an exposure time (t1), Long exposure image of exposure time (t2), At least two kinds of images with different exposure times are repeatedly taken.
  • at least one image is an image captured under an exposure time setting that substantially matches an integer multiple of the luminance change period of the image capturing environment.
  • the setting shown in FIG. 3 is a setting for alternately capturing 60 short-time exposure images and 60 long-time exposure images per second.
  • the exposure time (t2) of the long exposure image substantially coincides with the luminance cycle [1/120 (sec)] of the fluorescent lamp. That is, t2 ⁇ 1/120 (sec) This is the setting.
  • the exposure time (t2) of the long-exposure image is set to the luminance cycle [1 / 120 (sec)]
  • the long-time exposure image is taken as an image that hardly includes the influence of flicker.
  • the exposure time (t1) of the short-exposure image is set to be different from the luminance cycle of the fluorescent lamp or a multiple thereof, and the short-exposure image is taken as an image affected by flicker.
  • the signal processing unit 102 of the imaging apparatus 100 illustrated in FIG. 2 performs flicker correction using an image captured under these multiple exposure time settings. Details of the flicker correction executed in the signal processing unit 102 will be described below.
  • FIG. 4 is a diagram illustrating a sequence of flicker correction processing executed in the signal processing unit 102. Note that the sequence shown in FIG. 4 is executed by the processor in the signal processing unit 102 in accordance with, for example, a program that defines the processing of each step (S101-) shown in FIG. Or you may perform using the hardware for exclusive use for performing each process.
  • the signal processing unit 102 inputs a RAW image acquired by the image sensor constituting the imaging unit 101 as the input image 201, and performs a flicker correction process on the RAW image.
  • the RAW image is output data of the imaging unit 101, and is raw data before being subjected to signal processing such as demosaic processing.
  • the demosaic process is a process for setting, for example, all pixel values of RGB as data corresponding to each pixel of the image sensor that constitutes the imaging unit 101.
  • the raw data before executing the demosaic process is stored in each pixel of the image sensor. On the other hand, for example, only RGB pixel values are set.
  • the signal processing unit 102 generates an output image 202 in which flicker correction is performed on the input image 201 using the raw image before demosaic processing as the input image 201.
  • this process is an example, and the signal processing unit 102 inputs the color image on which the demosaic process has been executed, and executes the flicker correction process by performing the same process as described below on the color image. It is good also as a structure.
  • the flicker correction processing sequence shown in FIG. 4 will be described in order according to each processing step.
  • step S101 a row profile (Row Profile) for the input image 201 is generated.
  • the row profile is data indicating the signal amount (intensity) for each row of the captured image.
  • a signal value is integrated for each color channel (RGB) in the horizontal direction of the RAW image 201 to obtain a one-dimensional signal amount (Intensity) in units of rows.
  • the RAW data is data in which only one of RGB pixel values is set for each pixel of the image sensor. For example, data as shown in FIG. 5 is generated as a row profile.
  • the row profile is used as basic data for executing pixel value correction as flicker correction in units of rows.
  • Line profile generation and line-by-line flicker correction are processes performed on the assumption that the influence of flicker on the captured image is almost the same in the scan line (horizontal) direction of the image. By doing so, the calculation amount of flicker correction can be reduced and the processing efficiency can be improved.
  • integration processing is performed independently for each of the R, G, and B channels in units of rows, and as a one-dimensional signal amount (RP) for each of the RGB channels, Signal amount: RP_Rk (y), RP_Gk (y), RP_Bk (y) Get.
  • k is the frame number of the image
  • y is the vertical coordinate value of the image.
  • the signal processing unit 102 performs the row (y) unit for the input RAW image frame k.
  • Signal amount: RP_Rk (y), RP_Gk (y), RP_Bk (y) Is calculated.
  • (1) A method of individually executing processing in units of color signal components, for example, RGB color channels; (2) A method of calculating a single signal amount RPk (y) in units of rows without distinguishing color channels (for example, RGB) and using this to perform common processing for all color channel-corresponding pixels, There are these two approaches. Any of these processes can exhibit an effective flicker reduction effect. Note that the RGB color channel unit processing of (1) can enhance the effect of reducing color unevenness.
  • the row profile generation process may be executed as either of the processes (1) and (2).
  • the imaging device includes: A short exposure image with an exposure time (t1), Long exposure image of exposure time (t2), At least two kinds of images with different exposure times are repeatedly taken.
  • the setting shown in FIG. 3 is a setting for alternately capturing 60 short-time exposure images and 60 long-time exposure images per second.
  • the exposure time (t2) of the long exposure image substantially coincides with the luminance cycle of the fluorescent lamp. That is, t2 ⁇ 1/120 (sec) This is the setting. Therefore, the long exposure image is taken as an image that hardly includes the influence of flicker.
  • the exposure time (t1) of the short-exposure image is set to be different from the luminance cycle of the fluorescent lamp or a multiple thereof, and the short-exposure image is taken as an image affected by flicker.
  • the row profile of the short-time exposure image is a row profile including the influence of flicker.
  • the row profile of the long exposure image is a row profile that hardly includes the influence of flicker.
  • the row profile of the short-time exposure image shown in FIG. 6A is a row profile greatly affected by flicker. It is presumed that the respective RGB signal amounts fall at the center of the row and both ends are high due to the influence of flicker.
  • the row profile of the long exposure image shown in FIG. 6B is a row profile that hardly includes the influence of flicker.
  • Each RGB signal amount is almost uniform over each row, and no significant change is observed. It is estimated that there is almost no change in the signal amount due to the effect of flicker.
  • step S101 of the sequence diagram shown in FIG. 4 row profiles are sequentially generated for each captured image of the short exposure image and the long exposure image.
  • the shooting sequence described above with reference to FIG. A short exposure image with an exposure time (t1), Long exposure image of exposure time (t2), In the sequence of taking these images alternately, Generation of row profiles for short exposure images, Generation of line profiles for long exposure images, Generation of row profiles for short exposure images, Generation of line profiles for long exposure images, ... These processes are repeatedly executed.
  • step S102 a flicker correction coefficient is calculated.
  • the effect of flicker greatly occurs in the short-time exposure image, and the flicker correction coefficient corresponding to each short-time exposure image is calculated.
  • FIG. (C) Flicker component data corresponding to the short-time exposure image obtained by the division process (a) / (b) similar to FIG. 7 (c) (d) Phase of flicker component shown in (c) Flicker correction coefficient generated by inversion processing ( ⁇ flicker correction waveform) These are shown.
  • the row profile of the short-exposure image for which the flicker correction coefficient is to be calculated shown in FIG. 7A is divided by the row profile (reference profile) of the long-exposure image taken immediately before or after the short-exposure image (each color). Divide by the signal amount of each corresponding row). That is, it divides by the row profile (reference profile) of the long exposure image shown in FIG. By this division processing, flicker component data shown in FIG. 7C is obtained.
  • the signal amount of a row (p) having a row profile of R (red) is Long exposure image signal amount (RLp), Signal amount of short exposure image (RSp), Furthermore, the exposure ratio of the long exposure image and the short exposure image is n: 1, And
  • a flicker correction coefficient ( ⁇ flicker correction waveform) is generated.
  • the flicker correction coefficient corresponds to (a) data having an intensity distribution opposite to the flicker component included in the short-time exposure image.
  • This process is executed for at least a plurality of short-time exposure images, and a plurality of flicker correction coefficients ( ⁇ flicker correction waveforms) are calculated.
  • the flicker correction coefficient ( ⁇ flicker correction waveform) shown in FIG. 8D is a signal pattern having a phase opposite to that of the signal component of flicker only, and the line unit of this (d) flicker correction coefficient ( ⁇ flicker correction waveform).
  • the flicker correction coefficient ( ⁇ flicker correction waveform) shown in FIG. 8D has been largely eliminated by the division processing of FIG. 7, but the influence of the saturated region and the dark region in the image has been removed. A correction result that is included and can be applied to the image correction process as it is cannot be obtained.
  • the flicker correction coefficient ( ⁇ flicker correction waveform) shown in FIG. 8D is further processed to calculate a final flicker correction waveform. This process will be described later.
  • step S102 a moving subject detection process is executed. This is detection processing for determining whether or not a moving subject is included in a captured image. This is because the subsequent processing differs depending on whether the moving subject is included or not.
  • the moving subject detection process in step S103 is executed as a comparison process between the difference between the row profiles of each image frame obtained in step S101 and a predetermined threshold value.
  • the row profile to be compared is a long-exposure time image that is less affected by flicker.
  • the line profiles of a plurality of long-time exposure images shot at close shooting times are compared, and the difference data is calculated.
  • the row profile (Xpro) of the long-exposure image x photographed at the photographing time (tx) The row profiles (Ypro) of the long exposure image y photographed at the photographing time (ty) that is the long exposure photographing timing next to the time (tx) are compared, and the difference between these row profiles is calculated.
  • the row profile is calculated as data for each color of RGB as described with reference to FIGS. Therefore, for the two row profiles (Xpro, Ypro) to be compared, the difference between the signal amounts for each color and each row is calculated, and the total value Z obtained by adding all of them is compared with a preset threshold value (Th). To do.
  • the integrated value Z is equal to or greater than a threshold value (Th), that is, Z ⁇ Th.
  • Processing in the next steps S111 to S116 is processing for a short-exposure image that has been determined to be a still image that was shot during the shooting timing of the long-exposure image that was determined not to include a moving subject in step S103. Run as.
  • step S111 a plurality of flicker correction coefficients ( ⁇ flicker correction waveform) calculated in step S102 are combined to generate a flicker correction waveform for at least one cycle.
  • processing for correctly connecting is performed in consideration of the phase of the flicker correction coefficient corresponding to each image ( ⁇ flicker correction waveform).
  • FIG. 9 shows a synthesis process example of a plurality of flicker correction coefficients ( ⁇ flicker correction waveform).
  • a correction waveform for at least one period or more is generated.
  • the flicker correction waveform shown in FIG. 9B is obtained.
  • the flicker correction waveform shown in FIG. 9B is a waveform corresponding to a periodic luminance change due to flicker, that is, a luminance change pattern of a fluorescent lamp.
  • this flicker correction waveform includes the influence of the saturated region and dark region in the image, and does not match the correction waveform corresponding to pure flicker. That is, the flicker correction waveform includes noise.
  • step S111 If the flicker correction waveform of one period or more is generated in step S111 as described with reference to FIG. 9, then the process proceeds to step S112.
  • step S112 a process of cutting out a flicker correction waveform for one period from the flicker correction waveform of one period or more generated in step S111 is performed. As shown in FIG. 10, a flicker correction waveform for one cycle is cut out.
  • steps S113 to S114 discrete Fourier transform (DFT) is performed on the flicker correction waveform for one period. Further, noise removal processing using the DFT conversion result is performed, and sine wave approximation processing is executed.
  • DFT discrete Fourier transform
  • the signal component is divided into data of 1st to Nth order components by a discrete Fourier transform (DFT) for a flicker correction waveform for one period.
  • DFT discrete Fourier transform
  • the data of the 2nd to (N-1) th order components are distributed to the primary component data and the Nth order component data.
  • the fluctuation of the waveform amplitude can be prevented and the component estimated as noise can be removed.
  • gain adjustment as amplitude adjustment of the flicker waveform is executed to remove noise and generate a flicker correction waveform approximated to a sine wave.
  • a flicker correction waveform having a plurality of cycles is generated by repeating one cycle of the flicker correction waveform subjected to the sine wave approximation.
  • the flicker correction waveform shown in FIG. 11 is generated.
  • This flicker correction waveform is a waveform corresponding to the light / dark cycle of the fluorescent lamp. That is, it is data indicating the influence of flicker on the pixel value of a captured image under a fluorescent lamp.
  • the flicker correction waveform generation processing for example, when some data is missing, for example, interpolation processing using an average value of previous and subsequent values, spline interpolation processing, linear interpolation processing, etc. are applied. Process to fill in the missing part.
  • the flicker correction waveform obtained by this sine wave approximation is generated by applying the flicker correction coefficient shown in FIG. 8D obtained by inverting the phase of the flicker component data shown in FIG. 8C described above with reference to FIG. It explained as processing to do.
  • the waveform is the same only by the phase shift.
  • a waveform can be obtained, and the flicker correction waveform approximated to the sine wave shown in FIG. 11 is generated using the flicker component data of FIG. 8C without performing the phase inversion processing of FIG. 8D. It is good also as a structure.
  • step S115 the flicker correction waveform generated in step S114 is applied to perform flicker correction of each short-time exposure image.
  • a specific example of the flicker correction process to which the flicker correction waveform is applied will be described with reference to FIG.
  • the flicker correction waveform is a signal having a phase opposite to that of the flicker component signal.
  • the flicker correction coefficient data corresponding to the short-exposure image generated in step S102 and the flicker correction waveform peak are matched, and further, the flicker correction waveform according to the exposure time of the short-exposure image.
  • the process of setting the cutout range is effective.
  • (1A) (1B) flicker correction coefficient data corresponding to a short-time exposure image and (2) the peak of the flicker correction waveform are matched, and exposure of the short-time exposure image is performed.
  • the flicker correction waveform clipping range is set according to the time.
  • the flicker correction waveform cutout range is determined by such processing, the multiplication coefficient corresponding to the cutout flicker correction waveform is set for each row, and (1A) is corrected by multiplying the pixel value of each row of the short exposure image. Pixel value is calculated.
  • step S115 a corrected image is generated by such processing.
  • the signal processing unit 102 performs phase matching that matches the peak position of the row profile of the correction target image with the peak position of the flicker correction waveform, and performs a short-time exposure of the coefficient in units of rows corresponding to the flicker correction waveform.
  • a process of multiplying the pixel value of each row of the image is executed to generate a corrected image from which the flicker component is removed.
  • the flicker correction processing in step S115 can be executed by applying a flicker correction waveform to an image that is determined not to include a moving subject in images taken under the same environment. Note that flicker patterns with the same period occur in images shot under the same fluorescent lamp, and after one flicker correction waveform is generated, the flicker correction waveform is applied and subsequently shot in the same environment. This is because the image can be corrected.
  • the peak position of the row profile of each processing target image is matched with the peak of the flicker correction waveform. It is necessary to adjust the phase.
  • the flicker correction waveform generated in step S114 is stored in the memory in step S116 and is used for correcting each captured image.
  • steps S121 to S122 is executed as processing for short-time exposure images taken during a plurality of long-time image shooting periods applied to the moving subject detection processing in step S103.
  • a luminance change in units of lines according to the movement of the subject occurs in the captured image in addition to the influence of flicker.
  • the row profile generated from the long-time exposure image is used as a reference profile, which has been described above with reference to FIG. (Row profile of short exposure image) / (Row profile of long exposure image) Even if such a division process is executed, the flicker component data shown in FIG. 7C and the flicker correction waveform shown in FIG. 8D become data including errors due to the movement of the moving subject.
  • the correction processing described above with reference to FIGS. 12 and 13, that is, the row profile of the image including the moving subject to be corrected is performed. Even if correction processing is performed by combining the peak position and the peak position of the flicker correction waveform generated based on the still image, there are cases where good flicker correction cannot be performed due to the influence of the moving subject.
  • the processing in steps S121 to S122 is processing performed on the short-time exposure image determined to include a moving subject in order to solve such a problem.
  • step S121 the flicker correction waveform is read from the memory.
  • This flicker correction waveform is a flicker correction waveform generated based on an image determined to be a still image in the processing of steps S111 to S114.
  • step S122 adjustment processing for setting the flicker correction waveform read from the memory to a flicker correction waveform applicable to the moving subject captured image is performed.
  • step S115 image correction processing is executed by applying the phase-controlled flicker correction waveform generated in step S122 to the short-time exposure image including the moving subject.
  • This image correction process is the same as the process described above with reference to FIGS. 12 and 13 except that a phase-controlled flicker correction waveform is applied.
  • the short-time exposure image to be corrected includes a moving subject, and for an image determined to include a moving subject, based on the inter-frame phase shift calculated based on the still image, Execute flicker correction waveform clipping so that the phase of the image including the moving subject matches, and perform image correction using the extracted flicker correction waveform
  • this processing may be performed for each color signal by calculating an independent correction coefficient for each color signal (color channel), or set for each line without distinguishing the color signal.
  • a configuration in which a common correction coefficient is applied to all the row configuration pixels may be performed.
  • the integral value of the signal amount in units of rows is calculated for each color signal (color channel), and the flicker component and flicker correction waveform for each color signal are calculated.
  • the integral value of the signal amount for each line is calculated without distinguishing the color signal (color channel), and the flicker component for each line Then, a flicker correction waveform is calculated.
  • the flicker component that reproduces the actual luminance change of the illumination is analyzed, and the correction process using the flicker correction coefficient based on this accurate flicker waveform is executed. It becomes possible to carry out more effectively.
  • the configuration is such that the row profile of the long exposure image taken in the vicinity of the short exposure image to be subjected to flicker correction is used as the reference profile.
  • a reference profile generation process by integration is unnecessary, and an efficient correction process is realized.
  • when a reference profile based on integration of past images that includes a large amount of flicker is used there is a problem that long-period flicker cannot be removed.
  • By using the image as a reference image it is possible to enhance the effect of removing long-period flicker.
  • a signal processing unit that inputs flicker images of at least two different exposure times of a short exposure image and a long exposure image and executes a flicker correction process for removing a flicker component included in the short exposure image.
  • a short-time exposure image row profile comprising an integral value of the signal amount in units of rows of the short-time exposure image; Generate a reference profile consisting of an integral value of the signal amount in units of rows of the long exposure image, A flicker correction waveform is generated by data processing including division processing by the reference profile with respect to the short-time exposure image row profile, An image processing apparatus that generates a corrected image from which a flicker component has been removed by a process of multiplying a pixel value of each line of a short-time exposure image by a line unit coefficient corresponding to the flicker correction waveform.
  • the image processing apparatus (2) The image processing apparatus according to (1), wherein the long-time exposure image is an image shot under an exposure time setting that substantially matches an integer multiple of a luminance change period of an image shooting environment.
  • the signal processing unit applies to flicker component data obtained by dividing the short-time exposure image row profile by the reference profile or phase inversion data of the flicker component data.
  • the flicker correction waveform is generated by executing a sine wave approximation process.
  • the signal processing unit applies to flicker component data obtained by division processing by the reference profile with respect to the short-time exposure image row profile, or phase inversion data of the flicker component data
  • the flicker correction waveform is generated by executing spline interpolation processing.
  • the signal processing unit applies to flicker component data obtained by division processing by the reference profile with respect to the short-time exposure image row profile or phase inversion data of the flicker component data 5.
  • the image processing apparatus according to any one of (1) to (4), wherein a linear interpolation process is executed to generate the flicker correction waveform.
  • the signal processing unit applies to flicker component data obtained by division processing by the reference profile with respect to the short exposure image row profile or phase inversion data of the flicker component data.
  • the image processing apparatus according to any one of (1) to (5), wherein discrete Fourier transform is executed to perform processing for distributing the second and subsequent higher order components to the lower order.
  • the signal processing unit performs the flicker correction waveform after phase matching for matching the peak position of the row profile of the correction target image with the peak position of the flicker correction waveform.
  • the image processing apparatus according to any one of (1) to (6), wherein a process for multiplying a pixel value of each line of the short-time exposure image by a line unit coefficient corresponding to is executed.
  • the signal processing unit determines whether or not each image includes a moving subject, and applies the image determined not to include a moving subject to perform the flicker correction waveform generation processing (1) to (1) to (7)
  • the image processing apparatus according to any one of the above.
  • the signal processing unit determines whether or not the short-time exposure image to be corrected includes a moving subject, and an image obtained by applying the flicker correction waveform to an image determined not to include a moving subject.
  • the image processing apparatus according to any one of (1) to (9), wherein correction is performed.
  • the signal processing unit determines whether or not the short-time exposure image to be corrected includes a moving subject. For an image determined to include a moving subject, the phase change of the row profile due to the influence of the moving subject The image processing apparatus according to any one of (1) to (9), wherein the flicker correction waveform is corrected in consideration of the above and image correction is performed by applying the corrected flicker correction waveform.
  • the signal processing unit determines whether or not the short-time exposure image to be corrected includes a moving subject, and for an image determined to include a moving subject, the inter-frame phase calculated based on the still image Based on the deviation, the flicker correction waveform is cut out so that the phase thereof matches that of the image including the moving subject, and image correction is performed by applying the cut out flicker correction waveform.
  • the configuration of the present disclosure includes a method of processing executed in the above-described apparatus and the like, and a program for executing processing.
  • the series of processing described in the specification can be executed by hardware, software, or a combined configuration of both.
  • the program recording the processing sequence is installed in a memory in a computer incorporated in dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It can be installed and run.
  • the program can be recorded in advance on a recording medium.
  • the program can be received via a network such as a LAN (Local Area Network) or the Internet and installed on a recording medium such as a built-in hard disk.
  • the various processes described in the specification are not only executed in time series according to the description, but may be executed in parallel or individually according to the processing capability of the apparatus that executes the processes or as necessary.
  • the system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same casing.
  • an apparatus and a method that enable effective flicker removal are realized. Specifically, flicker generated in a photographed image under an illumination environment such as a fluorescent lamp having a luminance change is effectively removed or reduced.
  • a short-exposure image row profile consisting of an integral value of the signal amount of each short-exposure image row and a long-exposure image are input by inputting at least two types of photographed images with different exposure times: a short-exposure image and a long-exposure image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Processing (AREA)

Abstract

効果的なフリッカの除去を可能とする装置、方法を提供する。輝度変化のある蛍光灯のような照明環境下における撮影画像に発生するフリッカを効果的に除去または削減する。短時間露光画像と長時間露光画像の少なくとも２種類の異なる露光時間の撮影画像を入力し、短時間露光画像の行単位の信号量の積分値からなる短時間露光画像行プロファイルと、長時間露光画像の行単位の信号量の積分値からなる基準プロファイルを生成し、短時間露光画像行プロファイルに対する基準プロファイルによる除算処理等によってフリッカ補正波形を生成し、フリッカ補正波形で規定される行単位の係数を、短時間露光画像の各行の画素値に乗算する処理によりフリッカ成分を除去した補正画像を生成する。

Description

画像処理装置、および画像処理方法、並びにプログラム
　本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、フリッカ補正を行う画像処理装置、および画像処理方法、並びにプログラムに関する。
　蛍光灯の照明の下で、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅｓ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子などＸＹアドレス走査型の撮像素子を備えたカメラで画像を撮影すると、画像信号に縞状の輝度ムラや色ムラが発生する。特に、映像を撮影して表示装置に表示した場合、輝度の高い部分と低い部分の縞パターンが画面上を流れるような現象が確認される。これはフリッカと呼ばれる。
　フリッカは、商用電源（交流）に接続された蛍光灯が基本的に電源周波数の２倍の周期で点滅を繰り返していることと撮像素子の動作原理に起因する。
　図１を参照してＣＭＯＳイメージセンサによる撮影画像におけるフリッカ発生原理について説明する。図１には、以下のデータを示している。
　（ａ）蛍光灯の輝度変化
　（ｂ）ＣＭＯＳイメージセンサの撮像（露光）シーケンスの模式図
　（ｃ）ＣＭＯＳイメージの読み出しタイミング
　（ｄ）出力画像のイメージ
　図１において時間（ｔ）は左から右に経過している。
　蛍光灯は、５０Ｈｚの商用電源地域で動作していることを想定している。この場合蛍光灯は電源周波数（５０Ｈｚ）の２倍の周波数１００Ｈｚで点滅を繰り返している。（ａ）に示す円弧状のカーブは蛍光灯の輝度変化を示している。１００ＨＺ、すなわち１／１００秒単位の周期で輝度変化を発生させている。
　このような照明環境下で毎秒６０フレームのフレームレートでローリングシャッタを有するＣＭＯＳイメージセンサで画像撮影を行う。露光処理は時間経過に伴い、各撮影フレームの上端行（Ｒｏｗ）から下端行（Ｒｏｗ）に向かって順次、行われる。
　（ｂ）に示すＣＭＯＳイメージセンサの撮像模式図において、斜め点線がイメージセンサのリセットのタイミングを示すラインであり、斜めの実線が読み出しのタイミングを示すラインである。点線で示すリセット後に露光が開始され、実線で示す読み出しタイミングまでの期間が露光時間となる。ローリングシャッタによりフレームの上部のスキャンラインから下部のスキャンラインに向かって露光が行われている。
　隣り合う２本の斜めの実線に囲まれた領域がイメージセンサの１フレームを示している。点線と実線とではさまれた露光時間には、照明の輝度変化に対応する輝度変化が発生している。すなわち、画像フレームを構成する各行ごとに露光タイミングが異なるため、輝度変化のある光源の影響により、図１の（ｄ）出力画像に示すように横縞状のムラ、いわゆるフリッカが発生する。
　図１の（ｄ）出力画像にはフレーム＃１～フレーム＃４の４枚の連続撮影画像を示している。毎秒６０フレームのフレームレート（６０ｆｐｓ）で撮影された動画を構成する画像フレーム＃１～＃４である。
　フレーム＃３には上端部Ｐ，中間部Ｑ，下端部Ｒをそれぞれ示している。これらは、（ｂ）に示すＣＭＯＳイメージセンサの撮像模式図における露光時間Ｐ，Ｑ，Ｒとの対応位置を明示するために示している。
　フレーム＃３の上端部Ｐは、蛍光灯の輝度が明るい期間に露光された行部分である。
　フレーム＃３の中間部Ｑは、蛍光灯の輝度が暗い期間から明るい期間に変化する期間に露光された行部分である。
　フレーム＃３の下端部Ｒは、蛍光灯の輝度が暗い期間に露光された行部分に対応する。
　このように各行（Ｒｏｗ）の露光期間の蛍光灯輝度が一致しないため輝度ムラや色ムラに基づく縞模様が発生する。
　なお、一般的な撮像素子は、撮像素子の構成画素単位で例えばＲＧＢ各波長光のいずれかを選択的に入力する構成を有している。このＲＧＢ配列としては例えばベイヤ（Ｂａｙｅｒ）配列が知られている。例えばベイヤ（Ｂａｙｅｒ）配列等を有するカラーのイメージセンサで撮像を行った場合、蛍光灯の蛍光体の残光特性の波長依存性により、色信号（カラーチャンネル）ごとにフリッカの影響度が異なり、振幅や位相の相違により色ムラが発生することになる。
　このようなフリッカによる画像品質の劣化を補正するいわゆるフリッカ補正を開示した従来技術して、例えば以下の従来技術がある。
　特許文献１（特開平１１－１２２５１３号公報）は、フリッカ補正画像に先行して撮影された過去の画像の画素値を水平方向に積算した信号強度分布を、さらに複数枚（フリッカ１周期分）積算し、得られた平均強度分布と、補正対象となる現在画像の強度分布の比率を算出してこの比率に基づいて、例えば画像の各行（Ｒｏｗ）単位の強度を補正するための補正波形（フリッカ補正波形）を生成して、この補正波形を適用して現在画像の各行の強度の補正をフリッカ補正として実行する構成を開示している。
　しかし、このフリッカ補正を適用する場合、補正対象とする画像と、積算する過去画像はすべて同一のシーン（静止シーン）が撮影されている必要がある。
　このため、フリッカの周期が長くなる撮影条件の場合は長い時間の静止シーンが必要で、実際に適用することは困難である。また、補正が開始されるまでに長い時間を要するといった問題もある。
　また、上記の特許文献１（特開平１１－１２２５１３号公報）のように、画像の強度分布からフリッカ補正波形を求める処理を行う場合、画像内に飽和領域や暗部領域があると、正確な補正波形が求められないという問題が生じる。
　また、複数の過去撮影画像の強度分布からフリッカ補正波形を求める手法では、前述のように積算する過去画像はすべて同一のシーン（静止シーン）が撮影されている必要がある。従って、動被写体シーンを含む場合、正確なフリッカ補正波形は求められないため、例えば事前に静止シーンで得た補正波形を用いるなどの対策が必要になる。ただしフリッカ波形の位相は常に推移するため、補正波形は位相を考慮して適用する必要がある。フリッカ補正波形と、画像内のフリッカ波形の位相が一致しない状態で補正を行うと、逆にフリッカの影響を強調してしまう場合もある。
　その他の従来技術として、特許文献２（特開２００２－１６５１４１号公報）は、電源周波数と露光時間が倍数の関係となるように調節することで、フリッカの影響を低減する方法を開示している。
　この方法では静止シーンの強度分布の積算は不要となるが、実際には電源周波数にシャッタスピードを完全に一致させることは困難であり、微小な誤差が発生することは避けられない。結果として、周期の非常に長いフリッカ（長周期フリッカ）が生じる。このフリッカは、露光時間が短い撮影画像に、より顕著にあらわれる。
　なお、図１を参照して説明したフリッカは、短周期フリッカと呼ばれる。フリッカの種類としては、図１を参照して説明した短周期フリッカと、上述の長周期フリッカがある。
　すなわち、図１を参照して説明した短周期フリッカは、蛍光灯の明暗周期より明らかに短いシャッタスピードで撮影した場合の撮影画像中のムラとして現れ、映像として表示した場合、明るい部分と暗い部分からなる縞模様が比較的、はっきり識別され、比較的速いスピードで移動することが認識される。
　一方、長周期フリッカは、蛍光灯の明暗周期に近いシャッタスピードで撮影した画像に現れる画像ムラであり、電源周波数とシャッタスピードの差分に起因する。この長周期フリッカは、映像として表示した場合、明るい部分と暗い部分からなる縞模様がぼんやりと識別され、比較的遅いスピードで移動する縞模様として認識される。
特開平１１－１２２５１３号公報 特開２００２－１６５１４１号公報
　本開示は、例えば上記の問題に鑑みてなされたものであり、より高精度なフリッカ補正を行う画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
　また、本開示の一実施例の構成においては、例えば過去画像の積算処理等を行うことなく、処理負荷を軽減して高精度なフリッカ補正を行う画像処理装置、および画像処理方法、並びにプログラムを提供する。
　本開示の第１の側面は、
　短時間露光画像と長時間露光画像の少なくとも２種類の異なる露光時間の撮影画像を入力して、短時間露光画像に含まれるフリッカ成分を除去するフリッカ補正処理を実行する信号処理部を有し、
　前記信号処理部は、
　前記短時間露光画像の行単位の信号量の積分値からなる短時間露光画像行プロファイルと、
　前記長時間露光画像の行単位の信号量の積分値からなる基準プロファイルを生成し、
　前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理を含むデータ処理によってフリッカ補正波形を生成し、
　前記フリッカ補正波形に対応する行単位の係数を、短時間露光画像の各行の画素値に乗算する処理によりフリッカ成分を除去した補正画像を生成する画像処理装置にある。
　さらに、本開示の画像処理装置の一実施態様において、前記長時間露光画像は、画像撮影環境の輝度変化周期の整数倍にほぼ一致する露光時間の設定の下で撮影された画像である。
　さらに、本開示の画像処理装置の一実施態様において、前記信号処理部は、前記フリッカ補正波形の生成処理に際して、前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理によって得られるフリッカ成分データ、または、該フリッカ成分データの位相反転データに対する正弦波近似処理を実行して前記フリッカ補正波形を生成する。
　さらに、本開示の画像処理装置の一実施態様において、前記信号処理部は、前記フリッカ補正波形の生成処理に際して、前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理によって得られるフリッカ成分データ、または、該フリッカ成分データの位相反転データに対するスプライン補間処理を実行して前記フリッカ補正波形を生成する。
　さらに、本開示の画像処理装置の一実施態様において、前記信号処理部は、前記フリッカ補正波形の生成処理に際して、前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理によって得られるフリッカ成分データ、または、該フリッカ成分データの位相反転データに対する線型補間処理を実行して前記フリッカ補正波形を生成する。
　さらに、本開示の画像処理装置の一実施態様において、前記信号処理部は、前記フリッカ補正波形の生成処理に際して、前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理によって得られるフリッカ成分データ、または、該フリッカ成分データの位相反転データに対する離散フーリエ変換を実行して、２次以降の高次成分を低次に振り分ける処理を行う。
　さらに、本開示の画像処理装置の一実施態様において、前記信号処理部は、フリッカ成分を除去した補正画像の生成処理に際して、補正対象画像の行プロファイルのピーク位置と、前記フリッカ補正波形のピーク位置を一致させる位相合わせ後に、前記フリッカ補正波形に対応する行単位の係数を、短時間露光画像の各行の画素値に乗算する処理を実行する。
　さらに、本開示の画像処理装置の一実施態様において、前記信号処理部は、各画像に動被写体を含むか否かを判定し、動被写体を含まないと判定した画像を適用して前記フリッカ補正波形の生成処理を行う。
　さらに、本開示の画像処理装置の一実施態様において、前記信号処理部は、補正対象とする短時間露光画像に動被写体を含むか否かを判定し、動被写体を含まないと判定した画像に対して、前記フリッカ補正波形を適用した画像補正を行う。
　さらに、本開示の画像処理装置の一実施態様において、前記信号処理部は、補正対象とする短時間露光画像に動被写体を含むか否かを判定し、動被写体を含むと判定した画像については、動被写体の影響による行プロファイルの位相変化を考慮して、前記フリッカ補正波形を修正し、修正したフリッカ補正波形を適用した画像補正を行う。
　さらに、本開示の画像処理装置の一実施態様において、前記信号処理部は、補正対象とする短時間露光画像に動被写体を含むか否かを判定し、動被写体を含むと判定した画像については、静止画像に基づいて算出したフレーム間位相ずれに基づいて、動被写体を含む画像と位相が一致するように前記フリッカ補正波形の切り出しを実行して、切り出したフリッカ補正波形を適用した画像補正を行う。
　さらに、本開示の第２の側面は、
　画像処理装置において実行する画像処理方法であり、
　信号処理部が、短時間露光画像と長時間露光画像の少なくとも２種類の異なる露光時間の撮影画像を入力して、短時間露光画像に含まれるフリッカ成分を除去するフリッカ補正処理を実行する信号処理ステップを実行し、
　前記信号処理ステップにおいては、
　前記短時間露光画像の行単位の信号量の積分値からなる短時間露光画像行プロファイルと、
　前記長時間露光画像の行単位の信号量の積分値からなる基準プロファイルの生成処理と、
　前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理を含むデータ処理によるフリッカ補正波形の生成処理と、
　前記フリッカ補正波形に対応する行単位の係数を、短時間露光画像の各行の画素値に乗算する処理によりフリッカ成分を除去した補正画像の生成処理を実行する画像処理方法にある。
　さらに、本開示の第３の側面は、
　画像処理装置において画像に含まれるフリッカ成分を除去するフリッカ補正処理を実行させるプログラムであり、
　信号処理部に、短時間露光画像と長時間露光画像の少なくとも２種類の異なる露光時間の撮影画像を入力し、
　前記信号処理部に、
　前記短時間露光画像の行単位の信号量の積分値からなる短時間露光画像行プロファイルと、
　前記長時間露光画像の行単位の信号量の積分値からなる基準プロファイルの生成処理と、
　前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理を含むデータ処理によるフリッカ補正波形の生成処理と、
　前記フリッカ補正波形に対応する行単位の係数を、短時間露光画像の各行の画素値に乗算する処理によりフリッカ成分を除去した補正画像の生成処理を実行させるプログラムにある。
　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。
　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　本開示の一実施例の構成によれば、効果的なフリッカの除去を可能とする装置、方法が実現される。
　具体的には、輝度変化のある蛍光灯のような照明環境下における撮影画像に発生するフリッカを効果的に除去または削減する。短時間露光画像と長時間露光画像の少なくとも２種類の異なる露光時間の撮影画像を入力し、短時間露光画像の行単位の信号量の積分値からなる短時間露光画像行プロファイルと、長時間露光画像の行単位の信号量の積分値からなる基準プロファイルを生成し、短時間露光画像行プロファイルに対する基準プロファイルによる除算処理等によってフリッカ補正波形を生成し、フリッカ補正波形で規定される行単位の係数を、短時間露光画像の各行の画素値に乗算する処理によりフリッカ成分を除去した補正画像を生成する。
　これらの処理によって、効果的なフリッカの除去を可能とする装置、方法が実現される。
フリッカによる画像に対する影響について説明する図である。 画像処理装置の構成例について説明する図である。 蛍光灯の周期と画像の撮影タイミングとの対応について説明する図である。 フリッカ補正処理のシーケンスについて説明する図である。 行プロファイルについて説明する図である。 短時間露光画像と長時間露光画像の行プロファイルの例について説明する図である。 フリッカ成分の抽出とフリッカ補正係数（フリッカ補正波形）の生成処理について説明する図である。 フリッカ成分の抽出とフリッカ補正係数（フリッカ補正波形）の生成処理について説明する図である。 フリッカ補正波形の生成処理について説明する図である。 フリッカ補正波形からの一周期分の波形抽出処理について説明する図である。 フリッカ補正波形の正弦波近似処理について説明する図である。 フリッカ補正波形を適用した画像補正処理について説明する図である。 フリッカ補正波形を適用した画像補正処理について説明する図である。
　以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
　１．本開示の画像処理装置の全体構成と処理について
　２．フリッカ補正処理の詳細について
　　２－１．行プロファイル（Ｒｏｗ　Ｐｒｏｆｉｌｅ）生成処理について
　　２－２．フリッカ補正係数算出処理について
　　２－３．動被写体検出処理について
　　２－４．静止画と判定された画像に対するフリッカ補正処理について
　　２－５．動被写体を含む画像に対するフリッカ補正処理について
　３．本開示の構成のまとめ
　　［１．本開示の画像処理装置の全体構成と処理について］
　まず、本開示の画像処理装置の一実施例である撮像装置の構成例について、図２を参照して説明する。
　図２は、本開示の一実施例にかかる撮像装置１００の全体構成を示すブロック図である。撮像装置１００は、撮像部１０１、信号処理部１０２、コーデック（符号化復号処理部）１０３、記録再生部１０４、記録メディア１２０、表示部１３０、制御部１５０、メモリ１５１を有する。
　撮像部１０１は、レンズや撮像素子等によって構成される。撮像素子は、ＸＹアドレス走査型の撮像素子であるＣＭＯＳイメージセンサである。ＸＹアドレス走査型の撮像素子であるＣＭＯＳイメージセンサは、先に図１を参照して説明したように、時間経過に従って順次、上段行から下段行に向かって露光処理が行われる。ＣＭＯＳイメージセンサによる受光信号は、光電変換され電気信号として信号処理部１０２に入力される。
　信号処理部１０２は、一般的なカメラ信号処理として実行されるホワイトバランス調整、ガンマ補正、あるいはデモザイク処理等の処理の他、本発明に従ったフリッカ補正処理を実行する。フリッカ補正処理を実行するフリッカ補正処理部の構成、および処理の詳細については、図３以下を参照して後段で説明する。
　信号処理部１０２における信号処理の結果として得られたデータはコーデック（符号化復号処理部）１０３に入力される。また、表示部１３０に出力され表示処理が実行される。コーデック１０３では例えばＭＰＥＧ符号化処理等、予め規定された符号化処理を実行し、処理結果を記録再生部１０４に出力する。
　記録再生部１０４は、予め規定された記録フォーマットに従って、記録メディア１２０に対する撮影画像の記録処理を実行する。記録メディア１２０はたとえばフラッシュメモリ、磁気ディスク、光ディスクなどのデータ記録可能なメディアである。
　なお、記録メディア１２０に記録された画像の再生を行う場合は、記録再生部部１０４が記録メディア１２０からのデータ読み出しを実行し、読み出されたデータがコーデック１０３に提供され、復号処理が実行される。復号処理の結果として得られる画像が表示部１３０に表示される。
　なお、これらの各構成部の制御は、制御部１５０がメモリ１５１に予め記録されたプログラムに従って実行する。制御部１５０はプログラム実行機能を持つＣＰＵを有する。メモリ１５１はＲＡＭ，ＲＯＭ等によって構成される。
　図２に示す撮像装置１００は、
　短時間露光画像、
　長時間露光画像、
　これら少なくとも２種類の異なる露光時間の画像を連続的に撮影する。
　さらに１つの露光時間の設定を蛍光灯の輝度周期、あるいは輝度周期の整数倍に設定する。
　なお、このような複数の異なる露光時間の撮影処理は、広ダイナミックレンジの画像撮影を行う処理として行われる手法である。
　広ダイナミックレンジ撮像においては、イメージセンサの露光時間を周期的に変えて撮像を行い、各画素の輝度レベル等に応じた画像合成処理によって広ダイナミックレンジ画像を得る。すなわち低輝度画素部分は、長時間露光画像の画素値を適用し、高輝度画素部分は短時間露光画像の画素値を用いるといった画像合成処理によって、広ダイナミックレンジの画像を生成するものである。なお、各画素値の設定の際には、全体的な整合性を保持させるための画素値算出処理が行われる。
　このような処理により、一定時間の露光時間の撮影画像では得られないダイナミックレンジの広い画像を得ることができる。
　このような広ダイナミックレンジ画像生成処理に際して、異なる露光時間の画像を合成する前の処理として、以下に説明するフリッカ補正を施すことで、フリッカを抑制した広ダイナミックレンジ画像を生成することができる。
　異なる露光時間の撮影シーケンスと、蛍光灯の波形との対応関係の例について図３を参照して説明する。
　図３は、電源周波数＝６０Ｈｚの電源によって点灯した蛍光灯の下で、撮像装置が１秒間に１２０枚、すなわち１２０ｆｐｓのフレームレートで画像撮影を行った場合のシーケンスを示している。
　なお、電源周波数＝６０Ｈｚの電源によって点灯した蛍光灯の輝度周期は１２０Ｈｚであり、１秒間に１２０回の明暗パターンを繰り返す。
　撮像装置は、
　露光時間（ｔ１）の短時間露光画像、
　露光時間（ｔ２）の長時間露光画像、
　少なくともこれら２種類以上の異なる露光時間の画像を繰り返し撮影する。
　本開示の撮像装置は、少なくとも１つの画像は、画像撮影環境の輝度変化周期の整数倍にほぼ一致する露光時間の設定の下で撮影された画像とする。
　図３に示す設定は、１秒間に６０枚の短時間露光画像と、６０枚の長時間露光画像を交互に撮影する設定である。
　ここで、長時間露光画像の露光時間（ｔ２）は、蛍光灯の輝度周期［１／１２０（ｓｅｃ）］にほぼ一致している。すなわち、
　ｔ２≒１／１２０（ｓｅｃ）
　この設定である。
　長時間露光画像の露光時間（ｔ２）は、１／１２０（ｓｅｃ）に完全に一致させることは困難であるが、長時間露光画像の露光時間（ｔ２）を、蛍光灯の輝度周期［１／１２０（ｓｅｃ）］にほぼ一致させることで、長時間露光画像は、フリッカの影響をほとんど含まない画像として撮影される。
　一方、短時間露光画像の露光時間（ｔ１）は、蛍光灯の輝度周期、あるいはその倍数とは異なる設定であり、短時間露光画像は、フリッカの影響を受けた画像として撮影される。
　図２に示す撮像装置１００の信号処理部１０２は、これらの複数の露光時間の設定の下で撮影された画像を適用したフリッカ補正を行う。
　以下、信号処理部１０２において実行するフリッカ補正の詳細について説明する。
　　［２．フリッカ補正処理の詳細について］
　信号処理部１０２において実行するフリッカ補正の詳細について説明する。
　図４は、信号処理部１０２において実行するフリッカ補正処理のシーケンスを示す図である。なお、図４に示すシーケンスは、例えば、図４に示す各ステップ（Ｓ１０１～）の処理を規定したプログラムに従って、信号処理部１０２内のプロセッサによって実行される。あるいは各処理を実行するための専用のハードウェアを利用して実行してもよい。
　信号処理部１０２は、撮像部１０１を構成するイメージセンサで取得されるＲＡＷ画像を入力画像２０１として入力し、ＲＡＷ画像に対するフリッカ補正処理を行う。なお、ＲＡＷ画像は撮像部１０１の出力データであり、デモザイク処理等の信号処理が施される前の生データである。デモザイク処理は、撮像部１０１を構成するイメージセンサの各画素対応のデータとして例えばＲＧＢのすべての画素値を設定する処理であり、デモザイク処理を実行する前のＲＡＷデータは、イメージセンサの各画素に対して例えばＲＧＢいずれかの画素値のみが設定されたデータである。
　図４に示すように、信号処理部１０２は、デモザイク処理前のＲＡＷ画像を入力画像２０１として、入力画像２０１に対するフリッカ補正が施された出力画像２０２を生成する。ただし、この処理は一例であり、信号処理部１０２は、デモザイク処理が実行されたカラー画像を入力してカラー画像に対して、以下に説明すると同様の処理を行うことでフリッカ補正処理を実行する構成としてもよい。
　以下、図４に示すフリッカ補正処理シーケンスについて、各処理ステップに従って順次説明する。
　　［２－１．行プロファイル（Ｒｏｗ　Ｐｒｏｆｉｌｅ）生成処理について］
　まず、ステップＳ１０１において、入力画像２０１に対する行プロファイル（Ｒｏｗ　Ｐｒｏｆｉｌｅ）を生成する。
　行プロファイル（Ｒｏｗ　Ｐｒｏｆｉｌｅ）とは、撮影画像の各行単位の信号量（強度）を示すデータである。
　ＲＡＷ画像２０１の水平方向にカラーチャンネル（ＲＧＢ）ごとに信号値（画素値）の積分処理を行い、行単位の１次元の信号量（Ｉｎｔｅｎｓｉｔｙ）を得る。前述したように、ＲＡＷデータは、イメージセンサの各画素に対して例えばＲＧＢいずれかの画素値のみが設定されたデータである。
　例えば図５に示すようなデータを行プロファイル（Ｒｏｗ　Ｐｒｏｆｉｌｅ）として生成する。
　行プロファイル（Ｒｏｗ　Ｐｒｏｆｉｌｅ）は、フリッカ補正としての画素値補正を行単位で実行するための基礎データとして利用する。
　行プロファイルの生成と行単位のフリッカ補正は、フリッカの撮影画像に対する影響が画像のスキャンライン（水平）方向でほぼ同一という仮定のもとに行われる処理であり、このような行単位の処理とすることで、フリッカ補正の計算量削減や処理の効率化が実現される。
　例えばベイヤ（Ｂａｙｅｒ）配列型のイメージセンサであれば、行単位でＲ，Ｇ，Ｂチャンネルそれぞれ独立に積分処理を行い、ＲＧＢ各チャンネルの行単位の１次元の信号量（ＲＰ）として、
　信号量：ＲＰ＿Ｒｋ（ｙ），ＲＰ＿Ｇｋ（ｙ），ＲＰ＿Ｂｋ（ｙ）
　を得る。
　なお、ｋは、画像のフレーム番号であり、ｙは画像の縦方向の座標値を表す。
　信号処理部１０２は、このように、入力ＲＡＷ画像フレームｋに対して、各行（ｙ）単位で、
　信号量：ＲＰ＿Ｒｋ（ｙ），ＲＰ＿Ｇｋ（ｙ），ＲＰ＿Ｂｋ（ｙ）
　を算出する。
　なお、処理手法としては、
　（１）色信号成分、例えばＲＧＢのカラーチャンネル単位で個別に処理を実行する手法と、
　（２）カラーチャンネル（例えばＲＧＢ）を区別せず、行単位で１つの信号量ＲＰｋ（ｙ）を算出してこれを用いて全てのカラーチャンネル対応画素に対して共通の処理を実行する手法、
　これら２つの手法がある。いずれの処理を行っても効果的なフリッカの削減効果を発揮することが可能である。なお、（１）のＲＧＢのカラーチャンネル単位の処理は、色ムラの削減効果を高めることができる。
　行プロファイル（Ｒｏｗ　Ｐｒｏｆｉｌｅ）生成処理は、上記（１），（２）のいずれの処理として実行してもよい。
　先に、図３を参照して説明したように、本開示の撮像装置は、
　露光時間（ｔ１）の短時間露光画像、
　露光時間（ｔ２）の長時間露光画像、
　少なくともこれら２種類以上の異なる露光時間の画像を繰り返し撮影する。
　図３に示す設定は、１秒間に６０枚の短時間露光画像と、６０枚の長時間露光画像を交互に撮影する設定である。
　ここで、長時間露光画像の露光時間（ｔ２）は、蛍光灯の輝度周期にほぼ一致している。すなわち、
　ｔ２≒１／１２０（ｓｅｃ）
　この設定である。従って、長時間露光画像は、フリッカの影響をほとんど含まない画像として撮影される。
　一方、短時間露光画像の露光時間（ｔ１）は、蛍光灯の輝度周期、あるいはその倍数とは異なる設定であり、短時間露光画像は、フリッカの影響を受けた画像として撮影される。
　この結果、
　短時間露光画像の行プロファイルは、フリッカの影響を含む行プロファイルとなる。
　一方、長時間露光画像の行プロファイルは、フリッカの影響をほとんど含まない行プロファイルとなる。
　図６を参照して短時間露光画像の行プロファイルと長時間露光画像の行プロファイルの例について説明する。図６には、
　（ａ）短時間露光画像の輝度分布特徴データと、短時間露光画像の行プロファイル
　（ｂ）長時間露光画像の輝度分布特徴データと、長短時間露光画像の行プロファイル
　これらを示している。
　図６（ａ）に示す短時間露光画像の行プロファイルは、フリッカの影響を大きく受けた行プロファイルとなる。ＲＧＢの各信号量が行の中央部分で落ち込み、両端が高くなっているのは、フリッカの影響によるものと推定される。
　一方、図６（ｂ）に示す長時間露光画像の行プロファイルは、フリッカの影響をほとんど含まない行プロファイルとなる。ＲＧＢの各信号量は、各行に渡ってほぼ均一であり、顕著な変化は見られない。フリッカの影響による信号量の変化はほとんど発生していないと推定される。
　図４に示すシーケンス図のステップＳ１０１では、短時間露光画像と長時間露光画像の各撮影画像について、行プロファイルを順次、生成する。
　例えば先に図３を参照して説明した撮影シーケンス、すなわち、
　露光時間（ｔ１）の短時間露光画像、
　露光時間（ｔ２）の長時間露光画像、
　これらの画像を交互に撮影するシーケンスでは、
　短時間露光画像の行プロファイルの生成、
　長時間露光画像の行プロファイルの生成、
　短時間露光画像の行プロファイルの生成、
　長時間露光画像の行プロファイルの生成、
　　　・・・
　これらの処理を繰り返し実行する。
　　［２－２．フリッカ補正係数算出処理について］
　次に、ステップＳ１０２において、フリッカ補正係数を算出する。なお、本実施例において、フリッカの影響が大きく発生するのは短時間露光画像であり、短時間露光画像各々に対応したフリッカ補正係数を算出する。
　フリッカ補正係数の算出処理について、図７、図８を参照して説明する。
　図７には、
　（ａ）フリッカ補正係数算出対象となる短時間露光画像の行プロファイル
　（ｂ）フリッカ補正係数算出に適用する基準プロファイルとしての長時間露光画像の行プロファイル
　（ｃ）（ａ）／（ｂ）の除算処理によって得られる（ａ）短時間露光画像に対応するフリッカ成分データ
　これらを示している。
　なお、図７（ｃ）の縦軸に示すフリッカゲインは、
　フリッカゲイン＝１／補正係数
　である。
　さらに、図８には、
　（ｃ）図７（ｃ）と同様の（ａ）／（ｂ）の除算処理によって得られる（ａ）短時間露光画像に対応するフリッカ成分データ
　（ｄ）（ｃ）に示すフリッカ成分の位相の反転処理によって生成するフリッカ補正係数（≒フリッカ補正波形）
　これらを示している。
　図７（ａ）に示すフリッカ補正係数算出対象の短時間露光画像の行プロファイルを、その短時間露光画像の直前または直後に撮影された長時間露光画像の行プロファイル（基準プロファイル）で除算（各色、各対応行の信号量同士で除算）する。
　すなわち、図７（ｂ）に示す長時間露光画像の行プロファイル（基準プロファイル）で除算する。この除算処理によって、図７（ｃ）に示すフリッカ成分データが得られる。
　なお、図７に示す、
　（ａ）／（ｂ）の除算処理、
　この除算処理の実行前に、長時間露光画像と短時間露光画像の露光比を調整する処理を行う。いずれかのプロファイルの信号強度（信号量）に露光比に応じた係数を乗算する露光比調整を行う。この露光比調整後に、除算処理を行う。
　具体的な処理例について説明する。
　例えば、ＲＧＢ中、Ｒ（赤）の行プロファイルのある行（ｐ）の信号量を、
　長時間露光画像の信号量（ＲＬｐ）、
　短時間露光画像の信号量（ＲＳｐ）、
　さらに、長時間露光画像と短時間露光画像の露光比をｎ：１、
　とする。
　この場合、Ｒ（赤）の行（ｐ）の補正係数ＲＡｐは以下の式で算出する。
　ＲＡｐ＝（ＲＳｐ）／（（ＲＬｐ）／ｎ）
　同様の除算処理を全ての行で算出して、１つの短時間露光画像に対応するＲ（赤）のフリッカ成分を求め、このフリッカ成分の位相反転処理によって、図８（ｄ）に示すフリッカ補正係数（≒フリッカ補正波形）を算出することができる。
　この処理をＲＧＢすべての色について行い、
　１つの短時間露光画像に対応するＲ（赤）、Ｇ（緑）、Ｂ（青）のフリッカ成分の算出処理によって、（ｃ）フリッカ成分データを算出する。
　（ｃ）フリッカ成分データは、（ａ）短時間露光画像に含まれるフリッカ成分のみに相当する輝度分布データとなる。
　さらに、図７に示す（ｃ）に示すフリッカ成分データに対して、図８に示すように位相反転処理を行うことで、（ｄ）フリッカ補正係数（≒フリッカ補正波形）が生成される。
　（ｄ）フリッカ補正係数（≒フリッカ補正波形）は、（ａ）短時間露光画像に含まれるフリッカ成分の逆の強度分布を持つデータに相当する。
　この処理を少なくとも複数の短時間露光画像に対して実行し、複数のフリッカ補正係数（≒フリッカ補正波形）を算出する。
　図８（ｄ）に示すフリッカ補正係数（≒フリッカ補正波形）は、フリッカのみの信号成分の逆の位相を持つ信号パターンであり、この（ｄ）フリッカ補正係数（≒フリッカ補正波形）の行単位の補正係数を、（ａ）短時間露光画像の各行の信号（画素値）に乗算することで、フリッカ成分を取り除く処理が可能となる。
　ただし、この図８（ｄ）に示すフリッカ補正係数（≒フリッカ補正波形）は、被写体による影響は図７の除算処理によりほぼ取り除かれているが、画像中の飽和領域、暗部領域による影響などが含まれ、このまま画像補正処理に適用してもよい補正結果は得られない。本開示の画像処理装置では、この図８（ｄ）に示すフリッカ補正係数（≒フリッカ補正波形）に対してさらに処理を行い、最終的なフリッカ補正波形を算出する。この処理については後述する。
　　［２－３．動被写体検出処理について］
　図４に示すフリッカ補正シーケンスについて、説明を続ける。
　ステップＳ１０２におけるフリッカ補正係数の算出処理が終了すると、次に、ステップＳ１０３に進む。
　ステップＳ１０３では、動被写体検出処理を実行する。これは撮影画像に動被写体が含まれるか否かの検出処理である。
　動被写体が含まれる場合と、含まれない場合とでは、その後の処理が異なるためである。
　ステップＳ１０３における動被写体検出処理は、ステップＳ１０１において求めた各画像フレームの行プロファイルの差分と予め規定した閾値との比較処理として実行する。
　なお、比較処理を行う行プロファイルは、フリッカの影響の少ない長時間露光時間画像とする。
　例えば近接する撮影時間に撮影された複数の長時間露光画像の行プロファイルを比較し、その差分データを算出する。
　具体的には、例えば、撮影時間（ｔｘ）に撮影された長時間露光画像ｘの行プロファイル（Ｘｐｒｏ）と、
　時間（ｔｘ）の次の長時間露光撮影タイミングである撮影時間（ｔｙ）に撮影された長時間露光画像ｙの行プロファイル（Ｙｐｒｏ）を比較して、これらの行プロファイルの差分を算出する。
　行プロファイルは、図５、図６を参照して説明したようにＲＧＢ各色ごとのデータとして算出する。従って、比較対象となる２つの行プロファイル（Ｘｐｒｏ，Ｙｐｒｏ）について、各色、各行単位の信号量の差分を算出し、これらをすべて加算した積算値Ｚと、予め設定した閾値（Ｔｈ）とを比較する。
　積算値Ｚが閾値（Ｔｈ）以上、すなわち、
　Ｚ≧Ｔｈ
　上記式が成立した場合は、動被写体が含まれると判定する。
　上記式が成立しない場合は、動被写体が含まれないと判定する。
　　［２－４．静止画と判定された画像に対するフリッカ補正処理について］
　次のステップＳ１１１～Ｓ１１６の処理は、ステップＳ１０３において動被写体が含まれないと判定された長時間露光画像の撮影タイミングの間に撮影された静止画であると判定された短時間露光画像に対する処理として実行する。
　まず、ステップＳ１１１において、ステップＳ１０２で算出した複数のフリッカ補正係数（≒フリッカ補正波形）を合成して、少なくとも一周期分以上のフリッカ補正波形を生成する。
　この合成処理に際しては、各画像対応のフリッカ補正係数（≒フリッカ補正波形）の位相を考慮して、正しく連結する処理を行う。
　図９に複数のフリッカ補正係数（≒フリッカ補正波形）の合成処理例を示す。
　図９には、
　（ａ１）フレームｆ１の短時間露光画像のフリッカ補正係数（Ｇ（緑））、
　（ａ２）フレームｆ２の短時間露光画像のフリッカ補正係数（Ｇ（緑））、
　これらを示している。
　これらは異なるタイコミングで撮影された短時間露光画像であり、
　フリッカの影響による行単位の信号量の波がずれている。すなわち位相差を持つデータとなっている。
　これらの位相差のある複数のフリッカ補正波形の部分データを、位相差を考慮して合成することで、少なくとも一周期分以上の補正波形を生成する。
　この合成処理によって、図９（ｂ）に示すフリッカ補正波形が得られる。
　図９（ｂ）に示すフリッカ補正波形は、フリッカによる周期的な輝度変化、すなわち蛍光灯の輝度変化パターンに対応する波形である。
　しかし、このフリッカ補正波形は、画像中の飽和領域、暗部領域による影響などが含まれ、純粋なフリッカに対応した補正波形とは一致しない。すなわちノイズを含むフリッカ補正波形である。
　図４のシーケンス図に戻り、フリッカ補正処理シーケンスについての説明を続ける。
　ステップＳ１１１において、図９を参照して説明したように１周期以上のフリッカ補正波形を生成すると、次に、ステップＳ１１２に進む。
　ステップＳ１１２では、ステップＳ１１１において生成した１周期以上のフリッカ補正波形から１周期分のフリッカ補正波形を切り出す処理を行う。
　図１０に示すように１周期分のフリッカ補正波形を切り出す。
　次に、ステップＳ１１３～Ｓ１１４において、１周期分のフリッカ補正波形に対する離散フーリエ変換（ＤＦＴ）を行う。さらに、ＤＦＴ変換結果を用いたノイズ除去処理等を行い、正弦波近似処理を実行する。
　具体的には、例えば１周期分のフリッカ補正波形に対する離散フーリエ変換（ＤＦＴ）により、信号成分を１～Ｎ次成分のデータに区分する。次に、２～Ｎ－１次成分のデータを１次成分データとＮ次成分データに振り分ける。このように、２次以降の高次成分を例えば低次に振り分ける処理を行うことで、波形振幅の変動を防止してノイズと推定される成分を除去することができる。
　さらに、フリッカ波形の振幅調整としてのゲイン調整を実行して、ノイズを除去し正弦波近似されたフリッカ補正波形を生成する。
　正弦波近似を行ったフリッカ補正波形の１周期分を繰り返すことで複数周期のフリッカ補正波形が生成される。
　例えば図１１に示すフリッカ補正波形を生成する。
　このフリッカ補正波形は蛍光灯の明暗周期に対応する波形である。すらわち、蛍光灯下での撮影画像の画素値に対するフリッカの影響を示すデータである。
　なお、このフリッカ補正波形生成処理に際して、例えば一部のデータが欠損している場合などには、例えば前後の値の平均値を利用した補間処理やスプライン補間処理、線形補間処理などを適用して欠損部分を埋める処理を行う。
　この正弦波近似によって得られるフリッカ補正波形は、先に図８を参照して説明した図８（ｃ）のフリッカ成分データを位相反転した図８（ｄ）に示すフリッカ補正係数を適用して生成する処理として説明した。しかし、図８（ｃ）のフリッカ成分データの位相反転を行わずに、図８（ｃ）のフリッカ成分データをそのまま利用して制限は近似を行っても、位相がずれるのみで波形としては同じ波形を得ることが可能であり、図８（ｄ）の位相反転処理は行わずに図８（ｃ）のフリッカ成分データを利用して図１１に示す正弦波近似されたフリッカ補正波形を生成する構成としてもよい。
　次に、ステップＳ１１５において、ステップＳ１１４で生成したフリッカ補正波形を適用して、各短時間露光画像のフリッカ補正を実行する。
　フリッカ補正波形を適用したフリッカ補正処理の具体例について図１２を参照して説明する。
　図１２には、
　（１Ａ）フリッカ補正対象となる短時間露光画像
　（２）フリッカ補正波形（＝図１１に示すフリッカ補正波形）
　（３）フリッカ補正後の補正された短時間露光画像
　これらを示している。
　図１２（１Ａ）に示す短時間露光画像は、フリッカの影響により、行単位で明らかなフリッカの影響による信号値（画素値）の高低の波が存在する。
　画像の上端を行ａ、下端を行ｂとする。行ａ～ｂにはフリッカの影響と推定される明らかな信号値（画素値）の高低の波が存在する。
　このフリッカによる影響を除去するために、ステップＳ１１３～Ｓ１１４において生成したフリッカ補正波形を適用した信号処理を実行する。
　先に、図８を参照して説明したように、フリッカ補正波形は、フリッカ成分信号の逆位相の信号である。
　従って、フリッカの影響を受けた短時間露光画像の各行の画素値に対して、フリッカ補正係数からなるフリッカ補正波形に対応する係数を乗算すれば、フリッカの影響を排除した補正画像を生成することができる。
　なお、このフリッカ補正波形に対応する係数の乗算処理に際しては、フリッカ補正対象とする短時間露光画像におけるフリッカの位相と、フリッカ補正波形の位相を整合させることが必要である。
　この位相調整のためには、例えばステップＳ１０２において生成した短時間露光画像に対応するフリッカ補正係数データと、フリッカ補正波形のピークを合わせ、さらに、短時間露光画像の露光時間に応じてフリッカ補正波形の切り出し範囲を設定するといった処理が有効である。
　具体的には、図１３に示すように、（１Ａ）短時間露光画像に対応する（１Ｂ）フリッカ補正係数データと、（２）フリッカ補正波形のピークを合わせ、さらに、短時間露光画像の露光時間に応じてフリッカ補正波形の切り出し範囲を設定する。
　このような処理によってフリッカ補正波形の切り出し範囲を決定し、切り出したフリッカ補正波形に対応する乗算係数を各行単位で設定して、（１Ａ）短時間露光画像の各行の画素値に乗算して補正画素値を算出する。
　ステップＳ１１５では、このような処理によって、補正画像を生成する。
　このように、信号処理部１０２は、補正対象画像の行プロファイルのピーク位置と、フリッカ補正波形のピーク位置を一致させる位相合わせを行い、フリッカ補正波形に対応する行単位の係数を、短時間露光画像の各行の画素値に乗算する処理を実行して、フリッカ成分を除去した補正画像を生成する。
　なお、ステップＳ１１５におけるフリッカ補正処理は、同一環境の下で撮影された画像中、動被写体を含まないと判定された画像に対して、フリッカ補正波形を適用して実行することができる。
　なお、同じ蛍光灯の下で撮影された画像には同じ周期のフリッカパターンが生じ、１つのフリッカ補正波形を生成後は、そのフリッカ補正波形を適用して、同一環境下でその後に撮影された画像に対する補正を行うことが可能だからである。
　ただし、各短時間露光画像に対するフリッカ補正の適用範囲の抽出に際しては、図１３を参照して説明したように、各処理対象画像の行プロファイルのピーク位置と、フリッカ補正波形のピーク一を合わせるといった位相調整を行う必要がある。
　ステップＳ１１４において生成したフリッカ補正波形は、ステップＳ１１６においてメモリに格納され、各撮影画像の補正に利用される。
　　［２－５．動被写体を含む画像に対するフリッカ補正処理について］
　次に、図４に示すシーケンス図のステップＳ１２１～Ｓ１２２の処理について説明する。
　この処理は、ステップＳ１０３において撮影画像に動被写体が含まれると判定された場合の処理である。
　ステップＳ１２１～Ｓ１２２の処理は、ステップＳ１０３における動被写体検出処理に適用された複数の長時間画像の撮影期間に撮影された短時間露光画像に対する処理として実行される。
　例えば明るい被写体が画像の縦方向に動いた場合、あるいは暗い被写体が縦方向に動いた場合、撮影画像には、フリッカの影響以外に被写体の動きに応じた行単位の輝度変化が生じる。
　このような動被写体による輝度変化を含む場合、長時間露光画像から生成した行プロファイルを基準プロファイルとして、先に図７を参照して説明した、
　（短時間露光画像の行プロファイル）／（長時間露光画像の行プロファイル）
　このような除算処理を実行しても、図７（ｃ）フリッカ成分データや、図８（ｄ）に示すフリッカ補正波形は、動被写体の移動に伴う誤差を含むデータとなってしまう。
　このような動被写体の移動の影響を含むフリッカ補正波形を適用して、先に図１２、図１３を参照して説明した補正処理、すなわち、補正対象とする動被写体を含む画像の行プロファイルのピーク位置と、静止画に基づいて生成したフリッカ補正波形のピーク位置を合わせて補正処理を行っても、動被写体の影響によって良好なフリッカ補正が行えない場合がある。
　ステップＳ１２１～Ｓ１２２の処理は、このような問題を解決するために、動被写体を含むと判断された短時間露光画像に対して行われる処理である。
　ステップＳ１２１では、フリッカ補正波形をメモリから読み出す。
　このフリッカ補正波形は、ステップＳ１１１～Ｓ１１４の処理において、静止画と判断された画像に基づいて生成されたフリッカ補正波形である。
　次に、ステップＳ１２２において、メモリから読み出したフリッカ補正波形を、動被写体撮影画像に対して適用可能なフリッカ補正波形に設定する調整処理を行う。
　この調整処理には、動被写体が撮影された所定期間の複数の短時間露光画像を利用する。
　動被写体が撮影された所定期間の複数の短時間露光画像の各々の行プロファテイルを合成して生成したフリッカ補正波形（＝動被写体画像フリッカ補正波形）と、メモリから読み出したフリッカ補正波形を比較して、メモリから読み出したフリッカ補正波形の位相を、動被写体画像フリッカ補正波形の位相に合わせる位相制御を行う。
　ステップＳ１１５では、動被写体を含む短時間露光画像に対して、ステップＳ１２２で生成した位相制御されたフリッカ補正波形を適用した画像補正処理を実行する。
　この画像補正処理は、位相制御されたフリッカ補正波形を適用する以外は、先に図１２、図１３を参照して説明した処理と同様の処理である。
　このように、補正対象とする短時間露光画像に動被写体を含むか否かを判定し、動被写体を含むと判定した画像については、静止画像に基づいて算出したフレーム間位相ずれに基づいて、動被写体を含む画像と位相が一致するように、フリッカ補正波形の切り出しを実行して、切り出したフリッカ補正波形を適用した画像補正を行う
　このようにして、フリッカ補正された出力画像２０２を生成して出力する。
　なお、前述したようにこの処理は色信号（カラーチャンネル）毎に独立した補正係数を算出して色信号単位で補正処理を行ってもよいし、色信号を区別することなく行単位に設定した共通の補正係数を全ての行構成画素に適用する処理を行う構成としてもよい。
　色信号単位で補正処理を行う場合は、色信号（カラーチャンネル）個別に前記行単位の信号量の積分値を算出し、色信号個別のフリッカ成分、フリッカ補正波形を算出する。
　色信号を区別することなく行単位に設定した共通の補正係数を利用する場合は、色信号（カラーチャンネル）を区別することなく行単位の信号量の積分値を算出し、行単位のフリッカ成分、フリッカ補正波形を算出する。
　上述したように、本開示の構成では、実際の照明の輝度変化を再現したフリッカ成分を解析し、この正確なフリッカ波形に基づくフリッカ補正係数による補正処理が実行されるので、フリッカの除去処理をより効果的に行うことが可能となる。
　また、フリッカ補正波形を生成するために、フリッカ補正対象となる短時間露光画像の近傍時間で撮影された長時間露光画像の行プロファイルを基準プロファイルとして利用する構成としたので、従来の過去画像の積算による基準プロファイルの生成処理が不要となり、効率的な補正処理が実現される。また、フリッカの影響を多く含む過去画像の積算による基準プロファイルを利用した場合、長周期のフリッカが除去できないという問題があったが、本開示の構成では、もともとフリッカの影響のほとんどない長時間露光画像を参照画像として利用したことで、長周期フリッカに対する除去効果も高めることが可能となる。
　　［３．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の構成について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）短時間露光画像と長時間露光画像の少なくとも２種類の異なる露光時間の撮影画像を入力して、短時間露光画像に含まれるフリッカ成分を除去するフリッカ補正処理を実行する信号処理部を有し、
　前記信号処理部は、
　前記短時間露光画像の行単位の信号量の積分値からなる短時間露光画像行プロファイルと、
　前記長時間露光画像の行単位の信号量の積分値からなる基準プロファイルを生成し、
　前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理を含むデータ処理によってフリッカ補正波形を生成し、
　前記フリッカ補正波形に対応する行単位の係数を、短時間露光画像の各行の画素値に乗算する処理によりフリッカ成分を除去した補正画像を生成する画像処理装置。
　（２）前記長時間露光画像は、画像撮影環境の輝度変化周期の整数倍にほぼ一致する露光時間の設定の下で撮影された画像である前記（１）に記載の画像処理装置。
　（３）前記信号処理部は、前記フリッカ補正波形の生成処理に際して、前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理によって得られるフリッカ成分データ、または、該フリッカ成分データの位相反転データに対する正弦波近似処理を実行して前記フリッカ補正波形を生成する前記（１）または（２）に記載の画像処理装置。
　（４）前記信号処理部は、前記フリッカ補正波形の生成処理に際して、前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理によって得られるフリッカ成分データ、または、該フリッカ成分データの位相反転データに対するスプライン補間処理を実行して前記フリッカ補正波形を生成する前記（１）～（）いずれかに記載の画像処理装置。
　（５）前記信号処理部は、前記フリッカ補正波形の生成処理に際して、前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理によって得られるフリッカ成分データ、または、該フリッカ成分データの位相反転データに対する線型補間処理を実行して前記フリッカ補正波形を生成する前記（１）～（４）いずれかに記載の画像処理装置。
　（６）前記信号処理部は、前記フリッカ補正波形の生成処理に際して、前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理によって得られるフリッカ成分データ、または、該フリッカ成分データの位相反転データに対する離散フーリエ変換を実行して、２次以降の高次成分を低次に振り分ける処理を行う前記（１）～（５）いずれかに記載の画像処理装置。
　（７）前記信号処理部は、フリッカ成分を除去した補正画像の生成処理に際して、補正対象画像の行プロファイルのピーク位置と、前記フリッカ補正波形のピーク位置を一致させる位相合わせ後に、前記フリッカ補正波形に対応する行単位の係数を、短時間露光画像の各行の画素値に乗算する処理を実行する前記（１）～（６）いずれかに記載の画像処理装置。
　（８）前記信号処理部は、各画像に動被写体を含むか否かを判定し、動被写体を含まないと判定した画像を適用して前記フリッカ補正波形の生成処理を行う前記（１）～（７）いずれかに記載の画像処理装置。
　（９）前記信号処理部は、補正対象とする短時間露光画像に動被写体を含むか否かを判定し、動被写体を含まないと判定した画像に対して、前記フリッカ補正波形を適用した画像補正を行う前記（１）～（９）いずれかに記載の画像処理装置。
　（１０）前記信号処理部は、補正対象とする短時間露光画像に動被写体を含むか否かを判定し、動被写体を含むと判定した画像については、動被写体の影響による行プロファイルの位相変化を考慮して、前記フリッカ補正波形を修正し、修正したフリッカ補正波形を適用した画像補正を行う前記（１）～（９）いずれかに記載の画像処理装置。
　（１１）前記信号処理部は、補正対象とする短時間露光画像に動被写体を含むか否かを判定し、動被写体を含むと判定した画像については、静止画像に基づいて算出したフレーム間位相ずれに基づいて、動被写体を含む画像と位相が一致するように前記フリッカ補正波形の切り出しを実行して、切り出したフリッカ補正波形を適用した画像補正を行う。
　さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。
　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　以上、説明したように、本開示の一実施例の構成によれば、効果的なフリッカの除去を可能とする装置、方法が実現される。
　具体的には、輝度変化のある蛍光灯のような照明環境下における撮影画像に発生するフリッカを効果的に除去または削減する。短時間露光画像と長時間露光画像の少なくとも２種類の異なる露光時間の撮影画像を入力し、短時間露光画像の行単位の信号量の積分値からなる短時間露光画像行プロファイルと、長時間露光画像の行単位の信号量の積分値からなる基準プロファイルを生成し、短時間露光画像行プロファイルに対する基準プロファイルによる除算処理等によってフリッカ補正波形を生成し、フリッカ補正波形で規定される行単位の係数を、短時間露光画像の各行の画素値に乗算する処理によりフリッカ成分を除去した補正画像を生成する。
　これらの処理によって、効果的なフリッカの除去を可能とする装置、方法が実現される。
　１００　撮像装置
　１０１　撮像部
　１０２　信号処理部
　１０３　コーデック
　１０４　記録再生部
　１２０　記録メディア
　１３０　表示部
　１５０　制御部
　１５１　メモリ

Claims (13)

  1. 　短時間露光画像と長時間露光画像の少なくとも２種類の異なる露光時間の撮影画像を入力して、短時間露光画像に含まれるフリッカ成分を除去するフリッカ補正処理を実行する信号処理部を有し、
    　前記信号処理部は、
    　前記短時間露光画像の行単位の信号量の積分値からなる短時間露光画像行プロファイルと、
    　前記長時間露光画像の行単位の信号量の積分値からなる基準プロファイルを生成し、
    　前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理を含むデータ処理によってフリッカ補正波形を生成し、
    　前記フリッカ補正波形に対応する行単位の係数を、短時間露光画像の各行の画素値に乗算する処理によりフリッカ成分を除去した補正画像を生成する画像処理装置。
  2. 　前記長時間露光画像は、画像撮影環境の輝度変化周期の整数倍にほぼ一致する露光時間の設定の下で撮影された画像である請求項１に記載の画像処理装置。
  3. 　前記信号処理部は、
    　前記フリッカ補正波形の生成処理に際して、
    　前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理によって得られるフリッカ成分データ、または、該フリッカ成分データの位相反転データに対する正弦波近似処理を実行して前記フリッカ補正波形を生成する請求項１に記載の画像処理装置。
  4. 　前記信号処理部は、
    　前記フリッカ補正波形の生成処理に際して、
    　前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理によって得られるフリッカ成分データ、または、該フリッカ成分データの位相反転データに対するスプライン補間処理を実行して前記フリッカ補正波形を生成する請求項１に記載の画像処理装置。
  5. 　前記信号処理部は、
    　前記フリッカ補正波形の生成処理に際して、
    　前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理によって得られるフリッカ成分データ、または、該フリッカ成分データの位相反転データに対する線型補間処理を実行して前記フリッカ補正波形を生成する請求項１に記載の画像処理装置。
  6. 　前記信号処理部は、
    　前記フリッカ補正波形の生成処理に際して、
    　前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理によって得られるフリッカ成分データ、または、該フリッカ成分データの位相反転データに対する離散フーリエ変換を実行して、２次以降の高次成分を低次に振り分ける処理を行う請求項１に記載の画像処理装置。
  7. 　前記信号処理部は、
    　フリッカ成分を除去した補正画像の生成処理に際して、
    　補正対象画像の行プロファイルのピーク位置と、前記フリッカ補正波形のピーク位置を一致させる位相合わせ後に、前記フリッカ補正波形に対応する行単位の係数を、短時間露光画像の各行の画素値に乗算する処理を実行する請求項１に記載の画像処理装置。
  8. 　前記信号処理部は、
    　各画像に動被写体を含むか否かを判定し、動被写体を含まないと判定した画像を適用して前記フリッカ補正波形の生成処理を行う請求項１に記載の画像処理装置。
  9. 　前記信号処理部は、
    　補正対象とする短時間露光画像に動被写体を含むか否かを判定し、動被写体を含まないと判定した画像に対して、前記フリッカ補正波形を適用した画像補正を行う請求項１に記載の画像処理装置。
  10. 　前記信号処理部は、
    　補正対象とする短時間露光画像に動被写体を含むか否かを判定し、動被写体を含むと判定した画像については、動被写体の影響による行プロファイルの位相変化を考慮して、前記フリッカ補正波形を修正し、修正したフリッカ補正波形を適用した画像補正を行う請求項１に記載の画像処理装置。
  11. 　前記信号処理部は、
    　補正対象とする短時間露光画像に動被写体を含むか否かを判定し、動被写体を含むと判定した画像については、静止画像に基づいて算出したフレーム間位相ずれに基づいて、動被写体を含む画像と位相が一致するように前記フリッカ補正波形の切り出しを実行して、切り出したフリッカ補正波形を適用した画像補正を行う請求項１に記載の画像処理装置。
  12. 　画像処理装置において実行する画像処理方法であり、
    　信号処理部が、短時間露光画像と長時間露光画像の少なくとも２種類の異なる露光時間の撮影画像を入力して、短時間露光画像に含まれるフリッカ成分を除去するフリッカ補正処理を実行する信号処理ステップを実行し、
    　前記信号処理ステップにおいては、
    　前記短時間露光画像の行単位の信号量の積分値からなる短時間露光画像行プロファイルと、
    　前記長時間露光画像の行単位の信号量の積分値からなる基準プロファイルの生成処理と、
    　前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理を含むデータ処理によるフリッカ補正波形の生成処理と、
    　前記フリッカ補正波形に対応する行単位の係数を、短時間露光画像の各行の画素値に乗算する処理によりフリッカ成分を除去した補正画像の生成処理を実行する画像処理方法。
  13. 　画像処理装置において画像に含まれるフリッカ成分を除去するフリッカ補正処理を実行させるプログラムであり、
    　信号処理部に、短時間露光画像と長時間露光画像の少なくとも２種類の異なる露光時間の撮影画像を入力し、
    　前記信号処理部に、
    　前記短時間露光画像の行単位の信号量の積分値からなる短時間露光画像行プロファイルと、
    　前記長時間露光画像の行単位の信号量の積分値からなる基準プロファイルの生成処理と、
    　前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理を含むデータ処理によるフリッカ補正波形の生成処理と、
    　前記フリッカ補正波形に対応する行単位の係数を、短時間露光画像の各行の画素値に乗算する処理によりフリッカ成分を除去した補正画像の生成処理を実行させるプログラム。
PCT/JP2012/077193 2011-12-08 2012-10-22 画像処理装置、および画像処理方法、並びにプログラム WO2013084605A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201280059243.1A CN103975578A (zh) 2011-12-08 2012-10-22 图像处理设备、图像处理方法以及程序
EP12855320.3A EP2790399A1 (en) 2011-12-08 2012-10-22 Image processing device, image processing method, and program
US14/361,754 US20140375848A1 (en) 2011-12-08 2012-10-22 Image processing apparatus, image processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011268692A JP2013121099A (ja) 2011-12-08 2011-12-08 画像処理装置、および画像処理方法、並びにプログラム
JP2011-268692 2011-12-08

Publications (1)

Publication Number Publication Date
WO2013084605A1 true WO2013084605A1 (ja) 2013-06-13

Family

ID=48573988

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/077193 WO2013084605A1 (ja) 2011-12-08 2012-10-22 画像処理装置、および画像処理方法、並びにプログラム

Country Status (5)

Country Link
US (1) US20140375848A1 (ja)
EP (1) EP2790399A1 (ja)
JP (1) JP2013121099A (ja)
CN (1) CN103975578A (ja)
WO (1) WO2013084605A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104601904A (zh) * 2013-10-30 2015-05-06 佳能株式会社 摄像设备、摄像方法和控制方法
WO2015163145A1 (ja) * 2014-04-22 2015-10-29 ソニー株式会社 画像処理装置、画像処理方法、電子機器、並びにプログラム
CN105049736A (zh) * 2014-04-25 2015-11-11 恒景科技股份有限公司 多重曝光影像系统以及消除卷动快门闪烁方法
US20170150030A1 (en) * 2014-07-31 2017-05-25 Sony Semiconductor Solutions Corporation Image processing apparatus, image processing method, program, and image sensor
EP3132383A4 (en) * 2014-04-15 2017-11-29 Sony Corporation Systems, methods, and media for extracting information and a display image from two captured images
CN111209775A (zh) * 2018-11-21 2020-05-29 杭州海康威视数字技术股份有限公司 信号灯图像处理方法、装置、设备及存储介质

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103297654B (zh) * 2013-06-28 2015-08-19 电子科技大学 基于多cis大幅面扫描仪的图像校正方法
JP2015192393A (ja) * 2014-03-28 2015-11-02 ソニー株式会社 映像信号処理装置、映像信号処理方法およびプログラム
JP6362091B2 (ja) * 2014-06-04 2018-07-25 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
CN105635594B (zh) * 2014-11-05 2018-09-04 富士通株式会社 闪烁校正方法和闪烁校正设备
US9584704B2 (en) * 2015-01-08 2017-02-28 Gean Technology Co. Limited Method for detecting electronic lighting flickering
CN104639844B (zh) * 2015-01-27 2018-05-25 青岛海信移动通信技术股份有限公司 一种校准模拟长曝光图像的方法及装置
CN107251543B (zh) 2015-02-16 2018-09-07 富士胶片株式会社 成像装置、闪烁检测方法及记录介质
EP3099058A1 (en) * 2015-05-26 2016-11-30 Thomson Licensing Method for detecting video recapture and corresponding apparatus
JP6727205B2 (ja) * 2015-07-24 2020-07-22 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
US9843739B2 (en) * 2015-10-07 2017-12-12 Mediatek Singapore Pte. Ltd. Method for correcting flickers in a single-shot multiple-exposure image and associated apparatus
JP6304605B2 (ja) * 2015-11-12 2018-04-04 カシオ計算機株式会社 撮像装置、フリッカ検出方法及びプログラム
WO2017090300A1 (ja) * 2015-11-24 2017-06-01 ソニー株式会社 画像処理装置、および画像処理方法、ならびにプログラム
US20170264831A1 (en) 2016-03-14 2017-09-14 Kabushiki Kaisha Toshiba Image processor and image processing method
CN105938624A (zh) * 2016-04-15 2016-09-14 张志华 一种犯规监控装置
EP3474544B1 (en) * 2016-06-15 2023-06-28 Sony Group Corporation Image processing device, image processing method, and program
CN109496187B (zh) * 2016-08-08 2022-07-26 金泰克斯公司 用于处理视频数据以通过动态曝光控制来检测和消除闪变光源的系统和方法
WO2018034076A1 (ja) * 2016-08-16 2018-02-22 ソニー株式会社 撮像制御装置、撮像制御方法および撮像システム
JP6950698B2 (ja) * 2016-09-14 2021-10-13 ソニーグループ株式会社 撮像制御装置、撮像制御方法および撮像装置
DE102016122934A1 (de) * 2016-11-28 2018-06-14 SMR Patents S.à.r.l. Bildgebungssystem für ein Fahrzeug und Verfahren zum Erhalten eines superaufgelösten Antiflimmer-Bildes
CN111194460A (zh) * 2017-05-16 2020-05-22 泰克年研究发展基金会公司 电网的计算成像
JP2019004203A (ja) * 2017-06-12 2019-01-10 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、撮像装置、画像処理方法、および、プログラム。
GB2565590B (en) * 2017-08-18 2021-06-02 Apical Ltd Method of flicker reduction
US10721415B2 (en) * 2018-09-13 2020-07-21 Futurewei Technologies, Inc. Image processing system with LED flicker mitigation
CN111225126A (zh) * 2018-11-23 2020-06-02 华为技术有限公司 多路视频流生成方法及装置
US11039082B2 (en) * 2018-11-27 2021-06-15 Canon Kabushiki Kaisha Image capturing apparatus, control method thereof, and storage medium
CN111131718B (zh) * 2019-07-16 2021-05-14 深圳市艾为智能有限公司 一种具有led闪烁补偿功能的多重曝光图像融合方法和系统
US11039081B2 (en) * 2019-07-17 2021-06-15 Pixart Imaging Inc. Image sensor capable of eliminating rolling flicker and adjusting frame rate
CN111586273B (zh) * 2020-05-22 2022-01-18 Oppo广东移动通信有限公司 电子设备及图像获取方法
CN113766114B (zh) * 2020-06-01 2023-11-07 中移(苏州)软件技术有限公司 图像处理方法、装置、电子设备及存储介质
FR3113992B1 (fr) * 2020-09-09 2023-04-21 Valeo Comfort & Driving Assistance Procédé de capture d’une séquence d’images, dispositif imageur correspondant et système d’imagerie comportant un tel dispositif.
CN112235505B (zh) * 2020-09-24 2022-08-09 浙江大华技术股份有限公司 去除图像闪烁的方法、装置及存储介质
CN116389915B (zh) * 2023-04-07 2024-03-22 北京拙河科技有限公司 一种降低光场相机闪烁的方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1175109A (ja) * 1997-06-27 1999-03-16 Matsushita Electric Ind Co Ltd 固体撮像装置
JPH11122513A (ja) 1997-10-09 1999-04-30 Matsushita Electric Ind Co Ltd 蛍光灯フリッカー補正装置及びそれを使用したカメラ
JP2001346096A (ja) * 2000-05-31 2001-12-14 Matsushita Electric Ind Co Ltd ダイナミックレンジ拡大カメラ
JP2002165141A (ja) 2000-11-27 2002-06-07 Sony Corp 固体撮像素子の駆動方法、及びカメラ
JP2004007402A (ja) * 2002-03-25 2004-01-08 Seiko Epson Corp フリッカ検出装置、フリッカ補正装置、撮像装置、フリッカ検出プログラムおよびフリッカ補正プログラム
JP2006245784A (ja) * 2005-03-01 2006-09-14 Canon Inc 固体撮像装置及びその駆動方法並びに撮像システム
JP2008236300A (ja) * 2007-03-20 2008-10-02 Matsushita Electric Ind Co Ltd 撮像装置
JP2009081684A (ja) * 2007-09-26 2009-04-16 Panasonic Corp フリッカ低減装置
JP2009124239A (ja) * 2007-11-12 2009-06-04 Canon Inc 撮像装置及びそのフリッカ検出方法
JP2011160090A (ja) * 2010-01-29 2011-08-18 Sony Corp 画像処理装置、および信号処理方法、並びにプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1672916A1 (en) * 2003-09-10 2006-06-21 Matsushita Electric Industrial Co., Ltd. Image processing device
JP4453648B2 (ja) * 2005-06-13 2010-04-21 ソニー株式会社 画像処理装置および撮像装置
JP4506684B2 (ja) * 2006-02-15 2010-07-21 ソニー株式会社 負荷を駆動する駆動方法および駆動装置、並びに電子機器
JP4424403B2 (ja) * 2007-09-28 2010-03-03 ソニー株式会社 撮像装置、撮像方法及び撮像プログラム
US8228400B2 (en) * 2009-04-17 2012-07-24 Sony Corporation Generation of simulated long exposure images in response to multiple short exposures
US20120307106A1 (en) * 2011-05-31 2012-12-06 Kurt Eugene Spears Synchronized Exposures For An Image Capture System

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1175109A (ja) * 1997-06-27 1999-03-16 Matsushita Electric Ind Co Ltd 固体撮像装置
JPH11122513A (ja) 1997-10-09 1999-04-30 Matsushita Electric Ind Co Ltd 蛍光灯フリッカー補正装置及びそれを使用したカメラ
JP2001346096A (ja) * 2000-05-31 2001-12-14 Matsushita Electric Ind Co Ltd ダイナミックレンジ拡大カメラ
JP2002165141A (ja) 2000-11-27 2002-06-07 Sony Corp 固体撮像素子の駆動方法、及びカメラ
JP2004007402A (ja) * 2002-03-25 2004-01-08 Seiko Epson Corp フリッカ検出装置、フリッカ補正装置、撮像装置、フリッカ検出プログラムおよびフリッカ補正プログラム
JP2006245784A (ja) * 2005-03-01 2006-09-14 Canon Inc 固体撮像装置及びその駆動方法並びに撮像システム
JP2008236300A (ja) * 2007-03-20 2008-10-02 Matsushita Electric Ind Co Ltd 撮像装置
JP2009081684A (ja) * 2007-09-26 2009-04-16 Panasonic Corp フリッカ低減装置
JP2009124239A (ja) * 2007-11-12 2009-06-04 Canon Inc 撮像装置及びそのフリッカ検出方法
JP2011160090A (ja) * 2010-01-29 2011-08-18 Sony Corp 画像処理装置、および信号処理方法、並びにプログラム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104601904A (zh) * 2013-10-30 2015-05-06 佳能株式会社 摄像设备、摄像方法和控制方法
US9756258B2 (en) 2013-10-30 2017-09-05 Canon Kabushiki Kaisha Image capturing apparatus, image capturing method, and control method for reducing the influence of flicker on still image exposure
US9794493B2 (en) 2013-10-30 2017-10-17 Canon Kabushiki Kaisha Image capturing apparatus, image capturing method, and control method
CN104601904B (zh) * 2013-10-30 2017-10-31 佳能株式会社 摄像设备、摄像方法和控制方法
EP3132383A4 (en) * 2014-04-15 2017-11-29 Sony Corporation Systems, methods, and media for extracting information and a display image from two captured images
WO2015163145A1 (ja) * 2014-04-22 2015-10-29 ソニー株式会社 画像処理装置、画像処理方法、電子機器、並びにプログラム
JPWO2015163145A1 (ja) * 2014-04-22 2017-04-13 ソニー株式会社 画像処理装置、画像処理方法、電子機器、並びにプログラム
US10298843B2 (en) 2014-04-22 2019-05-21 Sony Semiconductor Solutions Corporation Image processing device, image processing method, and electronic apparatus for motion detection in image
CN105049736A (zh) * 2014-04-25 2015-11-11 恒景科技股份有限公司 多重曝光影像系统以及消除卷动快门闪烁方法
US20170150030A1 (en) * 2014-07-31 2017-05-25 Sony Semiconductor Solutions Corporation Image processing apparatus, image processing method, program, and image sensor
CN111209775A (zh) * 2018-11-21 2020-05-29 杭州海康威视数字技术股份有限公司 信号灯图像处理方法、装置、设备及存储介质
CN111209775B (zh) * 2018-11-21 2023-10-20 杭州海康威视数字技术股份有限公司 信号灯图像处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
EP2790399A1 (en) 2014-10-15
US20140375848A1 (en) 2014-12-25
CN103975578A (zh) 2014-08-06
JP2013121099A (ja) 2013-06-17

Similar Documents

Publication Publication Date Title
WO2013084605A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP5625371B2 (ja) 画像処理装置、および信号処理方法、並びにプログラム
US8848063B2 (en) Image processing including image correction
JP4371108B2 (ja) 撮像装置および方法、記録媒体、並びにプログラム
US8798395B2 (en) Image processing apparatus, image processing method, and program
US9204056B2 (en) Image pickup apparatus, image pickup apparatus control method, and program
US9036050B2 (en) Image processing device, image processing method, and program
WO2017090300A1 (ja) 画像処理装置、および画像処理方法、ならびにプログラム
JP4487640B2 (ja) 撮像装置
US9979896B2 (en) Image processing apparatus, image processing method, electronic equipment and program
US10298843B2 (en) Image processing device, image processing method, and electronic apparatus for motion detection in image
US8115828B2 (en) Image processing apparatus, flicker reduction method, imaging apparatus, and flicker reduction program
US20130342738A1 (en) Tone Mapping For Low-Light Video Frame Enhancement
US20190068929A1 (en) Imaging apparatus, imaging control method, and program
US10412356B2 (en) Image processing apparatus and image processing method
CN110741632B (zh) 拍摄装置、拍摄元件以及图像处理方法
JP5581968B2 (ja) 撮像装置
JP2014158267A (ja) カラーフィルタ、撮像素子、画像処理装置および画像処理方法
JP5195957B2 (ja) カラーフィルタおよび撮像素子
JP7237164B2 (ja) 撮像装置、撮像方法、および映像処理プログラム
JP2013146101A (ja) カラーフィルタ、撮像素子、画像処理装置および画像処理方法
JP2015032870A (ja) 撮像素子、撮像装置および撮像処理プログラム
JP2012108534A (ja) カラーフィルタ、撮像素子および画像処理装置
JP2013251668A (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12855320

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012855320

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14361754

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE