WO2009081533A1 - フレア補正装置 - Google Patents

フレア補正装置 Download PDF

Info

Publication number
WO2009081533A1
WO2009081533A1 PCT/JP2008/003743 JP2008003743W WO2009081533A1 WO 2009081533 A1 WO2009081533 A1 WO 2009081533A1 JP 2008003743 W JP2008003743 W JP 2008003743W WO 2009081533 A1 WO2009081533 A1 WO 2009081533A1
Authority
WO
WIPO (PCT)
Prior art keywords
flare
image
subject
unsaturated
component
Prior art date
Application number
PCT/JP2008/003743
Other languages
English (en)
French (fr)
Inventor
Kazunaga Miyake
Masato Nishizawa
Satoru Masuda
Original Assignee
Panasonic Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corporation filed Critical Panasonic Corporation
Publication of WO2009081533A1 publication Critical patent/WO2009081533A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras

Definitions

  • the present invention relates to a flare correction apparatus that corrects a subject image in which flare caused by an optical system such as a lens occurs.
  • flare is an image of light that is generated when a very bright light source is directed toward the lens when the camera captures an object.
  • a flare correction apparatus for correcting a subject image in which flare occurs.
  • the conventional apparatus acquires the black level correction value based on the histogram of the luminance signal output from the image sensor and the correction characteristic measured in advance according to the characteristic of the optical system.
  • the conventional apparatus performs black correction for correcting the image signal output from the image sensor using the black level correction value, and removes flare in the image signal.
  • Such a technique is disclosed in, for example, Japanese Patent Application Laid-Open No. 2006-165937.
  • FIG. 14A shows, as an example of a subject image in which flare occurs, an image obtained by photographing a vehicle traveling at night and a pedestrian in the vicinity thereof with a camera.
  • the flare 52 spreads around the light source 51 (headlight) in the image. Therefore, the pedestrian 41 near the light source 51 is difficult to see.
  • FIG. 14B shows the luminance distribution along the line AA passing through the light source 51 of FIG. 14A. As shown in FIG. 14B, in the luminance distribution 42 of the subject image, the luminance around the light source 51 increases due to the occurrence of flare.
  • FIG. 14C shows the luminance distribution along line AA after flare correction.
  • correction for removing the flare is performed using the uniform subtraction component 43 over the entire screen.
  • the luminance level of the image decreases by the subtraction component 43 in the entire screen.
  • the contrast of the whole screen can be raised and it becomes easy to see the pedestrian 41 which was hard to see. Then, it is possible to obtain a subject image in which the entire screen is settled.
  • the conventional flare correction apparatus has the following problems. That is, the flare 52 increases the luminance around the light source 51, but does not increase the luminance level of the entire screen uniformly. Nevertheless, in the prior art, the subtraction component 43 is set uniformly over the entire screen. Therefore, when the subtraction component 43 for flare correction is set large, as shown in FIG. 14C, black sun sets 44a and 44b (over--) at positions other than the periphery of the light source 51 in the luminance distribution 45 of the subject image after flare correction. darkened part (image), where the gradation is almost zero in the low-luminance part). The image becomes too black in the shadow area due to excessive subtraction. Further, a part of the flare component remains around the light source 51, and the flare 52 may not be completely removed.
  • the present invention has been made under the above-described background, and its object is to appropriately remove flare generated around the light source and suppress flare in the subject image while effectively suppressing flare.
  • An object of the present invention is to provide a flare correction apparatus that can perform the above-described process.
  • the flare correction apparatus of the present invention captures a subject image acquisition unit that acquires a subject image obtained by imaging the subject, and captures the subject so that the luminance level is not saturated even when the light source is included in the subject.
  • the unsaturated image acquisition unit that acquires the unsaturated image obtained by this, and the position of the light source and the position of the flare component are included in the subject image based on the position of the light source obtained from the unsaturated image.
  • a flare component calculating unit that calculates a flare component and a flare component removing unit that removes the flare component from the subject image are provided.
  • another aspect of the present invention is an imaging device, and this imaging device has a configuration including the flare correction device described above.
  • Another aspect of the present invention is a flare correction method, which acquires a subject image obtained by imaging a subject and does not saturate the brightness level even when the subject includes a light source.
  • an unsaturated image obtained by imaging the subject is acquired and included in the subject image so that the position of the light source and the position of the flare component correspond to each other based on the position of the light source obtained from the unsaturated image.
  • the flare component is calculated, and the flare component is removed from the subject image.
  • another aspect of the present invention is a flare removal program that is executed by a computer and removes flare from an image.
  • This program obtains a subject image obtained by imaging a subject, and obtains an unsaturated image obtained by imaging the subject so that the luminance level is not saturated even if the subject includes a light source. Then, based on the position of the light source obtained from the unsaturated image, the flare component included in the subject image is calculated so that the position of the light source corresponds to the position of the flare component, and the flare component is removed from the subject image Is executed on the computer.
  • the present invention calculates the flare component included in the subject image based on the position of the light source obtained from the unsaturated image so that the position of the light source corresponds to the position of the flare component. Then, the present invention removes the flare component thus calculated from the subject image. Therefore, flare generated around the light source can be appropriately removed while suppressing occurrence of black sun in the subject image, and flare correction can be performed effectively.
  • FIG. 1 is a functional block diagram illustrating an imaging apparatus with a flare correction apparatus according to a first embodiment of the present invention.
  • FIG. 2 is a diagram showing a hardware configuration of an imaging apparatus with a flare correction apparatus according to the first embodiment of the present invention.
  • FIG. 3 is a diagram showing a processing flow of the flare correction processing program.
  • FIG. 4 is a diagram showing a processing flow of a flare correction routine in the flare correction processing program.
  • FIG. 5A is a schematic diagram of a subject image.
  • FIG. 5B is a diagram showing a luminance distribution along a cutting line passing through the light source in the subject image.
  • FIG. 6A is a schematic diagram of an unsaturated image.
  • FIG. 1 is a functional block diagram illustrating an imaging apparatus with a flare correction apparatus according to a first embodiment of the present invention.
  • FIG. 2 is a diagram showing a hardware configuration of an imaging apparatus with a flare correction apparatus according to the first embodiment of the present invention.
  • FIG. 3 is a
  • FIG. 6B is a diagram illustrating a luminance distribution along a cutting line passing through a light source in an unsaturated image.
  • FIG. 7 is a flowchart showing a flare component calculation routine
  • FIG. 8A is a diagram showing a result of convolution of an unsaturated image and a flare PSF.
  • FIG. 8B shows a calculation result of the flare component
  • FIG. 9 is a diagram showing the flow of the flare component removal routine
  • FIG. 10A is a diagram showing a flare subtraction component
  • FIG. 10B shows a flare correction result.
  • FIG. 11A is a diagram showing a luminance distribution and a flare component of a subject image in which flare occurs.
  • FIG. 11B shows a luminance distribution after flare correction.
  • FIG. 11C is a diagram showing a subject image after flare correction.
  • FIG. 11A is a diagram showing a luminance distribution and a flare component of a subject image in which flare occurs.
  • FIG. 11B shows a luminance distribution after
  • FIG. 12 is a functional block diagram showing an imaging apparatus with a flare correction apparatus according to the second embodiment of the present invention.
  • FIG. 13 is a diagram showing a processing flow of a flare correction routine in the flare correction processing program.
  • FIG. 14A is a diagram illustrating an example of a subject image in which flare occurs.
  • FIG. 14B is a diagram showing a luminance distribution of a subject image in which flare occurs.
  • FIG. 14C is a diagram showing the luminance distribution of the subject image after flare correction according to the prior art.
  • the flare correction apparatus of the present invention captures a subject image acquisition unit that acquires a subject image obtained by imaging the subject, and captures the subject so that the luminance level is not saturated even when the light source is included in the subject.
  • the unsaturated image acquisition unit that acquires the unsaturated image obtained by this, and the position of the light source and the position of the flare component are included in the subject image based on the position of the light source obtained from the unsaturated image.
  • a flare component calculating unit that calculates a flare component and a flare component removing unit that removes the flare component from the subject image are provided.
  • the flare component calculation unit may calculate the flare component by a convolution operation that convolves a blur function representing a luminance distribution when a point light source is imaged with an unsaturated image.
  • the flare component can be accurately calculated by convolving the blur function with the unsaturated image.
  • the exposure time when shooting an unsaturated image may be set shorter than the exposure time when shooting a subject image.
  • the flare correction apparatus may include an unsaturated image reduction unit that reduces the unsaturated image acquired by the unsaturated image acquisition unit, and the flare component calculation unit includes the unsaturated image reduced by the unsaturated image reduction unit.
  • a flare component included in the subject image may be calculated based on the image.
  • the flare correction apparatus may include a flare component enlargement unit that enlarges the flare component, and the flare component removal unit may remove the flare component enlarged by the flare component enlargement unit from the subject image.
  • FIG. 1 shows functional blocks of an imaging apparatus provided with the flare correction apparatus according to the first embodiment.
  • the imaging device 1 includes a lens 11, an imaging device 12, a flare correction device 13, and a corrected image output unit 14.
  • the lens 11 forms an image of the subject on the light receiving surface of the image sensor 12.
  • the image sensor 12 is configured by a CCD (Charge Coupled Device) or the like, and generates a signal of an object image formed on the light receiving surface via the lens 11.
  • the flare correction device 13 corrects the subject image by removing the flare component in the subject image generated by the image sensor 12.
  • the corrected image output unit 14 outputs the subject image corrected by the flare correction device 13.
  • the flare correction apparatus 13 includes an unsaturated image acquisition unit 131, a flare component calculation unit 132, a subject image acquisition unit 133, and a flare component removal unit 134.
  • the subject image acquisition unit 133 acquires a subject image captured by the image sensor 12.
  • the unsaturated image acquisition unit 131 acquires an unsaturated image obtained by imaging the subject with the imaging element 12 with low sensitivity that does not saturate the luminance level even when the subject includes a light source.
  • the flare component calculation unit 132 calculates the flare component included in the subject image based on the unsaturated image acquired by the unsaturated image acquisition unit 131.
  • the flare component removing unit 134 removes the flare component calculated by the flare component calculating unit 132 from the subject image.
  • FIG. 2 shows the hardware configuration of the imaging apparatus with a flare correction apparatus of the present invention.
  • the imaging device 1 includes a lens 11, an imaging device 12, an AFE (Analog Front End) 21, a drive control unit 22, a display unit 23, and operation buttons 24. And a microprocessor unit 25.
  • the lens 11 and the image sensor 12 have the same configuration as that shown in FIG.
  • the lens 11 forms an optical image of the subject OJ.
  • the optical image is formed on the image sensor 12.
  • the AFE 21 amplifies the image signal obtained from the image sensor 12.
  • the drive control unit 22 controls the image sensor 12 and the AFE 21.
  • the display unit 23 displays the captured subject image.
  • the operation button 24 is used for inputting an operation command.
  • the microprocessor unit 25 controls the entire imaging apparatus 1.
  • the microprocessor unit 25 includes an image input I / F (Inter Face) 251, a photographing sensitivity control I / F 252, a CPU (Central Processing Unit) 253, a corrected image output I / F 254, a memory 255, and an operation A command reading I / F 256 is provided, and these components are connected to each other via an internal bus.
  • the image input I / F 251 reads an image signal from the image sensor 12 via the AFE 21.
  • the imaging sensitivity control I / F 252 outputs a sensitivity control command to the drive control unit 22.
  • the CPU 253 executes a program for controlling the imaging device 1.
  • the corrected image output I / F 254 outputs a subject image signal to the display unit 23.
  • the memory 255 stores various processing programs.
  • the memory 255 also stores a flare correction processing program for executing each function of the flare correction apparatus 13 described with reference to FIG. This program is executed by the CPU 253, whereby the function of the flare correction device 13 can be incorporated into the imaging device 1. That is, each configuration in FIG. 1 is realized by the microprocessor unit 25 in FIG. 2, and more specifically, realized by the CPU 253 executing the flare correction processing program in the memory 255.
  • the operation command read I / F 256 reads an operation command input from the operation button 24.
  • the imaging element 12 As an operation of the entire imaging apparatus, the imaging element 12 generates an electrical image signal of the subject image formed by the lens 11 under the control of the drive control unit 22.
  • the image signal is processed by the microprocessor unit 25 via the AFE 21 and displayed on the display unit 23.
  • the image signal is stored in a recording medium (not shown).
  • FIG. 3 shows a processing flow of the flare correction processing program.
  • This program is executed by the CPU 253, and the microprocessor unit 25 functions as a flare correction device.
  • the CPU 253 executes a flare correction routine (S31), and then outputs a flare correction image to the display unit 23 (S32).
  • FIG. 4 shows the flare correction routine executed in step S31 of FIG.
  • the CPU 253 executes the flare correction processing program, it functions as the various components in FIG. 1 and performs the flare correction processing in FIG. Therefore, in the following, the flare correction of FIG. 4 will be described mainly using the configuration of FIG.
  • the unsaturated image acquisition unit 131 of FIG. 1 acquires the unsaturated image is (S41), and the subject image acquisition unit 133 acquires the subject image ia (S42).
  • the unsaturated image is an image captured with low sensitivity so that the luminance level is not saturated even when a light source is included in the subject.
  • the subject image ia is an image obtained by capturing the subject with normal appropriate sensitivity. Since the unsaturated image is is captured with a sensitivity lower than the appropriate sensitivity, the unsaturated image is can be referred to as a low sensitivity image, and the subject image ia can also be referred to as an appropriate sensitivity image.
  • the subject image ia can also be called a normal image.
  • the unsaturated image is and the subject image ia can be obtained by controlling the exposure time.
  • the CPU 253 functions as the unsaturated image acquisition unit 131 and the subject image acquisition unit 133 and controls the drive control unit 22. Then, the CPU 253 (the unsaturated image acquisition unit 131 and the subject image acquisition unit 133) controls the mechanical shutter or the electronic shutter to cause the imaging device 1 to perform shooting with a short exposure time and an appropriate exposure time. As a result, an image signal with a short exposure time and an image signal with an appropriate exposure time can be obtained by the image sensor 12.
  • These image signals are read in the form of digital data via the AFE 21 and the image input I / F 251 and acquired as an unsaturated image is and a subject image.
  • the shutter value for acquiring the unsaturated image ia is set to a value that does not saturate the light source in the image. This shutter value may be preset and stored in the memory 255.
  • the gain of the AFE 21 may be controlled to acquire the unsaturated image is and the subject image ia.
  • the AFE 21 amplifies the image signal obtained by the image sensor 12.
  • the CPU 253 functions as the unsaturated image acquisition unit 131 and the subject image acquisition unit 133, controls the drive control unit 22, and changes the gain of the AFE 21.
  • the gain value for obtaining the unsaturated image ia is set to a value that does not saturate the light source in the image. This gain value may be set in advance and stored in the memory 255.
  • the unsaturated image is and the subject image ia are photographed almost at the same time.
  • the acquisition order of the unsaturated image is and the subject image ia may be reversed, that is, step S41 and step S42 may be interchanged.
  • FIG. 5A and 5B show the subject image ia.
  • FIG. 5A is a schematic diagram of the subject image is, and FIG. 5B shows a luminance distribution on the AA line passing through the light source 51 in FIG. 5A.
  • 6A and 6B show the unsaturated image ia.
  • 6A is a schematic diagram of the unsaturated image ia, and FIG. 6B shows a luminance distribution on the BB line passing through the light source 51 in FIG. 6A.
  • the flare 52 generated in the subject image ia is a portion where the light source 51 is blurred, as shown in FIG. 5B. Therefore, in the present embodiment, the flare component is calculated using a blur function (PSF: point spread function) representing the luminance distribution of blur.
  • PSF point spread function
  • the present embodiment uses a flare PSF that represents the characteristics of blur due to flare.
  • the flare PSF is a luminance distribution when a point light source is photographed. Since flare is a phenomenon caused by the optical system in the imaging apparatus 1, the flare PSF has a characteristic characteristic of the imaging apparatus 1. This unique flare PSF may be calculated by simulation of the optical system when the imaging apparatus 1 is designed. Further, the flare PSF may be acquired by photographing a point light source at the time of prototype imaging device. The flare PSF obtained in this way is recorded in the flare component calculation program and used for flare correction.
  • FIG. 7 is a processing flow of the flare component calculation routine executed in S43 of FIG. 8A and 8B are diagrams for explaining the flare component calculation processing.
  • FIG. 8A shows the result of convolution of the unsaturated image and the flare PSF
  • FIG. 8B shows the calculation result of the flare component.
  • 8A and 8B show the luminance distribution corresponding to the BB line in FIG. 6B.
  • the flare component calculation unit 132 performs a convolution operation that convolves the unsaturated image is and the flare PSF (S71).
  • FIG. 8A shows the convolution result.
  • the unsaturated image is and the flare PSF are indicated by dotted lines. Only the light source 51 is shown in the unsaturated image is. Therefore, the convolution of the unsaturated image is and the flare PSF corresponds to a process of pasting the flare PSF at the position of the light source 51 in the image.
  • the flare PSF is a luminance distribution around the point light source, and the light source 51 is a set of point light sources. Therefore, the convolution operation repeatedly pastes the flare PSF over the entire range of the light source 51. As a result, the curved shape of FIG. 8A is obtained as a whole.
  • the flare component calculation uses the unsaturated image is.
  • the unsaturated image is is an image in which only the light source 51 is shown. This means that the position of the light source 51 can be obtained from the unsaturated image is.
  • the flare component is calculated based on the position of the light source 51 obtained from the unsaturated image is so that the position of the light source 51 corresponds to the position of the flare component.
  • the function of the flare component is pasted to the light source position in the image (that is, the entire light source range) by convolving the unsaturated image is and the function of the flare component.
  • the flare component removing unit 134 removes the flare component from the subject image ia (S44).
  • the solid line indicates the flare component
  • the dotted line indicates the luminance distribution 82 of the subject image ia.
  • the luminance of the flare component 81 exceeds the saturation value at the position of the light source 51, whereas the luminance level of the subject image ia is saturated at the position of the light source 51.
  • the present embodiment detects a saturated region where the luminance level is saturated in the subject image ia. In the present embodiment, the flare component 81 is not subtracted from the subject image ia in the saturation region.
  • FIG. 9 is a processing flow of the flare component removal routine in S44 of FIG. 10A and 10B are diagrams for explaining the flare component removal processing.
  • FIG. 10A shows the flare subtraction component
  • FIG. 10B shows the flare correction result.
  • the flare component removal unit 134 detects a saturated region of the subject image ia (S91). As a result of the detection, if the target portion is a saturated region (S92, YES), the flare component 81 is not subtracted from the subject image ia. On the other hand, when the target portion is not the saturated region (S92, NO), the flare component removing unit 134 subtracts the flare component 81 from the subject image ia (S93).
  • the flare component removal routine can subtract the flare subtraction component of FIG. 10A.
  • This subtraction component is a flare component from which the component portion corresponding to the luminance saturation region of the subject image ia has been removed.
  • flare components spreading around the light source 51 can be removed, as shown in FIG. 10B.
  • the dotted line indicates the flare subtraction component.
  • FIGS. 11A to 11C are diagrams for explaining a process of flare correction processing of a subject image obtained by imaging a vehicle traveling at night and a pedestrian in the vicinity thereof.
  • FIG. 11A shows the luminance distribution 42 of the subject image when the same scene as FIG. 14A is photographed.
  • the luminance distribution 42 is overlaid with the flare component 82.
  • the luminance component 42 of the subject image is acquired by the process of S41 in FIG. 4 described above, and the flare component 82 is acquired by the process of S43 of FIG.
  • FIG. 11B shows the result of subtracting the flare component 81 from the luminance component 42 of the subject image (as described with reference to FIG. 9, subtraction of the flare component from the subject image is performed in the saturation region of the subject image. Not) Before the correction, the brightness around the light source 51 is increased by the flare 52. However, as shown in FIG. 11B, the brightness around the light source 51 is reduced and the flare is corrected.
  • FIG. 11C shows the subject image after flare correction. As shown in FIG. 11C, in the subject image after the flare correction, the flare 52 around the light source 51 is removed, and the pedestrian 41 is clearly visible.
  • the unsaturated image is is used, and the flare component is obtained only at the actual flare position.
  • the flare component is subtracted only in the portion where the flare is generated.
  • luminance is not subtracted and flare correction is not performed.
  • FIG. 11B luminance remains on the entire screen. Therefore, it is possible to avoid black sink in portions other than the flare.
  • FIG. 11B is compared with FIG. 14C of the prior art.
  • FIG. 14C as a result of the subtraction component being uniformly subtracted from the entire screen, black sun is generated in portions other than the flare.
  • the luminance component remains on the entire screen, and black sun is avoided.
  • the present invention is more advantageous for the correction effect of the flare portion.
  • the magnitude of the flare component varies depending on the distance from the light source, the subtracted component is uniformly removed from the entire screen in FIG. 14C. Therefore, the luminance distribution around the light source is oblique in the image after flare correction. That is, the flare is not completely removed, and a part of the flare remains.
  • the flare component is accurately calculated by the above-described processing so that the flare component becomes larger as the light source is approached, based on the flare PSF. Thereby, the flare component can be removed more accurately.
  • the subject image is set so that the position of the light source corresponds to the position of the flare component based on the position of the light source obtained from the unsaturated image.
  • the flare component contained in is calculated. Therefore, the flare component included in the subject image can be accurately calculated.
  • the flare component thus accurately calculated is removed from the subject image.
  • the flare correction of the present invention does not use a uniform subtraction component for the entire subject image.
  • the present invention can perform different flare correction for each pixel according to the position of the flare component. As a result, flare generated around the light source can be appropriately removed while suppressing the occurrence of black sun in the subject image, and flare correction can be performed effectively.
  • the flare component can be accurately calculated by the convolution operation that convolves the blur function representing the luminance distribution when the point light source is imaged with the unsaturated image.
  • the exposure time when obtaining the unsaturated image is set shorter than the exposure time when obtaining the subject image. Therefore, an image having a lower sensitivity than the subject image can be obtained, and an unsaturated image can be suitably obtained.
  • the flare component calculation unit 132 performs a convolution operation between the unsaturated image is and the flare PSF.
  • the flare PSF spreads over a wide range, the amount of convolution calculation increases and the processing time increases, or a higher performance CPU is required.
  • the image used for convolution is reduced, thereby reducing the amount of calculation.
  • FIG. 12 is a functional block diagram showing an imaging apparatus provided with the flare correction apparatus according to the second embodiment of the present invention.
  • the configuration of the imaging device viewed from the hardware side is the same as that shown in FIG.
  • the same components as those in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the imaging device 3 includes a flare correction device 33 instead of the flare correction device 13 of FIG.
  • the flare correction apparatus 33 includes an unsaturated image acquisition unit 131, a flare component calculation unit 132, a subject image acquisition unit 133, a flare component removal unit 134, an unsaturated image reduction unit 331, and a flare component enlargement unit 332. I have.
  • the flare correction apparatus 33 of the present embodiment is different from the flare correction apparatus 13 of the first embodiment in that an unsaturated image reduction unit 331 and a flare component enlargement unit 332 are provided.
  • the unsaturated image reduction unit 331 changes the spatial resolution of the unsaturated image is acquired by the unsaturated image acquisition unit 131 and reduces the unsaturated image is at a predetermined reduction rate.
  • the flare component calculation unit 132 calculates the flare component included in the subject image ia based on the unsaturated image reduced by the unsaturated image reduction unit 331.
  • the flare component calculation process may be the same as in the first embodiment.
  • the image to be processed is a reduced unsaturated image (hereinafter referred to as a reduced unsaturated image).
  • the flare component calculation unit 132 uses a flare PSF reduced at the same reduction rate as the reduction rate of the unsaturated image is (hereinafter, reduced flare PSF).
  • the reduced flare PSF is recorded in the flare component calculation program.
  • the flare component calculation unit 132 calculates a reduced size flare component by performing a convolution operation that convolves the reduced flare PSF and the reduced unsaturated image (hereinafter, reduced flare component).
  • the flare component enlargement unit 332 changes the spatial resolution of the reduced flare component calculated by the flare component calculation unit 132, and enlarges the reduced flare component. As the enlargement ratio, the reciprocal of the reduction ratio is used.
  • the flare component removal unit 134 removes the flare component enlarged by the flare component enlargement unit 332 from the subject image ia.
  • the hardware configuration of the imaging device 3 is the same as that of the first embodiment, and only a part of the flare correction program installed in the microprocessor unit 25 is different.
  • FIG. 13 shows a processing flow of a flare correction routine in the flare correction program.
  • an unsaturated image reduction step S51 is inserted between S42 and S43.
  • a flare component expansion step S52 is inserted between S43 and S44.
  • the unsaturated image acquisition unit 131 acquires the unsaturated image is (S41), and the subject image acquisition unit 133 acquires the subject image ia. (S42). Similar to the first embodiment, the subject image and the unsaturated image are taken at approximately the same time. The execution order of S41 and S42 may be reversed.
  • the unsaturated image reduction unit 331 changes the spatial resolution of the unsaturated image is, reduces the unsaturated image is at a predetermined reduction rate, and generates a reduced unsaturated image (S51).
  • the flare calculation unit 132 calculates the flare component included in the subject image ia based on the reduced unsaturated image (S43).
  • the processing here is basically the same as in the first embodiment. However, the image to be processed is a reduced unsaturated image. Further, as described above, this processing uses the reduced flare PSF reduced at the same reduction rate as that of the unsaturated image is. Then, the flare calculation unit 132 calculates a reduced flare component by an operation of convolving the reduced unsaturated image and the reduced flare PSF.
  • the flare component enlargement unit 332 changes the spatial resolution of the reduced flare component to enlarge the reduced flare component to the flare component (S52), and the flare component removal unit 134 removes the enlarged flare component from the subject image ia ( S44). At this time, as described with reference to FIGS. 8A to 10B, the flare component is not subtracted from the subject image ia in the saturated region of the subject image ia.
  • the processing of the flare correction routine is performed, and the subject image subjected to the flare correction can be obtained.
  • the unsaturated image is is reduced in step S51 before the flare component is calculated, the flare component is calculated using the reduced image in step S43, and the flare component is enlarged in step S52 after the flare component is calculated.
  • the image size at the time of calculating the flare component in step S43 is small, the amount of calculation for convolution calculation can be reduced.
  • the enlargement process since the enlargement process is performed, the resolution of the flare component is lowered.
  • the high frequency band of the flare component decreases. Therefore, even if the resolution of the flare component is lowered, the influence on the correction result is small, and a good flare correction image can be obtained in step S44.
  • the unsaturated image is reduced.
  • a flare component included in the subject image is calculated based on the reduced unsaturated image. Therefore, the calculation amount and calculation time can be reduced.
  • the resolution of the flare component is low.
  • the high frequency band of the flare component decreases. For this reason, even if the resolution of the flare component is lowered, the influence on the correction result is small. In this way, the calculation amount and calculation time can be reduced without significantly affecting the correction.
  • the present invention has an effect that flare generated around the light source can be appropriately removed and flare correction can be effectively performed while suppressing the occurrence of black sun in the subject image.
  • the present invention is useful as a flare correction device or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

　被写体画像に黒沈みが生じるのを抑止しつつ、光源周辺に生じるフレアを適切に除去でき、効果的にフレア補正を行うことができるフレア補正装置を提供する。フレア補正装置は、被写体を撮像することにより得られる被写体画像を取得する被写体画像取得部（１３１）と、被写体中に光源が含まれる場合であっても輝度レベルが飽和しないように、被写体を撮像することにより得られる不飽和画像を取得する不飽和画像取得部（１３３）と、不飽和画像から得られる光源の位置に基づいて、光源の位置とフレア成分の位置とが対応するように、被写体画像に含まれるフレア成分を算出するフレア成分算出部（１３２）と、フレア成分を被写体画像から除去するフレア成分除去部（１３４）とを備えている。

Description

フレア補正装置 関連する出願
　本出願では、２００７年１２月２１日に日本国に出願された特許出願番号２００７－３２９５７５の利益を主張し、当該出願の内容は引用することによりここに組み込まれているものとする。
　本発明は、例えばレンズ等の光学系に起因するフレアが生じた被写体画像を補正するフレア補正装置に関する。
　例えば夜間に走行する車両とその付近の歩行者をカメラにより撮影した場合の画像では、車両のヘッドライト周辺に光が広がって、車両付近の歩行者が見づらく、全体的に眩しく感じることがある。このような現象は、フレア（Flare）と呼ばれている。フレアは、カメラが被写体を撮像するときに極めて明るい光源がレンズに向けて当てられている場合に生じる光の像である。
　従来、フレアが生じている被写体画像を補正するためのフレア補正装置が知られている。従来の装置は、撮像素子から出力される輝度信号のヒストグラムと、光学系の特性に応じて予め測定された補正特性とに基づいて、黒レベル補正値を取得する。そして、従来装置は、撮像素子から出力される画像信号を黒レベル補正値を用いて補正する黒補正を行い、画像信号中のフレアを除去する。このような技術は、例えば、特開２００６－１６５９３７号公報に開示されている。
　フレア部分の輝度レベルを下げるために、従来のフレア補正装置は、画面全体で一律の減算成分を使用して補正を行っている。以下、従来のフレア補正装置によるフレア補正方法について、図１４Ａ～図１４Ｃを用いて説明する。
　図１４Ａは、フレアが生じた被写体画像の一例として、夜間に走行する車両とその付近の歩行者をカメラにより撮影した画像を示している。図１４Ａに示されるように、画像中で光源５１（ヘッドライト）周辺にフレア５２が広がっている。そのため、光源５１付近の歩行者４１が見づらくなっている。
　図１４Ｂは、図１４Ａの光源５１を通るＡ－Ａ線に沿った輝度の分布を表す。図１４Ｂに示されるように、被写体画像の輝度分布４２においては、フレアが生じたために光源５１周辺の輝度が上昇している。
　図１４Ｃは、フレア補正後のＡ－Ａ線に沿った輝度の分布を表している。従来のフレア補正装置では、フレア５２の輝度を下げるために、画面全体で一律の減算成分４３を用いて、フレアを除去する補正が行われる。その結果、図１４Ｃに示されるように、画像の輝度レベルが、画面全体において減算成分４３だけ減少する。これにより、画面全体のコントラストを上昇させることができ、見づらかった歩行者４１が見やすくなる。そして、画面全体が落ち着いた被写体画像を得ることができる。
　しかしながら、従来のフレア補正装置には以下のような問題があった。すなわち、フレア５２は光源５１周辺の輝度を上昇させるが、画面全体の輝度レベルを均一に上昇させはしない。それにもかかわらず、従来技術では減算成分４３が画面全体で一律に設定されている。そのため、フレア補正の減算成分４３を大きく設定した場合に、図１４Ｃに示されるように、フレア補正後の被写体画像の輝度分布４５において、光源５１周辺以外の位置で黒沈み４４ａ、４４ｂ（over-darkened　part　(image)、低輝度部分で階調がほぼ０になる部分)が生じることがある。画像は、過度の減算により影領域で黒く成りすぎる。また、光源５１周辺にはフレア成分の一部が残っており、フレア５２が完全に除去されないことがある。
　本発明は、上記背景の下でなされたものであり、その目的は、被写体画像に黒沈みが生じるのを抑止しつつ、光源周辺に生じるフレアを適切に除去でき、効果的にフレア補正を行うことができるフレア補正装置を提供することにある。
　本発明のフレア補正装置は、被写体を撮像することにより得られる被写体画像を取得する被写体画像取得部と、被写体中に光源が含まれる場合であっても輝度レベルが飽和しないように被写体を撮像することにより得られる不飽和画像を取得する不飽和画像取得部と、不飽和画像から得られる光源の位置に基づいて、光源の位置とフレア成分の位置とが対応するように、被写体画像に含まれるフレア成分を算出するフレア成分算出部と、フレア成分を被写体画像から除去するフレア成分除去部とを備えている。
　また、本発明の別の態様は撮像装置であり、この撮像装置は上記のフレア補正装置を備えた構成を有している。
　また、本発明の別の態様はフレア補正方法であり、この方法は、被写体を撮像することにより得られる被写体画像を取得し、被写体中に光源が含まれる場合であっても輝度レベルが飽和しないように被写体を撮像することにより得られる不飽和画像を取得し、不飽和画像から得られる光源の位置に基づいて、光源の位置とフレア成分の位置とが対応するように、被写体画像に含まれるフレア成分を算出し、フレア成分を被写体画像から除去する。
　また、本発明の別の態様は、コンピュータにより実行されて、画像からフレアを除去するフレア除去プログラムである。このプログラムは、被写体を撮像することにより得られる被写体画像を取得し、被写体中に光源が含まれる場合であっても輝度レベルが飽和しないように被写体を撮像することにより得られる不飽和画像を取得し、不飽和画像から得られる光源の位置に基づいて、光源の位置とフレア成分の位置とが対応するように、被写体画像に含まれるフレア成分を算出し、フレア成分を被写体画像から除去する処理をコンピュータに実行させる。
　本発明は、不飽和画像から得られる光源の位置に基づいて、光源の位置とフレア成分の位置とが対応するように、被写体画像に含まれるフレア成分を算出する。そして、本発明のは、こうして算出されたフレア成分を被写体画像から除去する。したがって、被写体画像に黒沈みが生じるのを抑止しつつ、光源周辺に生じるフレアを適切に除去でき、効果的にフレア補正を行うことができる。
　以下に説明するように、本発明には他の態様が存在する。したがって、この発明の開示は、本発明の一部の態様の提供を意図しており、ここで記述され請求される発明の範囲を制限することは意図していない。
図１は、本発明の第１の実施の形態におけるフレア補正装置付きの撮像装置を示す機能ブロック図 図２は、本発明の第１の実施の形態におけるフレア補正装置付きの撮像装置のハードウエア構成を示す図 図３は、フレア補正処理プログラムの処理フローを示す図 図４は、フレア補正処理プログラム中のフレア補正ルーチンの処理フローを示す図 図５Ａは、被写体画像の模式図 図５Ｂは、被写体画像中の光源を通る切断線に沿った輝度分布を示す図 図６Ａは、不飽和画像の模式図 図６Ｂは、不飽和画像中の光源を通る切断線に沿った輝度分布を示す図 図７は、フレア成分算出ルーチンのフローを示す図 図８Ａは、不飽和画像とフレアＰＳＦとを畳み込んだ結果を示す図 図８Ｂは、フレア成分の算出結果を示す図 図９は、フレア成分除去ルーチンのフローを示す図 図１０Ａは、フレア減算成分を示す図 図１０Ｂは、フレア補正結果を示す図 図１１Ａは、フレアが生じた被写体画像の輝度分布とフレア成分を示す図 図１１Ｂは、フレア補正後の輝度分布を示す図 図１１Ｃは、フレア補正後の被写体画像を示す図 図１２は、本発明の第２の実施の形態におけるフレア補正装置付きの撮像装置を示す機能ブロック図 図１３は、フレア補正処理プログラム中のフレア補正ルーチンの処理フローを示す図 図１４Ａは、フレアが生じた被写体画像の一例を示す図 図１４Ｂは、フレアが生じた被写体画像の輝度分布を示す図 図１４Ｃは、従来技術によるフレア補正後の被写体画像の輝度分布を示す図
符号の説明
　１、３　撮像装置
　１１　レンズ
　１２　撮像素子
　１３、３３　フレア補正装置
　１４　補正画像出力部
　２１　ＡＦＥ
　２２　駆動制御部
　２３　表示部
　２４　操作ボタン
　２５　マイクロプロセッサ部
　１３１　不飽和画像取得部
　１３２　フレア成分算出部
　１３３　被写体画像取得部
　１３４　フレア成分除去部
　２５１　画像入力Ｉ／Ｆ
　２５２　撮影感度制御Ｉ／Ｆ
　２５３　ＣＰＵ
　２５４　補正画像出力Ｉ／Ｆ
　２５５　メモリ
　２５６　操作指令読込みＩ／Ｆ
　３３１　不飽和画像縮小部
　３３２　フレア成分拡大部
　以下に本発明の詳細な説明を述べる。以下の詳細な説明と添付の図面は発明を限定するものではない。代わりに、発明の範囲は添付の請求の範囲により規定される。
　本発明のフレア補正装置は、被写体を撮像することにより得られる被写体画像を取得する被写体画像取得部と、被写体中に光源が含まれる場合であっても輝度レベルが飽和しないように被写体を撮像することにより得られる不飽和画像を取得する不飽和画像取得部と、不飽和画像から得られる光源の位置に基づいて、光源の位置とフレア成分の位置とが対応するように、被写体画像に含まれるフレア成分を算出するフレア成分算出部と、フレア成分を被写体画像から除去するフレア成分除去部とを備えている。
　この構成により、不飽和画像から得られる光源の位置に基づいて、光源の位置とフレア成分の位置とが対応するように、被写体画像に含まれるフレア成分が算出される。したがって、被写体画像に含まれるフレア成分が正確に算出される。そして、このように正確に算出されたフレア成分が被写体画像から除去される。本発明のフレア補正は、被写体画像全体に対して一律の減算成分を用いない。本発明は、フレア成分の位置に応じて、画素毎に異なるフレア補正を行うことができる。この結果、被写体画像に黒沈み（over-darkened　part　(image)、低輝度部分で階調がほぼ０になる部分)が生じるのを抑止しつつ、光源周辺に生じるフレアを適切に除去でき、効果的にフレア補正を行うことができる。
　また、フレア成分算出部は、点光源を撮像したときの輝度分布を表すボケ関数を不飽和画像に畳み込む畳込演算により、フレア成分を算出してよい。
　この構成では、ボケ関数を不飽和画像に畳み込むことにより、フレア成分を正確に算出することができる。
　また、不飽和画像を撮影するときの露光時間が、被写体画像を撮影するときの露光時間よりも短く設定されてよい。
　この構成により、不飽和画像を撮影するときの露光時間を被写体画像を撮影するときの露光時間よりも短くするので、被写体画像よりも低感度な画像が得られ、不飽和画像を好適に得ることができる。
　また、フレア補正装置は、不飽和画像取得部により取得される不飽和画像を縮小する不飽和画像縮小部を有してよく、フレア成分算出部は、不飽和画像縮小部により縮小された不飽和画像に基づいて、被写体画像に含まれるフレア成分を算出してよい。さらに、フレア補正装置は、フレア成分を拡大するフレア成分拡大部を有してよく、フレア成分除去部は、フレア成分拡大部により拡大されたフレア成分を被写体画像から除去してよい。
　この構成により、不飽和画像が縮小され、縮小された不飽和画像に基づいて、被写体画像に含まれるフレア成分が算出される。したがって、演算量および演算時間を低減することができる。また、この構成では、フレア成分の解像度は低くなる。しかし、フレアが広範囲に広がった場合、フレア成分の高周波帯域が減少する。したがって、フレア成分の解像度を低くしても補正結果への影響は小さい。このようにして、本発明は、補正へ大きな影響を及ぼすことなく、演算量と演算時間を低減できる。
（第１の実施の形態）
　以下、本発明の第１の実施の形態に係るフレア補正装置について、図面を用いて説明する。図１は、第１の実施の形態のフレア補正装置を備えた撮像装置の機能ブロックを示す。
　図１において、撮像装置１は、レンズ１１と、撮像素子１２と、フレア補正装置１３と、補正画像出力部１４とを備えている。レンズ１１は被写体の像を撮像素子１２の受光面に結像する。撮像素子１２はＣＣＤ（Charge　Coupled　Device）等により構成され、レンズ１１を介して受光面に結像される被写体の像の信号を生成する。フレア補正装置１３は、撮像素子１２により生成された被写体画像中のフレア成分を除去して、被写体画像を補正する。補正画像出力部１４は、フレア補正装置１３により補正された被写体画像を出力する。
　フレア補正装置１３は、不飽和画像取得部１３１と、フレア成分算出部１３２と、被写体画像取得部１３３と、フレア成分除去部１３４とを備えている。被写体画像取得部１３３は、撮像素子１２により撮像された被写体画像を取得する。不飽和画像取得部１３１は、被写体中に光源が含まれた場合であっても輝度レベルが飽和しないような低感度で撮像素子１２により被写体を撮像することにより得られる不飽和画像を取得する。フレア成分算出部１３２は、不飽和画像取得部１３１により取得される不飽和画像に基づいて、被写体画像に含まれるフレア成分を算出する。フレア成分除去部１３４は、フレア成分算出部１３２により算出されるフレア成分を被写体画像から除去する。
　図２は、本発明のフレア補正装置付き撮像装置のハードウエア構成を示している。図２に示されるように、撮像装置１は、レンズ１１と、撮像素子１２と、ＡＦＥ（Analog　Front　End：アナログフロントエンド）２１と、駆動制御部２２と、表示部２３と、操作ボタン２４と、マイクロプロセッサ部２５とを備えている。レンズ１１および撮像素子１２は、図１で示される構成と同様である。レンズ１１が被写体ＯＪの光学像を形成する。光学像は撮像素子１２上に結像される。
　ＡＦＥ２１は、撮像素子１２から得られた画像信号を増幅する。駆動制御部２２は、撮像素子１２およびＡＦＥ２１を制御する。表示部２３は、撮像された被写体画像を表示する。操作ボタン２４は操作指令を入力するために用いられる。マイクロプロセッサ部２５は、撮像装置１全体を制御する。マイクロプロセッサ部２５は、画像入力Ｉ／Ｆ（Inter　Face：インターフェース）２５１と、撮影感度制御Ｉ／Ｆ２５２と、ＣＰＵ（Central　Processing　Unit）２５３と、補正画像出力Ｉ／Ｆ２５４と、メモリ２５５と、操作指令読込みＩ／Ｆ２５６とを備え、これらの構成が内部バスを介して互いに接続されている。
　画像入力Ｉ／Ｆ２５１は、撮像素子１２からＡＦＥ２１を介して画像信号を読み込む。撮影感度制御Ｉ／Ｆ２５２は、駆動制御部２２に対して感度制御指令を出力する。ＣＰＵ２５３は、撮像装置１を制御するためのプログラムを実行する。補正画像出力Ｉ／Ｆ２５４は、表示部２３に被写体の画像信号を出力する。メモリ２５５は、各種処理プログラムを記憶している。メモリ２５５は、図１で説明したフレア補正装置１３の各機能を実行するためのフレア補正処理プログラムも記憶している。このプログラムがＣＰＵ２５３で実行され、これにより、撮像装置１にフレア補正装置１３の機能を組み込むことができる。すなわち、図１の各構成が、図２のマイクロプロセッサ部２５により実現され、より具体的には、メモリ２５５中のフレア補正処理プログラムをＣＰＵ２５３が実行することによって実現される。操作指令読込みＩ／Ｆ２５６は、操作ボタン２４から入力される操作指令を読み込む。
　　次に、本発明の第１の実施の形態におけるフレア補正装置付きの撮像装置１の動作について説明する。撮像装置全体の動作としては、撮像素子１２が、駆動制御部２２の制御下で、レンズ１１により結像された被写体像の電気的な画像信号を生成する。この画像信号が、ＡＦＥ２１を経てマイクロプロセッサ部２５で処理され、表示部２３に表示される。また、画像信号は図示しない記録媒体に保存される。
　次に、撮像装置１に備えられたフレア補正装置の動作について説明する。図３は、フレア補正処理プログラムの処理フローを示している。このプログラムがＣＰＵ２５３により実行されて、マイクロプロセッサ部２５がフレア補正装置として機能する。図示のように、ＣＰＵ２５３は、フレア補正ルーチンを実行し（Ｓ３１）、次に、フレア補正画像を表示部２３に出力する（Ｓ３２）。
　図４は、図３のステップＳ３１で実行されるフレア補正ルーチンを示す。ＣＰＵ２５３が、フレア補正処理プログラムを実行することにより、図１の各種構成として機能し、図４のフレア補正処理を行う。そこで、下記では、主として図１の構成を用いて図４のフレア補正を説明する。まず、図１の不飽和画像取得部１３１が不飽和画像ｉｓを取得し（Ｓ４１）、被写体画像取得部１３３が被写体画像ｉａを取得する（Ｓ４２）。
　不飽和画像ｉｓは、被写体中に光源が含まれる場合であっても輝度レベルが飽和しないように低感度で撮像された画像である。また、被写体画像ｉａは、通常の適正感度で被写体を撮像した画像である。不飽和画像ｉｓは適正感度より低い感度で撮像されているので、不飽和画像ｉｓを低感度画像といい、被写体画像ｉａを適正感度画像ということもできる。また、被写体画像ｉａは、通常画像ということもできる。
　不飽和画像ｉｓと被写体画像ｉａは、露光時間の制御により取得することができる。ＣＰＵ２５３が不飽和画像取得部１３１及び被写体画像取得部１３３として機能し、駆動制御部２２を制御する。そして、ＣＰＵ２５３（不飽和画像取得部１３１及び被写体画像取得部１３３）が、メカニカルシャッター又は電子シャッターを制御して、短露光時間及び適正露光時間で撮影を撮像装置１に行わせる。これにより、撮像素子１２で短露光時間の画像信号及び適正露光時間の画像信号が得られる。これら画像信号がＡＦＥ２１及び画像入力Ｉ／Ｆ２５１を介してデジタルデータの形式で読み込まれ、不飽和画像ｉｓ及び被写体画像として取得される。上記の不飽和画像ｉａを取得するためのシャッター値は、画像中の光源が飽和しないような値に設定されている。このシャッター値は、予め設定されていてよく、メモリ２５５に記憶されていてよい。
　あるいは、不飽和画像ｉｓと被写体画像ｉａを取得するために、ＡＦＥ２１のゲインが制御されてもよい。ＡＦＥ２１は、撮像素子１２で得られる画像信号を増幅する。ＣＰＵ２５３が不飽和画像取得部１３１及び被写体画像取得部１３３として機能し、駆動制御部２２を制御し、ＡＦＥ２１のゲインを変更する。これにより、２つの画像信号が異なるゲインで処理されて、不飽和画像ｉｓと被写体画像ｉａが取得される。不飽和画像ｉａを取得するためのゲイン値は、画像中の光源が飽和しないような値に設定されている。このゲイン値は、予め設定されていてよく、メモリ２５５に記憶されていてよい。
　不飽和画像ｉｓと被写体画像ｉａはほぼ同時刻に続けて撮影される。不飽和画像ｉｓと被写体画像ｉａの取得順序は逆でもよく、すなわちステップＳ４１とステップＳ４２が入れ替えられてもよい。
　図５Ａ及び図５Ｂは被写体画像ｉａを表している。図５Ａは被写体画像ｉｓの模式図であり、図５Ｂは図５Ａ中の光源５１を通るＡ－Ａ線上の輝度分布を示す。図６Ａ及び図６Ｂは不飽和画像ｉａを表している。図６Ａは不飽和画像ｉａの模式図であり、図６Ｂは図６Ａ中の光源５１を通るＢ－Ｂ線上の輝度分布を示す。
　図５Ａに示されるように、被写体画像ｉａでは、光源５１の周辺にフレア５２が発生している。また、図５Ｂに実線で示されるように、光源５１の中心部では、輝度が飽和値に達し、輝度レベルが飽和している。光源５１の周辺では、光源５１の中心から遠ざかるにつれて徐々に減少するように輝度が分布している。この結果、被写体画像ｉａの光源５１の周辺に明るい部分が広がり、光源５１がボケた状態となっている。図５Ｂの点線は、実際の光源５１の輝度と位置を示している。
　図６Ａに示されるように、不飽和画像ｉｓでは、光源５１の周辺にフレアは生じていない。また、感度が低いため、光源５１以外の被写体は写っていない。また、図６Ｂに示されるように、光源５１の輝度レベルは飽和しておらず、光源５１の位置に対応して輝度が分布している。
　次に、図４に戻り、フレア成分算出部１３２が、被写体画像ｉａに含まれるフレア成分を算出する（Ｓ４３）。フレア成分は、フレア５２の輝度分布をいう。フレア成分算出部１３２は、不飽和画像ｉｓの光源５１の位置に基づいて、光源５１の位置とフレア成分の位置とが対応するようにフレア成分を算出する。
　被写体画像ｉａに生じるフレア５２は、図５Ｂに示されるように、光源５１がボケた部分である。そこで、本実施の形態は、ボケの輝度分布を表すボケ関数（ＰＳＦ：point　spread　function）を使用してフレア成分を算出する。特に、本実施の形態は、フレアによるボケの特徴を表したフレアＰＳＦを用いている。フレアＰＳＦは、点光源を撮影したときの輝度分布である。フレアは撮像装置１内の光学系に起因して生じる現象であるので、フレアＰＳＦは撮像装置１に固有の特徴を有する。この固有のフレアＰＳＦは、撮像装置１の設計時に光学系のシミュレーションにより算出されてよい。また、撮像装置試作時に点光源を撮影することにより、フレアＰＳＦが取得されてよい。こうして得られるフレアＰＳＦが、フレア成分算出のプログラム中に記録されており、フレア補正に使用される。
　図７は、図４のＳ４３で実行されるフレア成分算出ルーチンの処理フローである。図８Ａ及び図８Ｂは、フレア成分算出処理を説明するための図である。図８Ａは不飽和画像とフレアＰＳＦとを畳み込んだ結果を示し、図８Ｂはフレア成分の算出結果を示す。図８Ａおよび図８Ｂは、図６ＢのＢ－Ｂ線に対応した輝度分布を示す。
　図７に示されるように、フレア成分算出部１３２は、不飽和画像ｉｓとフレアＰＳＦとを畳み込む畳込演算を行う（Ｓ７１）。図８Ａは畳み込み結果を示している。図８Ａでは、不飽和画像ｉｓと、フレアＰＳＦが、点線で示されている。不飽和画像ｉｓには、光源５１のみが写っている。したがって、不飽和画像ｉｓとフレアＰＳＦの畳込みは、画像内の光源５１の位置にフレアＰＳＦを貼り付ける処理に相当する。フレアＰＳＦが点光源の周囲の輝度分布であり、光源５１が点光源の集合である。したがって、畳込演算は、光源５１の全範囲に渡ってフレアＰＳＦを繰り返し貼り付ける。その結果、全体として図８Ａの曲線形状が得られる。
　図８Ａの畳込み結果の曲線は、フレア成分の形状を表している。ただし、不飽和画像ｉｓと被写体画像ｉａでは感度が異なる。そのため、図８Ａの畳込み結果は実際のフレア成分より小さい。そこで、次に、フレア成分算出部１３２が、感度比（通常感度／低感度）を算出する（Ｓ７２）。感度比（通常感度／低感度）は、被写体画像ｉａを撮影したときの通常感度と、不飽和画像ｉｓを撮像したときの低感度との比である。そして、フレア成分算出部１３２は、当該感度比をＳ７１で得られ畳込み結果に乗算することにより、通常感度に対応したフレア成分を算出する（Ｓ７３）。この結果、図８Ｂに示されるように、不飽和画像の光源５１の位置に対応した凸状の曲線で表されるフレア成分８１を得ることができる。
　上記のように、フレア成分算出は、不飽和画像ｉｓを使用する。不飽和画像ｉｓは、光源５１のみが写っている画像である。これは、不飽和画像ｉｓから光源５１の位置が得られることを意味している。このことを利用し、不飽和画像ｉｓから得られる光源５１の位置に基づいて、光源５１の位置とフレア成分の位置が対応するように、フレア成分が算出されている。具体的には、不飽和画像ｉｓとフレア成分の関数を畳み込むことにより、フレア成分の関数が画像内の光源位置（すなわち光源範囲全体）に貼り付けられている。
　次に、図４に戻り、フレア成分除去部１３４が、被写体画像ｉａからフレア成分を除去する（Ｓ４４）。ここで、図８Ｂにおいて、実線はフレア成分であり、点線は被写体画像ｉａの輝度分布８２を示している。図８Ｂに示されるように、フレア成分８１は光源５１の位置で輝度が飽和値を超えているのに対し、被写体画像ｉａの輝度レベルは光源５１の位置で飽和している。このため、フレア成分８１を被写体画像ｉａからそのまま減算したとすると、被写体画像ｉａの輝度飽和領域で黒沈みが生じてしまう。そこで、本実施の形態は、被写体画像ｉａ中で輝度レベルが飽和している飽和領域を検出する。そして、本実施の形態は、飽和領域では被写体画像ｉａからのフレア成分８１の減算を行わない。
　図９は、図４のＳ４４のフレア成分除去ルーチンの処理フローである。図１０Ａ及び図１０Ｂは、フレア成分除去の処理を説明するための図である。図１０Ａはフレア減算成分を示し、図１０Ｂはフレア補正結果を示す。図９に示されるように、まず、フレア成分除去部１３４が被写体画像ｉａの飽和領域を検出する（Ｓ９１）。検出の結果、対象部分が飽和領域である場合（Ｓ９２、ＹＥＳ）、被写体画像ｉａからフレア成分８１が減算されない。一方、対象部分が飽和領域でない場合（Ｓ９２、ＮＯ）、フレア成分除去部１３４が、被写体画像ｉａからのフレア成分８１の減算を行う（Ｓ９３）。このような処理が画像全体に対して行われ、その結果、フレア成分除去ルーチン（Ｓ４４）は、図１０Ａのフレア減算成分を減算できる。この減算成分は、被写体画像ｉａの輝度飽和領域に対応する成分部分が除去されたフレア成分である。このような減算処理の結果、図１０Ｂに示されるように、光源５１周辺に広がるフレア成分を除去することができる。図１０Ｂにおいて、点線はフレア減算成分を示している。
　以上により、図３のステップＳ３１のフレア補正ルーチンの処理が終了し、フレア補正が施された被写体画像ｉａが得られる。フレア補正が施された被写体画像ｉａをフレア補正画像を呼ぶ。次に、ＣＰＵ２５３がフレア補正プログラムの実行により、フレア補正画像を表示部２３に出力して（Ｓ３２）、フレア補正処理プログラムの処理を終了する。フレア補正画像は、補正画像出力Ｉ／Ｆ２５４を介して表示部２３に出力される。図１では、補正画像出力部１４が、フレア成分除去部１３４で処理されたフレア補正画像を出力する。
　次に、図１１Ａ～図１１Ｃを参照し、図１４Ａと同じシーンを対象としたフレア補正処理の過程について説明する。図１１Ａ～図１１Ｃは、夜間に走行する車両とその付近の歩行者を撮像した被写体画像のフレア補正処理の過程を説明するための図である。図１１Ａは、図１４Ａと同じシーンを撮影したときの被写体画像の輝度分布４２を示す。輝度分布４２は、フレア成分８２とを重ね合わされている。ここで、被写体画像の輝度成分４２は、上述の図４のＳ４１の処理により取得され、フレア成分８２は図４のＳ４３の処理により取得される。
　図１１Ｂは、被写体画像の輝度成分４２からフレア成分８１を減算した結果を示している（図９を用いて説明したように、被写体画像の飽和領域では、被写体画像からのフレア成分の減算は行われていない）。補正前はフレア５２により光源５１周辺の輝度が上昇しているが、図１１Ｂに示されるように、光源５１周辺の輝度が減少し、フレアが補正される。図１１Ｃはフレア補正後の被写体画像を示す。図１１Ｃに示されるように、フレア補正後の被写体画像では、光源５１周辺のフレア５２が除去されており、歩行者４１がはっきりと写っている。
　本実施の形態では、不飽和画像ｉｓが用いられており、フレア成分が、実際のフレアの位置にのみ求められている。これにより、フレアが生じてる部分でのみ、フレア成分が減算される。フレアが生じていない部分では、輝度が減算されず、フレア補正が施されない。その結果、図１１Ｂに示されるように、画面全体に輝度が残っている。したがって、フレア以外の部分の黒沈みを回避できる。この点に関し、図１１Ｂと従来技術の図１４Ｃを比較する。図１４Ｃでは、画面全体から一律に減算成分が減算された結果、フレア以外の部分で黒沈みが生じている。図１１Ｂでは、画面全体に輝度成分が残り、黒沈みが回避されている。
　さらに、図１１Ｂと図１４Ｃを比較すると、フレア部分の補正効果についても本発明の方が有利である。フレア成分の大きさは光源からの距離によって異なるにも拘わらず、図１４Ｃでは画面全体から一律に減算成分が除去されている。そのため、フレア補正後の画像において、光源周囲の輝度分布が斜めである。つまり、フレアが完全に除去されず、フレアの一部が残っている。一方、本実施の形態では、上述した処理により、フレアＰＳＦに基づいて、光源に近づくほどフレア成分が大きくなるように、正確にフレア成分が算出されている。これにより、フレア成分をより正確に除去することができている。
　このような本発明の第１の実施の形態のフレア補正装置によれば、不飽和画像から得られる光源の位置に基づいて、光源の位置とフレア成分の位置とが対応するように、被写体画像に含まれるフレア成分が算出される。したがって、被写体画像に含まれるフレア成分を正確に算出できる。そして、このように正確に算出されたフレア成分が被写体画像から除去される。本発明のフレア補正は、被写体画像全体に対して一律の減算成分を用いていない。本発明は、フレア成分の位置に応じて、画素毎に異なるフレア補正を行うことができる。この結果、被被写体画像に黒沈みが生じるのを抑止しつつ、光源周辺に生じるフレアを適切に除去でき、効果的にフレア補正を行うことができる。
　また、本実施の形態のフレア補正装置によれば、点光源を撮像したときの輝度分布を表すボケ関数を不飽和画像に畳み込む畳込演算により、フレア成分を正確に算出することができる。
　また、本実施の形態のフレア補正装置によれば、不飽和画像を得るときの露光時間が、被写体画像を得るときの露光時間よりも短く設定される。したがって、被写体画像よりも低感度な画像が得られ、不飽和画像を好適に得ることができる。
（第２の実施の形態）
　以下、本発明の第２の実施の形態に係るフレア補正装置について、図面を用いて説明する。上記の第１の実施の形態では、フレア成分算出部１３２が、不飽和画像ｉｓとフレアＰＳＦとの畳込演算を行っている。フレアＰＳＦが広範囲に広がっている場合、畳込演算の演算量が大きくなって処理時間が増加し、あるいは、より高性能なＣＰＵが必要になる。第２の実施の形態は、以下に説明するように、畳込みに使われる画像を縮小し、これにより演算量を低減する。
　図１２は、本発明の第２の実施の形態のフレア補正装置を備えた撮像装置を示す機能ブロック図である。この撮像装置をハードウエア面から見た構成は、図２と同様である。以下では、図１と同一の構成要素については、同一符号を付して、詳細な説明を省略する。
　図１２に示されるように、撮像装置３は、図１のフレア補正装置１３に代えて、フレア補正装置３３を備えている。フレア補正装置３３は、不飽和画像取得部１３１と、フレア成分算出部１３２と、被写体画像取得部１３３と、フレア成分除去部１３４と、不飽和画像縮小部３３１と、フレア成分拡大部３３２とを備えている。本実施形態のフレア補正装置３３は、不飽和画像縮小部３３１とフレア成分拡大部３３２とを備えている点で、第１の実施の形態のフレア補正装置１３と相違する。
　不飽和画像縮小部３３１は、不飽和画像取得部１３１により取得される不飽和画像ｉｓの空間解像度を変更し、不飽和画像isを所定の縮小率で縮小する。フレア成分算出部１３２は、不飽和画像縮小部３３１により縮小された不飽和画像に基づいて、被写体画像ｉａに含まれるフレア成分を算出する。フレア成分の算出処理は、第１の実施の形態と同様でよい。ただし、処理される画像が、縮小された不飽和画像（以下、縮小不飽和画像）。また、フレア成分算出部１３２は、不飽和画像ｉｓの縮小率と同一の縮小率で縮小されたフレアＰＳＦを用いる（以下、縮小フレアＰＳＦ）。この縮小フレアＰＳＦは、フレア成分算出のプログラム中に記録されている。フレア成分算出部１３２は、縮小フレアＰＳＦと縮小不飽和画像とを畳込む畳込演算を行うことにより、縮小サイズのフレア成分を算出する（以下、縮小フレア成分）。フレア成分拡大部３３２は、フレア成分算出部１３２により算出される縮小フレア成分の空間解像度を変更して、縮小フレア成分を拡大する。拡大率としては、上記縮小率の逆数が用いられる。フレア成分除去部１３４は、フレア成分拡大部３３２により拡大されたフレア成分を被写体画像ｉａから除去する。
　上述した通り、撮像装置３のハードウエア構成は第１の実施の形態と同一であり、マイクロプロセッサ部２５にてインストールされるフレア補正プログラムの一部だけが相違する。
　次に、第２の実施の形態におけるフレア補正装置付きの撮像装置の動作について、図に基づいて説明する。図１３は、フレア補正プログラム中のフレア補正ルーチンの処理フローを示す。図４に示した第１の実施の形態における補正ルーチンとの相違点として、本実施の形態のフレア補正ルーチンの処理フローでは、Ｓ４２およびＳ４３の間に不飽和画像縮小のステップＳ５１が挿入される。また、Ｓ４３およびＳ４４の間にフレア成分拡大ステップＳ５２が挿入されている。
　図１３に示されるように、ＣＰＵ２５３がフレア補正プログラムの処理を実行すると、まず、不飽和画像取得部１３１が不飽和画像ｉｓを取得し（Ｓ４１）、被写体画像取得部１３３が被写体画像ｉａを取得する（Ｓ４２）。第１の実施の形態と同様に、被写体画像および不飽和画像は略同時刻に撮影される。Ｓ４１およびＳ４２の実行順は逆でもよい。
　次に、不飽和画像縮小部３３１が、不飽和画像ｉｓの空間解像度を変更して、不飽和画像ｉｓを所定の縮小率で縮小して、縮小不飽和画像を生成する（Ｓ５１）。フレア算出部１３２は、縮小不飽和画像に基づいて、被写体画像ｉａに含まれるフレア成分を算出する（Ｓ４３）。ここでの処理は、基本的に第１の実施の形態と同様である。ただし、処理される画像が縮小不飽和画像である。また、この処理は、上述の通り、不飽和画像ｉｓの縮小率と同一の縮小率で縮小された縮小フレアＰＳＦを用いる。そして、フレア算出部１３２が縮小不飽和画像と縮小フレアＰＳＦを畳み込む演算により、縮小フレア成分を算出する。フレア成分拡大部３３２が縮小フレア成分の空間解像度を変更して、縮小フレア成分をフレア成分へ拡大し（Ｓ５２）、フレア成分除去部１３４が、拡大されたフレア成分を被写体画像ｉａから除去する（Ｓ４４）。このとき、図８Ａ～図１０Ｂを用いて説明したように、被写体画像ｉａの飽和領域では、被写体画像ｉａからのフレア成分の減算は行われない。
　以上により、フレア補正ルーチンの処理が行われ、フレア補正が施された被写体画像を得ることができる。上記の処理では、フレア成分算出前にステップＳ５１で不飽和画像ｉｓが縮小され、ステップＳ４３で縮小画像を用いてフレア成分が算出され、フレア成分算出後にステップＳ５２でフレア成分が拡大されている。この構成により、ステップＳ４３のフレア成分算出時の画像サイズが小さいので、畳込み計算の演算量を小さくできる。その反面、拡大処理を行っているので、フレア成分の解像度は低くなる。しかし、フレア成分が広い範囲に広がった場合、フレア成分の高周波帯域は減少する。したがって、フレア成分の解像度が低くなっても、補正結果への影響は小さく、ステップＳ４４では良好なフレア補正画像が得られる。
　このような本発明の第２の実施の形態のフレア補正装置によれば、不飽和画像が縮小される。そして、縮小された不飽和画像に基づいて、被写体画像に含まれるフレア成分が算出される。したがって、演算量および演算時間を低減することができる。また、この構成では、フレア成分の解像度は低くなる。しかし、フレアが広範囲に広がった場合、フレア成分の高周波帯域は減少する。そのため、フレア成分の解像度を低くしても補正結果への影響は小さい。このようにして、補正へ大きな影響を及ぼすことなく、演算量と演算時間を低減できる。
　以上に現時点で考えられる本発明の好適な実施の形態を説明したが、本実施の形態に対して多様な変形が可能なことが理解され、そして、本発明の真実の精神と範囲内にあるそのようなすべての変形を添付の請求の範囲が含むことが意図されている。
　以上のように、本発明は、被写体画像に黒沈みが生じるのを抑止しつつ、光源周辺に生じるフレアを適切に除去でき、効果的にフレア補正を行うことができるという効果を有する。本発明は、フレア補正装置等として有用である。

Claims (7)

  1. 　被写体を撮像することにより得られる被写体画像を取得する被写体画像取得部と、
    　前記被写体中に光源が含まれる場合であっても輝度レベルが飽和しないように前記被写体を撮像することにより得られる不飽和画像を取得する不飽和画像取得部と、
    　前記不飽和画像から得られる前記光源の位置に基づいて、前記光源の位置とフレア成分の位置とが対応するように、前記被写体画像に含まれるフレア成分を算出するフレア成分算出部と、
    　前記フレア成分を前記被写体画像から除去するフレア成分除去部とを備えたことを特徴とするフレア補正装置。
  2. 　前記フレア成分算出部は、点光源を撮像したときの輝度分布を表すボケ関数を前記不飽和画像に畳み込む畳込演算により、前記フレア成分を算出することを特徴とする請求項１に記載のフレア補正装置。
  3. 　前記不飽和画像を撮影するときの露光時間が、前記被写体画像を撮影するときの露光時間よりも短く設定されていることを特徴とする請求項１に記載のフレア補正装置。
  4. 　前記不飽和画像取得部により取得される前記不飽和画像を縮小する不飽和画像縮小部を有し、前記フレア成分算出部は、前記不飽和画像縮小部により縮小された前記不飽和画像に基づいて、前記被写体画像に含まれるフレア成分を算出し、
    　さらに、前記フレア成分を拡大するフレア成分拡大部を有し、前記フレア成分除去部は、前記フレア成分拡大部により拡大された前記フレア成分を前記被写体画像から除去することを特徴とする請求項１に記載のフレア補正装置。
  5. 　請求項１に記載のフレア補正装置を備えたことを特徴とする撮像装置。
  6. 　被写体を撮像することにより得られる被写体画像を取得し、
    　前記被写体中に光源が含まれる場合であっても輝度レベルが飽和しないように前記被写体を撮像することにより得られる不飽和画像を取得し、
    　前記不飽和画像から得られる前記光源の位置に基づいて、前記光源の位置とフレア成分の位置とが対応するように、前記被写体画像に含まれるフレア成分を算出し、
    　前記フレア成分を前記被写体画像から除去することを特徴とするフレア補正方法。
  7. 　コンピュータにより実行されて、画像からフレアを除去するフレア除去プログラムであって、
    　被写体を撮像することにより得られる被写体画像を取得し、
    　前記被写体中に光源が含まれる場合であっても輝度レベルが飽和しないように前記被写体を撮像することにより得られる不飽和画像を取得し、
    　前記不飽和画像から得られる前記光源の位置に基づいて、前記光源の位置とフレア成分の位置とが対応するように、前記被写体画像に含まれるフレア成分を算出し、
    　前記フレア成分を前記被写体画像から除去する処理を前記コンピュータに実行させることを特徴とするフレア補正プログラム。
PCT/JP2008/003743 2007-12-21 2008-12-12 フレア補正装置 WO2009081533A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007329575A JP2009152921A (ja) 2007-12-21 2007-12-21 フレア補正装置
JP2007-329575 2007-12-21

Publications (1)

Publication Number Publication Date
WO2009081533A1 true WO2009081533A1 (ja) 2009-07-02

Family

ID=40800851

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/003743 WO2009081533A1 (ja) 2007-12-21 2008-12-12 フレア補正装置

Country Status (2)

Country Link
JP (1) JP2009152921A (ja)
WO (1) WO2009081533A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013537318A (ja) * 2010-09-14 2013-09-30 エーエスエムエル ネザーランズ ビー．ブイ． リソグラフィシステム内のフレア効果の補正
JP2016163171A (ja) * 2015-03-02 2016-09-05 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
WO2022059139A1 (ja) * 2020-09-17 2022-03-24 三菱電機株式会社 画像表示装置および画像表示方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4995359B1 (ja) * 2011-03-23 2012-08-08 パナソニック株式会社 画像処理装置、撮像装置及び画像処理方法
WO2012127552A1 (ja) * 2011-03-23 2012-09-27 パナソニック株式会社 画像処理装置、撮像装置及び画像処理方法
JP2019135468A (ja) 2018-02-05 2019-08-15 株式会社タムロン 擾乱光判別装置、擾乱光分離装置、擾乱光判別方法及び擾乱光分離方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11122539A (ja) * 1997-10-17 1999-04-30 Olympus Optical Co Ltd 撮像装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11122539A (ja) * 1997-10-17 1999-04-30 Olympus Optical Co Ltd 撮像装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013537318A (ja) * 2010-09-14 2013-09-30 エーエスエムエル ネザーランズ ビー．ブイ． リソグラフィシステム内のフレア効果の補正
JP2016163171A (ja) * 2015-03-02 2016-09-05 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
WO2022059139A1 (ja) * 2020-09-17 2022-03-24 三菱電機株式会社 画像表示装置および画像表示方法
JP7355252B2 (ja) 2020-09-17 2023-10-03 三菱電機株式会社 画像表示装置および画像表示方法

Also Published As

Publication number Publication date
JP2009152921A (ja) 2009-07-09

Similar Documents

Publication Publication Date Title
JP5047048B2 (ja) 画像処理装置、撮像装置、制御方法、プログラム、及び記憶媒体
JP5132401B2 (ja) 画像処理装置及び画像処理方法
EP1931130B1 (en) Image processing apparatus, image processing method, and program
EP3113476B1 (en) Image processing apparatus, image capturing apparatus, image processing method, image capturing method, and program
JP5787648B2 (ja) 画像処理装置及び画像処理装置の制御方法
JP5020615B2 (ja) 画像処理装置及び撮像装置及び画像処理方法及びプログラム
WO2009081533A1 (ja) フレア補正装置
JP4963598B2 (ja) 画像処理装置及び撮像装置及び画像処理方法及びプログラム
JP2010073009A (ja) 画像処理装置
JP5257108B2 (ja) プロジェクタ、プロジェクションシステム、画像表示方法、及び画像表示プログラム
JP2011135563A (ja) 撮像装置および画像処理方法
JP5541205B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
JP5861924B2 (ja) 撮像装置
JP5177284B2 (ja) 被写体動き検出装置および方法
JP6873679B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP2009284009A (ja) 画像処理装置、撮像装置及び画像処理方法
JP2017038165A (ja) 画像処理装置、撮像装置、及び画像処理方法
JP2013106151A (ja) 画像処理装置及び画像処理方法
JP2009049575A (ja) 画像処理装置及び画像処理方法及びプログラム
JP5274697B2 (ja) 画像処理装置及び画像処理方法
JP5115297B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
KR101360411B1 (ko) 레티넥스 기법을 이용한 영상처리방법
JP2010068465A (ja) 画像処理装置、撮像装置及び画像処理方法
JP6090565B2 (ja) 撮像装置、撮像方法及びプログラム
JP2007281545A (ja) 撮像装置，及び撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08863441

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 08863441

Country of ref document: EP

Kind code of ref document: A1