WO2013054403A1 - 撮像装置及び撮像装置の制御方法 - Google Patents

撮像装置及び撮像装置の制御方法 Download PDF

Info

Publication number
WO2013054403A1
WO2013054403A1 PCT/JP2011/073387 JP2011073387W WO2013054403A1 WO 2013054403 A1 WO2013054403 A1 WO 2013054403A1 JP 2011073387 W JP2011073387 W JP 2011073387W WO 2013054403 A1 WO2013054403 A1 WO 2013054403A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
image
dark
exposure
imaging
Prior art date
Application number
PCT/JP2011/073387
Other languages
English (en)
French (fr)
Inventor
峰雄 内田
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to PCT/JP2011/073387 priority Critical patent/WO2013054403A1/ja
Priority to JP2013538361A priority patent/JP5889324B2/ja
Priority to US13/646,970 priority patent/US8976274B2/en
Priority to TW101137288A priority patent/TW201316762A/zh
Publication of WO2013054403A1 publication Critical patent/WO2013054403A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response

Definitions

  • the present invention relates to an imaging apparatus capable of multiple exposure photography and a method for controlling the imaging apparatus.
  • Patent Document 1 discloses a method of correcting fixed pattern noise of an image using one-dimensional data stored in advance depending on photographing conditions.
  • Patent Document 1 a method for correcting fixed pattern noise inherent in multi-exposure shooting in which a plurality of images are shot with an imaging device using an imaging element as described above and added to generate a composite image, and the like. No mention is made.
  • an object of the present invention is to provide an imaging apparatus that can reduce noise in multiple exposure shooting and obtain a high-quality multiple exposure image.
  • the present invention provides an imaging unit that captures a subject image and outputs image data, an image processing unit that performs image processing on image data output from the imaging unit, and a plurality of image data
  • An image pickup apparatus comprising: a combining unit configured to add the plurality of pieces of exposure image data to obtain a plurality of exposure image data by exposing the image pickup device of the image pickup unit to image; Means performs image processing on the plurality of exposure image data, and the combining unit combines the plurality of exposure image data output from the image processing unit to generate combined exposure image data;
  • the imaging means obtains a plurality of dark image data by capturing an image while shielding the imaging element,
  • the image processing unit performs image processing equivalent to image processing performed on each of the plurality of exposure image data on the plurality of dark image data,
  • the synthesizing unit generates synthesized dark image data by synthesizing the plurality of dark image data output from the image processing unit, and a correcting unit corrects the synthesized exposure image data based on the
  • an image capturing unit that captures a subject image and outputs image data
  • an image processing unit that performs image processing on the image data output from the image capturing unit, and a plurality of pieces of image data are combined.
  • an imaging apparatus capable of reducing fixed pattern noise (vertical stripes, horizontal stripes, scratches, dark shading, etc.) in multiple exposure shooting and obtaining a high-quality multiple exposure image.
  • Flowchart of multiple exposure shooting operation in the embodiment of the present invention 1 is an overall configuration diagram of an imaging apparatus according to an embodiment of the present invention.
  • Block diagram of the DSP in the first embodiment Flowchart of photographing operation in the embodiment of the present invention
  • Flowchart of dark photographing operation in the embodiment of the present invention Flow chart of image processing in the first embodiment
  • Block diagram of a DSP in the second embodiment Flow chart of image processing in the second embodiment
  • Flow chart of image processing in the second embodiment Flow chart of image processing in the second embodiment
  • Flow diagram of image processing in the third embodiment Flow diagram of image processing in the third embodiment
  • Flow chart of image processing in the fourth embodiment Flow chart of image processing in the fourth embodiment
  • the present embodiment is characterized in that a process for reducing noise caused by the multiple exposure shooting is performed in the multiple exposure shooting.
  • correction errors of fixed pattern noise vertical stripes, horizontal stripes, scratches, dark shading, etc.
  • the errors appear in the image as dark shading and vertical stripes in the horizontal component.
  • a dark image is obtained by shooting while shielding light separately from each exposure image obtained in the main exposure of the multiple exposure shooting, and the dark image is subjected to image processing equivalent to each exposure image.
  • Create a composite dark image by synthesizing things. By subtracting the composite dark image data from the composite exposure image data obtained by combining the exposure images, multiple exposure image data with reduced noise is acquired.
  • FIG. 2 is a diagram showing an overall configuration of the imaging apparatus 100 according to the embodiment of the present invention.
  • the subject image in which light from the subject is imaged by the imaging lens 101 is captured and photoelectrically converted by the imaging element 102.
  • the image sensor 102 uses a Bayer array CMOS image sensor.
  • the image sensor 102 is not limited to a CMOS sensor of another array, a CCD image sensor, or the like.
  • the diaphragm 103 and the mechanical shutter 104 are provided between the imaging lens 101 and the imaging element 102 on the imaging optical path, and adjust the amount of light guided to the imaging element 2.
  • the analog image signal output from the image sensor 102 is converted into a digital signal by an AFE (Analog Front End) 105.
  • a DSP (Digital Signal Processor) 106 performs various image processing on the digital image signal output from the AFE 105.
  • the recording medium 107 records image data.
  • the display unit 108 displays captured images and various menu screens, and a liquid crystal display (LCD) or the like is used.
  • LCD liquid crystal display
  • the RAM 109 is connected to the DSP 106 and temporarily stores image data and the like.
  • a TG (Timing Generator) 110 supplies a drive signal to the image sensor 102.
  • the shutter driving unit 111 drives the mechanical shutter 104.
  • the aperture driving unit 112 drives the aperture 103.
  • the CPU 113 controls the AFE 105, the DSP 106, the TG 110, the shutter driving unit 111, the aperture driving unit 112, and other units.
  • the shutter switch (SW) 114 transmits a photographing instruction to the CPU 113 by a photographer's operation.
  • FIG. 3 is a diagram showing an internal block configuration of the DSP 106.
  • the dark shading correction unit 201 corrects horizontal dark shading by subtracting a correction value, which is one-dimensional data in the horizontal direction, from the image.
  • the optical shading correction unit 202 corrects optical shading by performing gain correction according to the position (coordinates) in the horizontal direction or vertical direction on the image.
  • a WB (white balance) processing unit 203 performs white balance processing by multiplying each of R, G1, G2, and B pixels in the Bayer array by a gain.
  • the subtraction processing unit 204 performs processing for subtracting the dark image from the exposure image, as will be described later.
  • the image composition unit 205 performs image composition calculation in multiple exposure shooting. In the present embodiment, it is assumed that a multiple exposure photographed image is generated by adding and synthesizing a set number of images.
  • the memory control unit 206 performs control for reading and writing image data and correction values used in each correction block to and from the RAM 109.
  • the development processing unit 207 performs development processing such as color matrix processing and gamma processing on the image data.
  • the recording unit 208 performs a process of writing the image data after the development process to the recording medium 107.
  • the gain processing unit 209 can apply an arbitrary gain to the image data.
  • FIG. 1 is a flowchart showing a series of camera operations in multiple exposure shooting.
  • various shooting conditions such as WB, AE, ISO sensitivity, and the like including multiple shots in multiple exposure shooting are set by a photographer's operation.
  • the multiplexed number may be automatically set according to the scene discrimination or mode.
  • the number of multiplexed sheets set here is N.
  • the value of the variable i for managing the number of shots for multiple exposure shooting is cleared and set to “1”.
  • step S303 the process waits for the shutter switch 114 (SW) to be turned on by the photographing instruction operation of the photographer. When the shutter switch 114 (SW) is turned on, a photographing operation is performed in step S304, and one image is photographed.
  • step S305 it is determined whether the shooting operation is the last (Nth) shooting of the multiple exposure shooting. If the variable i is less than N, since the shooting has not reached the Nth image, the value of the variable i is counted up in step S306, and then the process returns to step S303 to wait for the next shooting instruction (steps S304 to S306). : First imaging step). If it is the N-th shooting in step S305, the process proceeds to step S307, and an image combining process for adding the N images shot by the image combining unit 205 is performed (first combining step).
  • step S308 the variable i is cleared again to “1” in preparation for dark photography.
  • dark imaging is performed in step S309.
  • the prescribed number of dark imaging is N, which is the same as that of the exposure image.
  • step S310 the value of the variable i is determined. If it is less than N, the variable i is counted up in step S311, the process returns to step S309, and the process is repeated until N dark images are captured.
  • Step S309 to 311 Second imaging step
  • the image data after the subtraction processing is subjected to development processing such as color matrix processing and gamma processing in the development processing unit 207 in step S314, and then stored in the recording medium 107 by the recording unit 208 in step S315. Ends.
  • step S304 details of the photographing operation in step S304 will be described using the flowchart shown in FIG.
  • step S401 aperture driving is performed in step S401.
  • the CPU 113 drives the aperture 103 via the aperture drive circuit 112.
  • step S402 the charge of the image sensor 102 is cleared. This operation is performed by the TG 110 driving the image sensor 102 according to an instruction from the CPU 113.
  • the image sensor 102 enters a charge accumulation state (step S403).
  • step S404 the CPU 113 opens the mechanical shutter 104 via the shutter drive circuit 111 and starts exposure of the image sensor 102. After waiting for a predetermined time to elapse in step S405, the CPU 113 closes the mechanical shutter 104 via the shutter drive circuit 111 and ends the exposure of the image sensor 102.
  • step S408 dark shading correction is performed by the dark shading correction unit 201 on the read image signal. It is assumed that horizontal shading is corrected by subtracting horizontal one-dimensional data obtained by projecting a dark image in advance.
  • step S409 the optical shading correction unit 202 performs gain correction corresponding to the coordinate position on the signal of each pixel, and optical shading is corrected.
  • the correction parameter uses a value corresponding to the shooting condition at the time of shooting the correction target image.
  • the photographing conditions here refer to lens zoom position / photographing lens type / aperture / shutter speed / ISO sensitivity / temperature and the like.
  • step S410 WB processing is performed on the image data after optical shading correction by multiplying the gain for each of R, G1, G2, and B pixels in the Bayer array.
  • a value calculated from the image data of the target image or a preset value is used (steps S409 to S410: first image processing step).
  • step S411 The image data after the WB process is stored in the RAM 109 via the memory control unit 206 in step S411. Furthermore, in step S412, the above-described shooting conditions and WB data (gain amount) are also stored in the RAM 109 via the memory control unit 206, and the shooting operation ends.
  • step S501 the charge is cleared in the image sensor 102 as in step S402 described above, and the image sensor 102 enters a charge accumulation state (step S502).
  • step S503 After waiting for a predetermined accumulation time to elapse (step S503), the image pickup signal of the image pickup element 102 is read out in step S504. Dark shading correction is performed on the read image signal in the same manner as in step S408. The corrected image data is stored in the RAM 109 in step S506, and the dark photographing operation ends.
  • dark correction value generation is performed in step S312. Details of the dark correction value generation will be described with reference to the flowchart of FIG. 6A.
  • step S601 the variable i is cleared to ‘1’ in order to count the dark images to be processed.
  • step S602 the shooting condition and WB data of the i-th exposure image shot in step S304 are acquired from the RAM 109. These data are stored in the RAM 109 in step S412.
  • step S603 the i-th exposure image data imaged in step S304 is acquired from the RAM 109 via the memory processing unit 206.
  • step S604 optical shading correction processing is performed on the acquired i-th dark image, and the parameter based on the imaging condition read in step S602 is used as the correction parameter at this time.
  • the same correction parameter as that of the i-th photographed image in step S304 is used, but the present invention is not limited to this and may be changed as appropriate.
  • the correction parameter is preferably close to the correction parameter for the i-th photographed image in step S304.
  • WB processing is performed in step S605 (steps S602 to 605: second image processing step).
  • the gain amount (WB data) multiplied by each pixel of the Bayer array uses the gain amount based on the photographing condition read out in step S602.
  • the gain is the same as that of the i-th photographed image in step S304, but the present invention is not limited to this, and may be changed as appropriate.
  • step S606 the value of the variable i is determined, and if N has not reached the number of multiple shots, after counting up in step S607, the process returns to step S602, and the same processing is performed on the next dark image. As a result, N dark images corrected and WB processed with the same parameters as those of the N exposure images photographed in step S304 are generated.
  • step S608 the image composition unit 205 performs composition processing of adding N dark images to generate composite dark image data.
  • FIG. 6B shows processing for a series of images in the present embodiment.
  • the image data is shown by a thick frame.
  • the number of multiple shots N 3.
  • the exposure images 1 to 3 and the dark images 1 to 3 are shown after being subjected to dark shading correction processing.
  • the optical shading correction process in FIG. 6B is performed by the optical shading correction unit 202, and the WB correction process is performed by the WB processing unit 203. Further, the subtraction processing is performed by the subtraction processing unit 204.
  • a dark image is captured separately from each exposure image of multiple exposure shooting, and an image corresponding to each exposure image subjected to image processing equivalent to each exposure image is generated. To do.
  • the synthesized dark image data obtained by synthesizing them is subtracted from the synthesized exposure image data obtained by synthesizing each exposure image of the actual photographing.
  • the number of times of dark shooting may be the same as the number N of multiple shots, if N is small, the time required for dark shooting can be shortened and the operability of the photographer is not significantly disturbed.
  • the calculation processing time and the amount of memory (RAM 109) used for the calculation only the time and the amount of memory used are the same as those for the exposure image combining processing for the dark image combining.
  • the dark correction value may be multiplied by the correction coefficient k (k is 1 or less), and the subtraction process from the composite exposure image may be performed.
  • the gain processing unit 209 may be configured to multiply the correction coefficient k after the image composition processing in step S608.
  • the accumulation time in dark photography may be different from the exposure image. The shorter the accumulation time, the shorter the time for dark photography, and the operability for the photographer can be improved.
  • the accumulation time in dark photography may be the same as the exposure image. In that case, it is possible to correct and reduce noise including noise caused by the dark current of the image sensor 102.
  • the dark image composition is described as composing the same number of images (N) as the exposure image composition
  • the composition number may be different between the exposure image and the dark image. For example, if a part of the number of exposure images to be synthesized has already been corrected by the same method as in the present invention, the correction for that number is not necessary and can be omitted from the dark image synthesis process. Can do.
  • the S / N of the multiple-exposure image after correction may deteriorate due to the influence of random noise (noise with a random noise signal level in time) for each pixel.
  • the second embodiment is characterized in that a projection operation process is performed on a dark image to be acquired to reduce the influence of random noise and prevent S / N deterioration.
  • FIG. 7 is a diagram showing an internal block configuration of the DSP 106 according to the present embodiment.
  • the projection calculation unit 210 averages image data in which matrix-like pixel signals are arranged in the vertical direction for each column to create projection data for one line.
  • FIG. 8A is a flowchart showing details of dark correction value generation in step S312 in the present embodiment.
  • the projection calculation unit 210 performs projection calculation processing on the composite dark image data generated in step S608, and once sets the projection data for one horizontal line (step S620).
  • step S621 the one-dimensional data is copied by the number of lines of the image to develop the two-dimensional data, and the generation of the dark correction value is finished.
  • FIG. 8B illustrates a series of processing for an image in the present embodiment.
  • a dark image is taken separately from the exposure images of multiple exposure shooting, and a reference image is generated by projecting an image obtained by adding the dark images. Based on the generated reference image, an image corresponding to each exposure image subjected to image processing equivalent to each exposure image is generated, and a composite dark image data obtained by combining them is combined with each exposure image of the actual shooting. Subtract from the exposure image. This can reduce deterioration of vertical stripes and horizontal dark shading during multiple exposure shooting. However, unlike the first embodiment, noise components that change in the vertical direction, such as scratches and horizontal stripes, cannot be reduced.
  • step S620 is a vertical projection here, it is needless to say that a horizontal projection may be used.
  • the noise component that can be reduced is horizontal stripes or dark shading in the vertical direction.
  • the dark correction value may be multiplied by the correction coefficient k (k is 1 or less) and then the subtraction process from the composite exposure image may be performed.
  • the gain processing unit 209 may be configured to multiply the correction coefficient k after the image composition processing in step S608.
  • this is applied to the synthesized dark image data after the synthesis obtained by adding the projection calculation process in step S620.
  • the present invention is not limited to this, and may be performed on each dark image data after the WB processing in step S605, or may be each dark image data before performing the optical shading correction processing in step S604.
  • the image composition processing in step S608 composition is performed so that dark image data that has become one-dimensional data (one-dimensional image data) is arranged for the number of lines on one screen and becomes dark image data for one screen. Done.
  • projection calculation processing is required for the number of shots, and the calculation load increases.
  • the vertical correction component of the optical shading correction process is not impaired by the projection calculation process. A dark image multiplied by can be generated.
  • the accumulation time in dark photography may be different from the exposure image.
  • the shorter the accumulation time the shorter the time for dark photography, and the operability for the photographer can be improved.
  • the accumulation time in dark photography may be the same as the exposure image. In that case, it is possible to correct and reduce noise including noise caused by the dark current of the image sensor 102.
  • the number of dark shots and the number of composites have been described as the same number (N) as the composite of exposure images, but they are not necessarily the same.
  • N the number of dark shots and the number of composites.
  • the S / N of the multiple-exposure image after correction may deteriorate due to the influence of random noise (noise with a random noise signal level in time) for each pixel. Therefore, in the third embodiment, M dark images are acquired independently of the number of exposure images (N) of the exposure image of the main shooting, and the dark reference image is generated by adding and synthesizing them randomly. It is characterized by reducing the influence of noise and preventing the deterioration of S / N.
  • the prescribed number in step S310 is prescribed as M sheets independent of the number of photographed exposure images (N sheets) in the main photographing.
  • step S312 is different from that in the first embodiment, and a flowchart thereof is shown in FIG. 9A.
  • step S601 the image compositing unit 205 adds the M images taken by dark photographing to generate a dark reference image.
  • step S602 the variable i is cleared to ‘1’ in order to count the number of times of processing for the dark reference image generated in step S601.
  • step S603 the shooting conditions and WB data of the i-th image shot in step S304 are acquired from the RAM 109. These data are stored in the RAM 109 in step S412.
  • step S604 optical shading correction processing is performed on the dark reference image, and the correction parameters at this time are those corresponding to the shooting conditions read in step S603. That is, the same correction parameter as that of the i-th photographed image in step S304 is used.
  • a WB process is performed in step S605. Also in this case, the gain amount (WB data) multiplied by each pixel in the Bayer array is the same as that of the i-th photographed image in step S304, using the gain amount acquired in step S603.
  • step S606 the value of the variable i is determined, and if N has not been reached, which is the number of multiple shots, after counting up in step S607, the process returns to step S603 and the same applies to the dark reference image generated in step S601 again. Repeat the process. As a result, N dark images corrected and WB processed with the same parameters as those of the N exposure images photographed in step S304 are generated.
  • step S608 the image composition unit 205 adds N dark images and performs composition processing.
  • step S609 the gain processing unit 209 multiplies the image data after the synthesis processing by 1 / M to generate a dark correction value.
  • steps S603 to S608 is performed on the dark reference image data obtained by adding M images, and then divided by M, the calculation accuracy of S603 to S608 can be substantially increased, and multiple exposure shooting is performed. Image correction accuracy can be increased.
  • FIG. 9B shows processing for a series of images in the present embodiment.
  • the image data is shown by a thick frame.
  • the exposure images 1 to 3 and the dark images 1 to 4 are shown after being subjected to the dark shading correction processing.
  • the optical shading correction processing is performed by the optical shading correction unit 202
  • the WB correction processing is performed by the WB processing unit 203.
  • the subtraction processing is performed by the subtraction processing unit 204.
  • a dark image is shot separately from the exposure images of multiple exposure shooting, and the reference image is generated by adding the dark images. Based on the generated reference image, an image corresponding to each exposure image subjected to image processing equivalent to each exposure image is generated, and a composite dark image data obtained by combining them is combined with each exposure image of the actual shooting. Subtract from exposure image data. As a result, it is possible to reduce fixed pattern noise (vertical stripes, horizontal stripes, scratches, shading, etc.) that deteriorates due to image composition in multiple exposure shooting by correction, and obtain a high-quality multiple exposure image.
  • the effect of random noise can be reduced by performing image correction such as optical shading correction and WB processing after adding M dark images, and then dividing back by M. This calculation can also be performed with high accuracy.
  • image correction such as optical shading correction and WB processing
  • WB processing After adding M dark images, and then dividing back by M. This calculation can also be performed with high accuracy.
  • M the time required for dark photographing can be reduced, so that the waiting time for the photographer can be shortened and the operability can be improved.
  • the accumulation time in dark photography may be different from the exposure image. The shorter the accumulation time, the shorter the time for dark photography, and the operability for the photographer can be improved.
  • the accumulation time in dark photography may be the same as the exposure image. In that case, it is possible to correct and reduce noise including noise caused by the dark current of the image sensor 102.
  • the dark image composition is described as composing the same number of images (N) as the exposure image composition
  • the composition number may be different between the exposure image and the dark image. For example, if a part of the number of exposure images to be synthesized has already been corrected by the same method as in the present invention, the correction for that number is not necessary and can be omitted from the dark image synthesis process. Can do.
  • the projection calculation process is performed on the acquired dark reference image to reduce the influence of random noise and prevent the S / N deterioration. It is characterized by that.
  • the overall configuration of the imaging apparatus is the same as that of the first embodiment shown in FIG. 2, and the inside of the DSP 106 is the same as that of the second embodiment shown in FIG. Also in the fourth embodiment, in the series of camera operations shown in FIG. 1, the prescribed number in step S310 is defined as M sheets independent of the number of photographed exposure images (N) in the main photographing.
  • step S312 is different from that in the first embodiment, and a flowchart thereof is shown in FIG. 10A.
  • Projection calculation processing is performed on the dark addition image generated in step S601 by the projection calculation unit 210, and projection data (one-dimensional data) for one horizontal line is once obtained (step S620). And the process after step S602 is performed sequentially.
  • one-dimensional data is sequentially input to the optical shading correction unit 202, a correction gain determined for each line applied to the exposure image is applied to each input line.
  • the correction process in the WB processing unit 203 is performed in the same manner.
  • dark image data after processing for one screen is generated in this way, the one-dimensional data to be input next is subjected to correction processing based on the parameters of the first line of the next exposure image, and the previous first line is processed. It is added to the dark image data after processing.
  • combined dark image data is generated by combining dark image data subjected to image processing for multiple sheets.
  • the present embodiment is not limited to this, and the optical shading correction processing may be performed after one-dimensional data is temporarily copied by the number of lines to be converted into two-dimensional image data on the memory.
  • FIG. 10B illustrates a series of processing for an image in the present embodiment.
  • a dark image is taken separately from the exposure images of multiple exposure shooting, and a reference image is generated by projecting an image obtained by adding the dark images. Based on the generated reference image, an image corresponding to each exposure image subjected to image processing equivalent to each exposure image is generated, and a composite dark image data obtained by combining them is combined with each exposure image of the actual shooting. Subtract from the exposure image.
  • step S620 is a vertical projection here, it is needless to say that a horizontal projection may be used. In this case, noise components that can be reduced are horizontal stripes and vertical shading.
  • M the time required for dark photographing can be reduced, so that the waiting time for the photographer can be shortened and the operability can be improved.
  • the accumulation time in dark photography may be different from the exposure image. The shorter the accumulation time, the shorter the time for dark photography, and the operability for the photographer can be improved.
  • the accumulation time in dark photography may be different from the exposure image. The shorter the accumulation time, the shorter the time for dark photography, and the operability for the photographer can be improved.
  • the accumulation time in dark photography may be the same as the exposure image. In that case, it is possible to correct and reduce noise including noise caused by the dark current of the image sensor 102.
  • the dark image composition is described as composing the same number of images (N) as the exposure image composition
  • the composition number may be different between the exposure image and the dark image. For example, if a part of the number of exposure images to be synthesized has already been corrected by the same method as in the present invention, the correction for that number is not necessary and can be omitted from the dark image synthesis process. Can do.
  • the first embodiment can correct fixed pattern noise in both the horizontal direction and the vertical direction, but the influence of random noise is large.
  • random noise can be corrected by adding M images of dark images and projecting calculation, correction of fixed pattern noise in the horizontal direction or vertical direction must be given up.
  • the fifth embodiment is characterized in that a dark correction value generation process using a dark image is selected from the above two processes in accordance with shooting settings in multiple exposure shooting.
  • the overall configuration of the imaging apparatus is the same as that of the first embodiment shown in FIG. 2, and the inside of the DSP 106 is the same as that of the second embodiment shown in FIG. That is, both the dark correction value generation processing in step S312 in the first embodiment and the fourth embodiment can be realized.
  • Specific imaging conditions used for selection of dark correction value generation processing include multiple number of sheets, ISO sensitivity, temperature of the image sensor 102, and the like.
  • the dark correction value generation processing (processing A) in the first embodiment that is strong in correcting random noise is selected until the number of multiplexed images reaches a predetermined number.
  • the dark correction value generation process (process B) in the fourth embodiment capable of correcting the fixed pattern noise in the vertical and horizontal directions when the predetermined number is exceeded is selected. Further, the process A is selected until the ISO sensitivity reaches a predetermined value, and the process B is selected from the ISO 1600 exceeding the predetermined value.
  • the process A is selected until the temperature of the image sensor 102 exceeds a predetermined temperature
  • the process B is selected when the temperature exceeds the predetermined temperature.
  • the temperature of the image sensor 102 may be estimated by measuring the temperature in the vicinity of the image sensor with a thermometer (not shown).
  • the selection of the dark correction value process is performed when the shooting condition is set in step S301. That is, when the above-described multiple number of sheets, ISO sensitivity, temperature of the image sensor 102, and the like are set as shooting conditions, the above determination is performed according to the set shooting conditions, and either process A or B is determined. When one of the processes A and B is determined, the prescribed number of dark image shooting and the dark correction value process are uniquely determined.
  • a dark image is taken separately from the exposure images of multiple exposure shooting, and a reference image is generated by projecting an image obtained by adding the dark images. Based on the generated reference image, an image corresponding to each exposure image subjected to image processing equivalent to each exposure image is generated, and a composite dark image data obtained by combining them is combined with each exposure image of the actual shooting. Subtract from the exposure image.
  • a dark image is shot, and an image corresponding to each exposure image subjected to image processing equivalent to each exposure image is generated from each dark image, The synthesized composite dark image data is subtracted from the synthesized exposure image obtained by synthesizing each exposure image of the actual photographing.
  • M the time required for dark photographing can be reduced, so that the waiting time for the photographer can be shortened and the operability can be improved.
  • the accumulation time in dark photography may be different from the exposure image. The shorter the accumulation time, the shorter the time for dark photography, and the operability for the photographer can be improved.
  • the accumulation time in dark photography may be the same as the exposure image. In that case, it is possible to correct and reduce noise including noise caused by the dark current of the image sensor 102.
  • the dark correction value may be multiplied by the correction coefficient k (k is 1 or less), and the subtraction process from the composite exposure image may be performed.
  • the gain multiplied by the gain processing unit 209 may be set to k / M.
  • the dark image composition is described as composing the same number of images (N) as the exposure image composition
  • the composition number may be different between the exposure image and the dark image. For example, if a part of the number of exposure images to be synthesized has already been corrected by the same method as in the present invention, the correction for that number is not necessary and can be omitted from the dark image synthesis process. Can do.
  • the processes of the first embodiment and the fourth embodiment are exemplified as the processes A and B to be switched in the dark correction value generation process, but the present invention is not limited to this.
  • the dark correction value generation processing disclosed in the first and second embodiments can correct fixed pattern noise in both the horizontal direction and the vertical direction, but the influence of random noise is large.
  • random noise can be corrected by adding M dark images, but correction of fixed pattern noise in the horizontal direction or vertical direction must be given up. That is, the dark correction value generation process disclosed in the first or second embodiment is used as the process A, and the dark correction value generation process disclosed in the third or fourth embodiment is used as the process B. Also good.
  • the dark image data is obtained by photographing at the time of photographing the exposure image data.
  • the dark image data acquisition method is not limited to this, and dark image data stored in the memory in advance at the time of factory shipment may be acquired. This dark image data may be taken in advance at the time of shipment from the factory, or may be calculated from various conditions.
  • the object of the present invention can also be achieved as follows. That is, a storage medium in which a program code of software in which a procedure for realizing the functions of the above-described embodiments is described is recorded is supplied to the system or apparatus.
  • the computer or CPU, MPU, etc.
  • the computer reads out and executes the program code stored in the storage medium.
  • the program code itself read from the storage medium realizes the novel function of the present invention, and the storage medium and program storing the program code constitute the present invention.
  • examples of the storage medium for supplying the program code include a flexible disk, a hard disk, an optical disk, and a magneto-optical disk.
  • a CD-ROM, CD-R, CD-RW, DVD-ROM, DVD-RAM, DVD-RW, DVD-R, magnetic tape, nonvolatile memory card, ROM, or the like can also be used.
  • the functions of the above-described embodiments are realized by making the program code read by the computer executable. Furthermore, when the OS (operating system) running on the computer performs part or all of the actual processing based on the instruction of the program code, the functions of the above-described embodiments are realized by the processing. Is also included.
  • the program code read from the storage medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, based on the instruction of the program code, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing.

Abstract

　多重露出撮影で顕在化する固定パターンノイズを軽減し、高品位な多重露出画像を得ることを可能にした撮像装置を提供すること。　撮像素子を露光して撮像することで複数の露光画像データを取得し、前記複数の露光画像データに画像処理を施し、前記画像処理手段から出力される前記複数の露光画像データを合成して合成露光画像データを生成し、前記撮像素子を遮光して撮像することで複数のダーク画像データを取得し、前記複数のダーク画像データに、前記複数の露光画像データそれぞれに施す画像処理と等価な画像処理をそれぞれ施し、前記画像処理手段から出力される前記複数のダーク画像データを合成して合成ダーク画像データを生成し、前記合成ダーク画像データに基づいて前記合成露光画像データを補正することを特徴とする。

Description

撮像装置及び撮像装置の制御方法
　本発明は、多重露出撮影が可能な撮像装置及び撮像装置の制御方法に関するものである。
　ＣＭＯＳイメージセンサなどの撮像素子を用いた撮像装置においては、撮像素子の読出し回路に起因した固定パターンノイズが発生する。この固定パターンノイズを軽減して高品位な画像を得る方法として、予め記憶されたデータを画像データから減算することで固定パターンノイズを補正する方法が一般的に知られている。例えば、特許文献１では、撮影条件によっては予め記憶された1次元データを用いて、画像の固定パターンノイズを補正する方法を開示している。
特開２００３－３３３４３４号公報
　しかしながら、特許文献１では、上述のような撮像素子を用いた撮像装置で複数枚の画像を撮影し、加算して合成画像を生成する多重露出撮影において固有の固定パターンノイズの補正方法などは特に言及がなされていない。
　そこで、本発明の目的は、多重露出撮影におけるノイズを軽減し、高品位な多重露出画像を得ることを可能にした撮像装置を提供することである。
　上記目的を達成するために、本発明は、被写体像を撮像し、画像データを出力する撮像手段と、前記撮像手段から出力される画像データに画像処理を施す画像処理手段と、複数の画像データを加算することで合成する合成手段と、を有する撮像装置であって、前記撮像手段が、前記撮像手段の撮像素子を露光して撮像することで複数の露光画像データを取得し、前記画像処理手段が、前記複数の露光画像データに画像処理を施し、前記合成手段が、前記画像処理手段から出力される前記複数の露光画像データを合成して合成露光画像データを生成し、
　前記撮像手段が、前記撮像素子を遮光して撮像することで複数のダーク画像データを取得し、
　前記画像処理手段が、前記複数のダーク画像データに、前記複数の露光画像データそれぞれに施す画像処理と等価な画像処理をそれぞれ施し、
　前記合成手段が、前記画像処理手段から出力される前記複数のダーク画像データを合成して合成ダーク画像データを生成し、補正手段が、前記合成ダーク画像データに基づいて前記合成露光画像データを補正するように制御する制御手段と、を有することを特徴とする。
　また、本発明は、被写体像を撮像し、画像データを出力する撮像手段と、前記撮像手段から出力される画像データに画像処理を施す画像処理手段と、複数の画像データを加算することで合成する合成手段と、を有する撮像装置の制御方法であって、前記撮像手段が、前記撮像手段の撮像素子を露光して撮像することで複数の露光画像データを取得する第１の撮像ステップと、前記画像処理手段が、前記複数の露光画像データに画像処理を施す第１の画像処理ステップと、前記合成手段が、前記画像処理手段から出力される前記複数の露光画像データを合成して合成露光画像データを生成する第１の合成ステップと、前記撮像手段が、前記撮像素子を遮光して撮像することで複数のダーク画像データを取得する第２の撮像ステップと、前記画像処理手段が、前記複数のダーク画像データに、前記複数の露光画像データそれぞれに施す画像処理と等価な画像処理をそれぞれ施す第２の画像処理ステップと、前記合成手段が、前記画像処理手段から出力される前記複数のダーク画像データを合成して合成ダーク画像データを生成する第２の合成ステップと、補正手段が、前記合成ダーク画像データに基づいて前記合成露光画像データを補正する補正ステップと、を有することを特徴とする。
　本発明によれば、多重露出撮影において固定パターンノイズ（縦筋、横筋、キズ、ダークシェーディングなど）を軽減し、高品位な多重露出画像を得ることが可能な撮像装置を提供することができる。
本発明の実施形態における多重露出撮影動作のフローチャート 本発明の実施形態における撮像装置の全体構成図 第１の実施形態におけるＤＳＰのブロック図 本発明の実施形態における撮影動作のフローチャート 本発明の実施形態におけるダーク撮影動作のフローチャート 第１の実施形態における画像処理のフロー図 第１の実施形態における画像処理のフロー図 第２の実施形態におけるＤＳＰのブロック図 第２の実施形態における画像処理のフロー図 第２の実施形態における画像処理のフロー図 第３の実施形態における画像処理のフロー図 第３の実施形態における画像処理のフロー図 第４の実施形態における画像処理のフロー図 第４の実施形態における画像処理のフロー図
　（第１の実施形態）
　本実施形態は、多重露出撮影において、多重露出撮影であることに起因するノイズを低減する処理を行うことを特徴とする。複数枚の画像を加算合成する多重露出撮影を行う場合、固定パターンノイズ（縦筋、横筋、キズ、ダークシェーディングなど）の補正誤差が加算枚数分だけ積み重なって顕在化することが考えられる。例えば特許文献１のような水平方向の1次元データによる補正の誤差が積み重なった場合には、その誤差が水平方向成分のダークシェーディングや縦筋となって画像に現れる。
　従って、本実施形態では、多重露出撮影の本撮影で得られる各露光画像とは別に、遮光して撮影することでダーク画像を取得し、ダーク画像に各露光画像と同等の画像処理を施したものを合成して合成ダーク画像を生成する。この合成ダーク画像データを、各露光画像を合成した合成露光画像データから減算することで、ノイズの低減された多重露出画像データを取得する。
　以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図２は、本発明の実施形態にかかわる撮像装置１００の全体構成を示した図である。
　撮像レンズ１０１により被写体からの光が結像された被写体像は、撮像素子１０２により撮像され光電変換される。撮像素子１０２は、本実施形態ではベイヤー配列のＣＭＯＳイメージセンサが使用されるが、その他の配列のＣＭＯＳセンサ、またＣＣＤイメージセンサなど、これに限らない。絞り１０３及びメカニカルシャッター１０４は、撮影光路上において撮像レンズ１０１と撮像素子１０２との間に設けられ、撮像素子２へ導かれる光の量を調節する。
　撮像素子１０２から出力されるアナログ画像信号はＡＦＥ（Ａｎａｌｏｇ　Ｆｒｏｎｔ　Ｅｎｄ）１０５によりデジタル信号に変換される。ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｅｒ）１０６はＡＦＥ１０５から出力されるデジタル画像信号に対する各種画像処理を行う。
　記録媒体１０７は画像データを記録する。表示部１０８は撮影した画像や各種メニュー画面などを表示するものであり、液晶ディスプレイ（ＬＣＤ）などが使用される。
　ＲＡＭ１０９はＤＳＰ１０６と接続されており、画像データなどを一時記憶する。
　ＴＧ（Ｔｉｍｉｎｇ　Ｇｅｎｅｒａｔｏｒ）１１０は撮像素子１０２に駆動信号を供給する。シャッター駆動部１１１はメカニカルシャッター１０４を駆動する。絞り駆動部１１２は絞り１０３を駆動する。
　ＣＰＵ１１３はＡＦＥ１０５，ＤＳＰ１０６，ＴＧ１１０，シャッター駆動部１１１，絞り駆動部１１２、その他各部の制御を行う。
　シャッタースイッチ（ＳＷ）１１４は撮影者の操作により撮影指示をＣＰＵ１１３に伝達する。
　図３は、ＤＳＰ１０６の内部のブロック構成を示す図である。ダークシェーディング補正部２０１は、水平方向の１次元データである補正値を画像から減算することにより水平方向のダークシェーディングを補正する。光学シェーディング補正部２０２は、画像上の水平方向或いは垂直方向の位置（座標）に応じたゲイン補正を行うことにより、光学的なシェーディングを補正する。ＷＢ（ホワイトバランス）処理部２０３は、ベイヤー配列のＲ，Ｇ１，Ｇ２，Ｂの画素それぞれにゲインを乗じることでホワイトバランス処理を行う。減算処理部２０４は、後述するように露光画像からダーク画像を減算する処理を行う。
　画像合成部２０５は、多重露出撮影における画像合成演算を行う。本実施形態では、設定される枚数分の画像を加算して合成することで多重露出撮影画像を生成するものとする。メモリ制御部２０６は、画像データや各補正ブロックで使用する補正値をＲＡＭ１０９に対し読み書きする制御を行う。現像処理部２０７は、画像データに対し色マトリクス処理やガンマ処理などの現像処理を行う。記録部２０８は、現像処理後の画像データを記録媒体１０７へ書き込む処理を行う。
　また、ゲイン処理部２０９は、画像データに対して任意のゲインを掛けることができる。
　図１は多重露出撮影における一連のカメラ動作を示すフローチャートである。
　まず、ステップＳ３０１で撮影者の操作により多重露出撮影での多重枚数を含めたＷＢ、ＡＥ、ＩＳＯ感度等の各種の撮影条件が設定される。多重枚数は、シーン判別やモードによって自動的に多重枚数が設定されても良い。ここで設定された多重枚数をＮとする。続くステップＳ３０２では、多重露出撮影の撮影枚数を管理する変数ｉの値をクリアし、‘１’にする。次に、ステップＳ３０３では撮影者の撮影指示動作によってシャッタースイッチ１１４（ＳＷ）がＯＮされるのを待つ。シャッタースイッチ１１４（ＳＷ）がＯＮされると、ステップＳ３０４で撮影動作が行われ、１枚の画像が撮影される。撮影動作の詳細については後述する。その後、ステップＳ３０５では撮影動作が多重露出撮影の最後（Ｎ枚目）の撮影であったかの判定が行われる。変数ｉがＮ未満であった場合には撮影がＮ枚目に達していないので、ステップＳ３０６で変数ｉの値をカウントアップした後にステップＳ３０３に戻って次の撮影指示を待つ（ステップＳ３０４～３０６：第１の撮像ステップ）。ステップＳ３０５でＮ枚目の撮影であった場合にはステップＳ３０７に進み、画像合成部２０５によって撮影したＮ枚の画像を加算する画像合成処理が行われる（第１の合成ステップ）。
　画像合成処理終了後、ステップＳ３０８では、ダーク撮影に備えて変数ｉを再度クリアし‘１’にする。続いて、ステップＳ３０９でダーク撮影を行う。ダーク撮影の詳細については後述するが、本実施形態では、ダーク撮影の規定枚数は露光画像の撮影と同じＮ枚である。ステップＳ３１０では変数ｉの値を判定し、多重露出撮影枚数Ｎ未満であればステップＳ３１１で変数ｉをカウントアップしてステップＳ３０９に戻り、ダーク画像がＮ枚撮影されるまで繰り返す。（ステップＳ３０９～３１１：第２の撮像ステップ）
　ダーク撮影がＮ枚分繰り返されると、ステップＳ３１２にてＮ枚のダーク画像を使用してダーク補正値が生成される。ダーク補正値生成の詳細については後述する。ステップＳ３１３では、減算処理部２０４にてステップＳ３０７で生成された画像からステップＳ３１２で生成されたダーク補正値を減算することによってオフセット補正が行われる。この補正により、固定パターンノイズが軽減される。
　減算処理後の画像データは、ステップＳ３１４において現像処理部２０７で色マトリクス処理、ガンマ処理などの現像処理が行われた後に、ステップＳ３１５で記録部２０８によって記録媒体１０７に格納され、多重露出撮影動作が終了する。
　次に図４に示すフローチャートを用いて、ステップＳ３０４の撮影動作の詳細について説明する。
　撮影動作が開始されると、ステップＳ４０１にて絞り駆動が行われる。絞り駆動ではＣＰＵ１１３が絞り駆動回路１１２を介して絞り１０３を駆動する。次に、ステップＳ４０２では撮像素子１０２の電荷がクリアされる。この動作は、ＣＰＵ１１３からの指示によりＴＧ１１０が撮像素子１０２を駆動することによって行われる。撮像素子１０２は電荷がクリアされると電荷蓄積状態に入る（ステップＳ４０３）。
　撮像素子１０２が電荷蓄積に入った状態で、ステップＳ４０４で、ＣＰＵ１１３はシャッター駆動回路１１１を介してメカニカルシャッター１０４を開状態とし、撮像素子１０２の露光を開始する。ＣＰＵ１１３は、ステップＳ４０５で所定時間が経過するのを待った後、シャッター駆動回路１１１を介してメカニカルシャッター１０４を閉状態として撮像素子１０２の露光を終了する。
　その後、ステップＳ４０７でＴＧ１１０を駆動することで撮像素子１０２から撮像信号を読み出す。ステップＳ４０８では、読み出された撮像信号に対し、ダークシェーディング補正部２０１でのダークシェーディング補正が行われる。予めダーク画像を射影演算して得られる水平方向の１次元データを減算することで水平方向のダークシェーディングを補正するものとする。続いてステップＳ４０９では、光学シェーディング補正部２０２において各画素の信号に対して座標位置に応じたゲイン補正が行われ、光学シェーディングが補正される。この時、補正パラメータは補正対象画像撮影時の撮影条件に応じた値を使用する。ここでの撮影条件とは、レンズズーム位置／撮影レンズ種別／絞り／シャッタースピード／ＩＳＯ感度／温度などを指す。
　次にステップＳ４１０では、光学シェーディング補正後の画像データに対し、ベイヤー配列のＲ，Ｇ１，Ｇ２，Ｂの画素毎にゲインを乗じるＷＢ処理が行われる。ここでの各ゲイン量は対象画像の画像データから算出した値、或いは予め設定された値を用いる（ステップＳ４０９～４１０：第１の画像処理ステップ）。
　ＷＢ処理後の画像データは、ステップＳ４１1にてメモリ制御部２０６を介してＲＡＭ１０９に格納される。更に、ステップＳ４１２においては、やはりメモリ制御部２０６を介して上述の撮影条件やＷＢデータ（ゲイン量）がＲＡＭ１０９に格納され、撮影動作は終了する。
　続いて、図５に示すフローチャートを用いて、ダーク撮影動作の詳細について説明する。ダーク撮影においては、メカニカルシャッター１０４は駆動せず、撮像素子１０２を遮光した状態で撮影を行う。
　まずステップＳ５０１で、前述のステップＳ４０２と同様に撮像素子１０２に電荷がクリアされ、撮像素子１０２は電荷蓄積状態に入る（ステップＳ５０２）。
　次に、所定の蓄積時間が経過するまで待った後（ステップＳ５０３）、ステップＳ５０４で撮像素子１０２の撮像信号が読み出される。読み出された撮像信号には、ステップＳ４０８と同様にダークシェーディング補正が行われる。補正後の画像データはステップＳ５０６にてＲＡＭ１０９に格納され、ダーク撮影動作は終了する。
　ダーク撮影を本撮影の露光画像と同じ枚数のダーク画像が得られるように所定回数（Ｎ回）行った後には、ステップＳ３１２でダーク補正値生成が行われる。このダーク補正値生成の詳細について、図６Ａのフローチャートを用いて説明する。
　ステップＳ６０１では、処理するダーク画像をカウントするために変数ｉをクリアし、‘１’にする。
　ステップＳ６０２では、ステップＳ３０４で撮影されたｉ枚目の露光画像の撮影条件やＷＢデータをＲＡＭ１０９から取得する。これらのデータは、ステップＳ４１２でＲＡＭ１０９に格納されている。ステップＳ６０３では、ステップＳ３０４で撮影されたｉ枚目の露光画像データをメモリ処理部２０６を介してＲＡＭ１０９から取得する。ステップＳ６０４では、取得したｉ枚目のダーク画像に対して光学シェーディング補正処理を実施するが、この際の補正パラメータはステップＳ６０２で読み出された撮影条件に基づくパラメータを使用する。本実施形態では、ステップＳ３０４でのｉ枚目の撮影画像と同じ補正パラメータを使用するが、これに限らず適宜変更を施しても良い。しかし、ステップＳ３０４でのｉ枚目の撮影画像に対しての補正パラメータに近い補正パラメータであることが好ましい。光学シェーディング補正処理終了後、ステップＳ６０５ではＷＢ処理が行われる（ステップＳ６０２～６０５：第２の画像処理ステップ）。この場合も、ベイヤー配列の各画素に乗じるゲイン量（ＷＢデータ）はステップＳ６０２で読みだされた撮影条件に基づくゲイン量を使用する。本実施形態では、ステップＳ３０４のｉ枚目の撮影画像と同一のゲインとなるゲインにするが、これに限らず適宜変更を施しても良い。ステップＳ６０６では、変数ｉの値を判定し、多重撮影枚数であるＮに達していなければ、ステップＳ６０７でカウントアップした後に、ステップＳ６０２へ戻り、次のダーク画像に対して同様の処理を行う。これにより、ステップＳ３０４で撮影されたＮ枚の露光画像のそれぞれと同一のパラメータで補正・ＷＢ処理されたＮ枚のダーク画像が生成される。
　ステップＳ６０８では、画像合成部２０５にてＮ枚のダーク画像を加算する合成処理がなされ、合成ダーク画像データが生成される。
　図６Ｂに、本実施形態における一連の画像に対する処理を示す。太枠で示したのが画像データである。例として、多重撮影枚数Ｎ＝３として示している。露光画像１～３、ダーク画像１～３はそれぞれダークシェーディング補正処理はなされた後のものとして示している。図６Ｂ中の光学シェーディング補正処理はいずれも光学シェーディング補正部２０２、ＷＢ補正処理はいずれもＷＢ処理部２０３にて行われる。また、減算処理は減算処理部２０４にて行われる。
　以上のように、本実施形態では、多重露出撮影の各露光画像の撮影とは別に、ダーク画像の撮影を行い、各露光画像と等価な画像処理を施した各露光画像に対応する画像を生成する。それらを合成した合成ダーク画像データを本撮影の各露光画像を合成した合成露光画像データから減算する。
　これらの一連の処理により、多重露出撮影の画像合成によって劣化する固定パターンノイズ（縦筋、横筋、キズ、シェーディングなど）を補正によって軽減し、高品位な多重露出画像を得ることが可能となる。
　ダーク撮影は多重撮影枚数Ｎと同枚数でよいため、Ｎが小さい場合にはダーク撮影に要する時間も短くて済み、撮影者の操作性を著しく妨げずに済む。また、演算処理時間や演算の際のメモリ（ＲＡＭ１０９）の使用量についても、露光画像の合成処理と同程度の時間及びメモリ使用量をダーク画像の合成に要するのみで済む。
　尚、過補正を防ぐため、ダーク補正値に補正係数ｋ（ｋは１以下）を掛けた後に合成露光画像からの減算処理を行うようにしても構わない。実施する場合には、ステップＳ６０８の画像合成処理後に、ゲイン処理部２０９で補正係数ｋを乗じるように構成すればよい。
　さらに、ダーク撮影における蓄積時間は露光画像と異なっても構わない。蓄積時間が短い方がダーク撮影のための時間を短縮でき、撮影者にとっての操作性を向上できる。
　逆に、ダーク撮影における蓄積時間を露光画像と同一にしてもよい。その場合には、撮像素子１０２の暗電流に起因するノイズも含めて補正して軽減することが可能となる。
　また、ダーク画像の合成は、露光画像の合成と同じ枚数（Ｎ）の画像を合成するとして説明したが、合成枚数は露光画像とダーク画像で異なるようにしても構わない。例えば、合成される露光画像の一部枚数が既に本発明と同様の方法により補正処理されているものである場合には、その枚数分の補正は不要であり、ダーク画像の合成処理から省くことができる。
　（第２の実施形態）
　第１の実施形態では、画素毎のランダムノイズ（時間的にノイズ信号レベルがランダムなノイズ）の影響により、補正後の多重露出画像のＳ／Ｎが劣化してしまう可能性がある。そこで、第２の実施形態では、取得するダーク画像に対して射影演算処理を行うことでランダムノイズの影響を軽減しＳ／Ｎの劣化を防ぐことを特徴とする。
　第２の実施形態は、ＤＳＰ１０６の内部ブロック及びダーク補正値生成処理が第１の実施形態と異なる。図７は、本実施形態にかかわるＤＳＰ１０６の内部のブロック構成を示す図である。射影演算部２１０は、行列状の画素信号が並んだ画像データを列毎に垂直方向に平均処理して、１ライン分の射影データを作成する。
　図８Ａは、本実施形態におけるステップＳ３１２のダーク補正値生成の詳細を示したフローチャートである。ステップＳ６０８で生成された合成ダーク画像データに対し射影演算部２１０で射影演算処理を行い、一度水平１ライン分の射影データとする（ステップＳ６２０）。次にステップＳ６２1で１次元データを画像のライン数分だけコピーすることで２次元データに展開しダーク補正値の生成を終了する。図８Ｂに本実施形態における画像に対する一連の処理を図示する。
　本実施形態では、ステップＳ６２０の射影演算処理において列毎の平均値を算出するため、ランダムノイズの影響を軽減することができ、多重露出撮影画像のＳ／Ｎ劣化を抑制することが可能である。
　以上のように、本実施形態では、多重露出撮影の各露光画像の撮影とは別に、ダーク画像の撮影を行い、ダーク画像を加算した画像を射影演算した基準画像を生成する。生成された基準画像を基に、各露光画像と等価な画像処理を施した各露光画像に対応する画像を生成し、それらを合成した合成ダーク画像データを本撮影の各露光画像を合成した合成露光画像から減算する。これにより、多重露出撮影時における縦筋や水平方向のダークシェーディングの劣化を軽減することができる。但し、第１の実施形態とは異なり、キズや横筋など垂直方向に変化のあるノイズ成分については軽減できない。
　尚、ここではステップＳ６２０の射影演算処理を垂直方向の射影としたが、勿論、水平方向の射影としても構わない。この場合には、軽減できるノイズ成分は横筋や垂直方向のダークシェーディングとなる。
　また、本実施形態においても、過補正を防ぐため、ダーク補正値に補正係数ｋ（ｋは１以下）を掛けた後に合成露光画像からの減算処理を行うようにしても構わない。実施する場合には、ステップＳ６０８の画像合成処理後に、ゲイン処理部２０９で補正係数ｋを乗じるように構成すればよい。
　また、本実施形態では、ステップＳ６２０の射影演算処理を加算した合成後の合成ダーク画像データに対して適用している。しかしこれに限らず、ステップＳ６０５のＷＢ処理後の各ダーク画像データに対して行っても良いし、ステップＳ６０４の光学シェーディング補正処理を行う前の各ダーク画像データであってもよい。これらの場合、ステップＳ６０８の画像合成処理では、１次元データ（１次元の画像データ）となったダーク画像データが１画面のライン数分並んで１画面分のダーク画像データとなるように合成が行われる。これらの方法は、撮影枚数の分だけ射影演算処理が必要になるため演算負荷は大きくなる。しかし、特に光学シェーディング補正処理を行う前に射影演算処理を行うと、射影演算処理によって光学シェーディング補正処理の垂直な補正成分が損なわれることがないので、露光画像にかかる画像処理と等価な画像処理を掛けたダーク画像が生成できる。
　例えば、ダーク撮影における蓄積時間は露光画像と異なっても構わない。蓄積時間が短い方がダーク撮影のための時間を短縮でき、撮影者にとっての操作性を向上できる。
　逆に、ダーク撮影における蓄積時間を露光画像と同一にしてもよい。その場合には、撮像素子１０２の暗電流に起因するノイズも含めて補正して軽減することが可能となる。
　また、ダーク撮影枚数及び合成枚数は、露光画像の合成と同じ枚数（Ｎ）として説明したが、必ずしも同じである必要はない。例えば、合成される露光画像の一部枚数が既に本発明と同様の方法により補正処理されているものである場合には、その枚数分の補正は不要であり、ダーク画像の撮影や合成処理から省くことができる。
　（第３の実施形態）
　第１の実施形態では、画素毎のランダムノイズ（時間的にノイズ信号レベルがランダムなノイズ）の影響により、補正後の多重露出画像のＳ／Ｎが劣化してしまう可能性がある。そこで、第３の実施形態では、本撮影の露光画像の撮影枚数（Ｎ枚）とは独立してＭ枚のダーク画像を取得し、それらを加算合成してダーク基準画像を生成することでランダムノイズの影響を軽減しＳ／Ｎの劣化を防ぐことを特徴とする。
　撮像装置全体の構成、ＤＳＰ１０６の内部は図２、図３に示す第１の実施形態と同様のものとする。第３の実施形態では、図１に示した一連のカメラ動作において、ステップＳ３１０の規定枚数を本撮影の露光画像の撮影枚数（Ｎ枚）とは独立したＭ枚と規定する。
　また、ステップＳ３１２のダーク補正値生成処理が第１の実施形態と異なり、そのフローチャートを図９Ａに示す。
　まず、ステップＳ６０１ではダーク撮影で撮影されたＭ枚の画像を画像合成部２０５において加算処理してダーク基準画像を生成する。ステップＳ６０２では、ステップＳ６０１で生成したダーク基準画像に対する処理回数をカウントするために変数ｉをクリアし、‘１’にする。
　ステップＳ６０３では、ステップＳ３０４で撮影されたｉ枚目の画像の撮影条件やＷＢデータをＲＡＭ１０９から取得する。これらのデータは、ステップＳ４１２でＲＡＭ１０９に格納されている。ステップＳ６０４では、ダーク基準画像に対して光学シェーディング補正処理を実施するが、この際の補正パラメータはステップＳ６０３で読み出された撮影条件に応じたものを使用する。即ち、ステップＳ３０４でのｉ枚目の撮影画像と同じ補正パラメータを使用する。光学シェーディング補正処理終了後、ステップＳ６０５ではＷＢ処理が行われる。この場合も、ベイヤー配列の各画素に乗じるゲイン量（ＷＢデータ）はステップＳ６０３で取得したものを用い、ステップＳ３０４のｉ枚目の撮影画像と同一のゲインとなるようにする。ステップＳ６０６では、変数ｉの値を判定し、多重撮影枚数であるＮに達していなければ、ステップＳ６０７でカウントアップした後に、ステップＳ６０３へ戻り、再びステップＳ６０１で生成したダーク基準画像に対して同様の処理を繰り返す。これにより、ステップＳ３０４で撮影されたＮ枚の露光画像のそれぞれと同一のパラメータで補正・ＷＢ処理されたＮ枚のダーク画像が生成される。
　ステップＳ６０８では、画像合成部２０５にてＮ枚のダーク画像を加算し合成処理が為される。続くステップＳ６０９では、合成処理後の画像データに対してゲイン処理部２０９にて１／Ｍを乗じ、ダーク補正値を生成する。
　ここで、Ｍ枚加算したダーク基準画像データに対してステップＳ６０３～Ｓ６０８の処理を行い、その後にＭで割り戻すことにより、実質的にＳ６０３～Ｓ６０８の演算精度を高めることができ、多重露出撮影画像の補正精度を高めることができる。
　図９Ｂに、本実施形態における一連の画像に対する処理を示す。太枠で示したのが画像データである。例として、多重撮影枚数Ｎ＝３、ダーク撮影枚数Ｍ＝４として示した。露光画像１～３、ダーク画像１～４はそれぞれダークシェーディング補正処理はなされた後のものとして示している。光学シェーディング補正処理はいずれも光学シェーディング補正部２０２、ＷＢ補正処理はいずれもＷＢ処理部２０３にて行われる。また、減算処理は減算処理部２０４にて行われる。
　以上のように、本実施形態では、多重露出撮影の各露光画像の撮影とは別に、ダーク画像の撮影を行い、ダーク画像を加算して基準画像を生成する。生成された基準画像を基に、各露光画像と等価な画像処理を施した各露光画像に対応する画像を生成し、それらを合成した合成ダーク画像データを本撮影の各露光画像を合成した合成露光画像データから減算する。
これにより、多重露出撮影の画像合成によって劣化する固定パターンノイズ（縦筋、横筋、キズ、シェーディングなど）を補正によって軽減し、高品位な多重露出画像を得ることが可能となる。
　本実施形態ではＭ枚のダーク画像を加算した後に光学シェーディング補正やＷＢ処理のような画像補正を行い、その後にＭで割り戻すことで、ランダムノイズの影響を軽減することができ、また補正データの演算についても精度よく行うことが可能である。ダーク撮影枚数Ｍは多いほど、ランダムノイズの影響の軽減効果も大きく、補正データ演算精度も高くなる。
　また、ダーク加算枚数である‘Ｍ’は多いほどランダムノイズ低減効果や演算精度向上の効果が得られるため望ましいが、Ｍ＝１として実施することも可能である。Ｍが少ない場合には、ダーク撮影に要する時間が少なく済むため、撮影者の待ち時間を短縮し操作性を向上することができる。
　さらに、ダーク撮影における蓄積時間は露光画像と異なっても構わない。蓄積時間が短い方がダーク撮影のための時間を短縮でき、撮影者にとっての操作性を向上できる。
　逆に、ダーク撮影における蓄積時間を露光画像と同一にしてもよい。その場合には、撮像素子１０２の暗電流に起因するノイズも含めて補正して軽減することが可能となる。
　また、ダーク画像の合成は、露光画像の合成と同じ枚数（Ｎ）の画像を合成するとして説明したが、合成枚数は露光画像とダーク画像で異なるようにしても構わない。例えば、合成される露光画像の一部枚数が既に本発明と同様の方法により補正処理されているものである場合には、その枚数分の補正は不要であり、ダーク画像の合成処理から省くことができる。
　（第４の実施形態）
　第３の実施形態では、ダーク撮影枚数Ｍが少ないと画素毎のランダムノイズの影響が排除しきれないため、補正後の多重露出画像のＳ／Ｎの向上が満足にできない可能性がある。そこで、第４の実施形態では、第３の実施形態での処理に加えて、取得するダーク基準画像に対して射影演算処理を行うことでランダムノイズの影響を軽減しＳ／Ｎの劣化を防ぐことを特徴とする。
　撮像装置全体の構成は、図２に示す第１の実施形態と同様のものであり、ＤＳＰ１０６の内部は図７に示す第２の実施形態と同様のものとする。第４の実施形態でも、図１に示した一連のカメラ動作において、ステップＳ３１０の規定枚数を本撮影の露光画像の撮影枚数（Ｎ枚）とは独立したＭ枚と規定する。
　また、ステップＳ３１２のダーク補正値生成処理が第１の実施形態と異なり、そのフローチャートを図１０Ａに示す。
　ステップＳ６０１で生成されたダーク加算画像に対し射影演算部２１０で射影演算処理を行い、一度水平１ライン分の射影データ（１次元データ）とする（ステップＳ６２０）。そしてステップＳ６０２以降の処理を順次行う。１次元データを光学シェーディング補正部２０２に順次入力されると露光画像に掛かるライン毎に決められた補正ゲインが順次入力されるライン毎に掛けられる。ＷＢ処理部２０３における補正処理も同様に行われる。こうして１画面分の処理後のダーク画像データが生成されると、次に入力される１次元データは次の露光画像の１ライン目のパラメータに基づく補正処理が掛けられ、前の１ライン目の処理後のダーク画像データと加算される。これを繰り返して、多重枚数分の画像処理の施されたダーク画像データが合成された合成ダーク画像データが生成される。また、本実施形態はこれにかぎらず、一旦１次元データをライン数分コピーしてメモリ上で２次元の画像データにしてから光学シェーディング補正処理を行ってもよい。
　図１０Ｂに本実施形態における画像に対する一連の処理を図示する。
　本実施形態では、ステップＳ６２０の射影演算処理において列毎の平均値を算出するため、ランダムノイズの影響を軽減することができ、多重露出撮影画像のＳ／Ｎ劣化を抑制することが可能である。
　以上のように、本実施形態では、多重露出撮影の各露光画像の撮影とは別に、ダーク画像の撮影を行い、ダーク画像を加算した画像を射影演算した基準画像を生成する。生成された基準画像を基に、各露光画像と等価な画像処理を施した各露光画像に対応する画像を生成し、それらを合成した合成ダーク画像データを本撮影の各露光画像を合成した合成露光画像から減算する。
　これにより、多重露出撮影時における縦筋や水平方向のシェーディングの劣化を軽減することができる。但し、第３の実施形態とは異なり、キズや横筋など垂直方向に変化のあるノイズ成分については軽減できない。しかしながら、ダーク加算画像に射影演算を施すことによりダーク撮影枚数Ｍが少なくてもランダムノイズの影響を軽減し、補正後の画像のＳ／Ｎ劣化を防ぐことができる。尚且つ、射影データを２次元展開した像に対して光学シェーディング補正処理を実施することで、位置（座標）に応じて異なる補正が掛かる場合にも、精度よく固定パターンノイズの補正を行うことが可能となる。
　尚、ここではステップＳ６２０の射影演算処理を垂直方向の射影としたが、勿論、水平方向の射影としても構わない。この場合には、軽減できるノイズ成分は横筋や垂直方向のシェーディングとなる。
　以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
　例えば、ダーク加算枚数である‘Ｍ’は多いほどランダムノイズ低減効果や演算精度向上の効果が得られるため望ましいが、Ｍ＝１として実施することも可能である。Ｍが少ない場合には、ダーク撮影に要する時間が少なく済むため、撮影者の待ち時間を短縮し操作性を向上することができる。
　更に、ダーク撮影における蓄積時間は露光画像と異なっても構わない。蓄積時間が短い方がダーク撮影のための時間を短縮でき、撮影者にとっての操作性を向上できる。
　さらに、ダーク撮影における蓄積時間は露光画像と異なっても構わない。蓄積時間が短い方がダーク撮影のための時間を短縮でき、撮影者にとっての操作性を向上できる。
　逆に、ダーク撮影における蓄積時間を露光画像と同一にしてもよい。その場合には、撮像素子１０２の暗電流に起因するノイズも含めて補正して軽減することが可能となる。
　また、ダーク画像の合成は、露光画像の合成と同じ枚数（Ｎ）の画像を合成するとして説明したが、合成枚数は露光画像とダーク画像で異なるようにしても構わない。例えば、合成される露光画像の一部枚数が既に本発明と同様の方法により補正処理されているものである場合には、その枚数分の補正は不要であり、ダーク画像の合成処理から省くことができる。
　（第５の実施形態）
　第１の実施形態は水平方向、垂直方向いずれの固定パターンノイズも補正できるが、ランダムノイズの影響が大きい。第４の実施形態は、ダーク画像のＭ枚加算及び射影演算によってランダムノイズを補正できるものの、水平方向あるいは垂直方向の固定パターンノイズの補正を諦めなければならない。
　そこで第５の実施形態では、多重露出撮影における撮影の設定に応じてダーク画像によるダーク補正値の生成処理を上記の２つの処理から選択することを特徴とする。
　撮像装置全体の構成は、図２に示す第１の実施形態と同様のものであり、ＤＳＰ１０６の内部は図７に示す第２の実施形態と同様のものとする。すなわち、第１の実施形態と第４の実施形態におけるステップＳ３１２のダーク補正値生成処理のいずれも実現可能な構成となっている。
　ダーク補正値の生成処理の選択に用いる具体的な撮影条件としては、多重枚数、ＩＳＯ感度、撮像素子１０２の温度などが挙げられる。例えば、多重枚数が所定枚数まではランダムノイズの補正に強い第１の実施形態におけるダーク補正値生成処理（処理Ａ）を選択する。一方、所定枚数を超えると垂直、水平方向の固定パターンノイズを補正可能な第４の実施形態におけるダーク補正値生成処理（処理Ｂ）を選択する。また、ＩＳＯ感度が所定値までは処理Ａを選択し、所定値を超えるＩＳＯ１６００からは処理Ｂを選択する。あるいは撮像素子１０２の温度が所定温度を超えるまでは処理Ａを選択し、所定温度を超えると処理Ｂを選択する。さらに、これらを組み合わせて処理の決定を行うことも可能である。例えば多重枚数、ＩＳＯ感度及び撮像素子の温度の３次元マトリックス上で処理Ａ、Ｂを決めるテーブルを作成し、処理の決定に用いても良い。なお、撮像素子１０２の温度は、不図示の温度計によって撮像素子近傍の気温を計測することで推定するなどすればよい。
　ダーク補正値処理の選択はステップＳ３０１の撮影条件の設定時に行われる。すなわち、撮影条件として前述した多重枚数、ＩＳＯ感度、撮像素子１０２の温度などが設定されると設定される撮影条件に従って上記の判定が行われ、処理Ａ、Ｂいずれかが決定する。処理Ａ、Ｂのいずれかが決定すると、ダーク画像撮影の規定枚数及びダーク補正値処理が一意に決定される。
　以上のように、本実施形態では、多重露出撮影の各露光画像の撮影とは別に、ダーク画像の撮影を行い、ダーク画像を加算した画像を射影演算した基準画像を生成する。生成された基準画像を基に、各露光画像と等価な画像処理を施した各露光画像に対応する画像を生成し、それらを合成した合成ダーク画像データを本撮影の各露光画像を合成した合成露光画像から減算する。あるいは、多重露出撮影の各露光画像の撮影とは別に、ダーク画像の撮影を行い、各ダーク画像から各露光画像と等価な画像処理を施した各露光画像に対応する画像を生成し、それらを合成した合成ダーク画像データを本撮影の各露光画像を合成した合成露光画像から減算する。上記２つの処理を撮影条件に応じて選択的に実行することで、各撮影条件に適したノイズ補正を行うことを可能としている。
　以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
　例えば、ダーク加算枚数である‘Ｍ’は多いほどランダムノイズ低減効果や演算精度向上の効果が得られるため望ましいが、Ｍ＝１として実施することも可能である。Ｍが少ない場合には、ダーク撮影に要する時間が少なく済むため、撮影者の待ち時間を短縮し操作性を向上することができる。
　さらに、ダーク撮影における蓄積時間は露光画像と異なっても構わない。蓄積時間が短い方がダーク撮影のための時間を短縮でき、撮影者にとっての操作性を向上できる。
　逆に、ダーク撮影における蓄積時間を露光画像と同一にしてもよい。その場合には、撮像素子１０２の暗電流に起因するノイズも含めて補正して軽減することが可能となる。
　また、過補正を防ぐため、ダーク補正値に補正係数ｋ（ｋは１以下）を掛けた後に合成露光画像からの減算処理を行うようにしても構わない。実施する場合には、ゲイン処理部２０９で乗じるゲインをｋ／Ｍとすればよい。
　また、ダーク画像の合成は、露光画像の合成と同じ枚数（Ｎ）の画像を合成するとして説明したが、合成枚数は露光画像とダーク画像で異なるようにしても構わない。例えば、合成される露光画像の一部枚数が既に本発明と同様の方法により補正処理されているものである場合には、その枚数分の補正は不要であり、ダーク画像の合成処理から省くことができる。
　また、本実施形態では、ダーク補正値生成処理の切り替え対象の処理Ａ、Ｂとして第１の実施形態及び第４の実施形態の処理を挙げたが、本発明はこれに限らない。　第１及び第２の実施形態に開示したダーク補正値生成処理は水平方向、垂直方向いずれの固定パターンノイズも補正できるが、ランダムノイズの影響が大きい。第３及び第４の実施形態に開示したダーク補正値生成処理は、ダーク画像のＭ枚加算によってランダムノイズを補正できるものの、水平方向あるいは垂直方向の固定パターンノイズの補正を諦めなければならない。すなわち上記の処理Ａとして第１または第２の実施形態に開示のダーク補正値生成処理を用いて、処理Ｂとして第３または第４の実施形態に開示のダーク補正値生成処理を用いるようにしても良い。
また、上記の各実施形態では、ダーク画像データを露光画像データの撮影時に撮影によって得ている。しかし、ダーク画像データの取得方法はこれに限らず、工場出荷時に予めメモリに記憶されたダーク画像データを取得しても良い。このダーク画像データは工場出荷時に予め撮影されたものであっても良いし、各種条件から算出されたものであっても良い。
　（他の実施形態）
　本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
　この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
　また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＤＶＤ－ＲＷ、ＤＶＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
　また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
　更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　１００　撮像装置
　１０２　撮像素子
　１０４　ＤＳＰ
　１０９　ＲＡＭ
　１１３　ＣＰＵ
　２０１　ダークシェーディング補正部
　２０２　光学シェーディング補正部
　２０３　ＷＢ処理部
　２０４　減算処理部
　２０５　画像合成部
　２０６　メモリ制御部
　２０９　ゲイン処理部
　２１０　射影演算部

Claims (12)

  1. 　被写体像を撮像し、画像データを出力する撮像手段と、
    　前記撮像手段から出力される画像データに画像処理を施す画像処理手段と、
    　複数の画像データを合成する合成手段と、を有する撮像装置であって、
    前記撮像手段が、前記撮像手段の撮像素子を露光して撮像することで複数の露光画像データを取得し、
    　前記画像処理手段が、前記複数の露光画像データに画像処理を施し、
    　前記合成手段が、前記画像処理手段から出力される前記複数の露光画像データを合成して合成露光画像データを生成し、
    　前記撮像手段が、前記撮像素子を遮光して撮像することでダーク画像データを取得し、
    　前記画像処理手段が、前記ダーク画像データに、前記複数の露光画像データそれぞれに施す画像処理のパラメータに基づくパラメータを使用する画像処理を施して複数の処理後ダーク画像データを出力し、
    　前記合成手段が、前記画像処理手段から出力される前記複数の処理後ダーク画像データを合成して合成ダーク画像データを生成し、
    　補正手段が、前記合成ダーク画像データに基づいて前記合成露光画像データを補正するように制御する制御手段と、を有することを特徴とする撮像装置。
  2. 　前記合成手段は、複数の画像データを加算することで合成することを特徴とする請求項１に記載の撮像装置。
  3. 　前記画像処理手段の施す画像処理は、光学シェーディング補正処理を含むことを特徴とする請求項１または２に記載の撮像装置。
  4. 　前記画像処理手段の施す画像処理は、ホワイトバランス補正処理を含むことを特徴とする請求項１乃至３のいずれか１つに記載の撮像装置。
  5. 　前記補正手段は、前記合成ダーク画像データを前記合成露光画像データから減算することを特徴とする請求項１乃至４のいずれか１つに記載の撮像装置。
  6. 　前記補正手段は、画像データの垂直方向或いは水平方向に平均して射影データを得る射影演算手段を有し、
    　前記射影演算手段によって前記合成ダーク画像データを１次元データに変換し、該１次元データを１画面分コピーして１画面分の画像データに展開した画像データを前記合成露光画像データから減算することを特徴とする請求項１乃至４のいずれか１つに記載の撮像装置。
  7. 　前記画像処理手段は、撮影レンズ種別、レンズズーム位置、絞り、シャッタースピード、ＩＳＯ感度設定、温度の少なくとも１つを含む撮影条件によってパラメータを決定し、該パラメータで前記画像処理を行うことを特徴とする請求項１乃至６のいずれか１つに記載の撮像装置。
  8. 　前記制御手段は、
    　前記撮像手段が、前記撮像素子を遮光して撮像することで複数のダーク画像データを取得し、前記画像処理手段が、前記複数のダーク画像データに、前記複数の露光画像データそれぞれに施す画像処理と等価な画像処理をそれぞれ施し、前記合成手段が、前記画像処理手段から出力される前記複数のダーク画像データを合成して合成ダーク画像データを生成し、補正手段が、前記合成ダーク画像データに基づいて前記合成露光画像データを補正するように制御する第１の補正処理に加えて、
    　前記撮像手段が、前記撮像素子を遮光して撮像することで複数のダーク画像データを取得し、前記合成手段が、前記複数のダーク画像データを用いて１つのダーク基準画像データを生成し、前記画像処理手段が、前記１つのダーク基準画像データに、前記複数の露光画像データそれぞれに施す画像処理のパラメータに基づくパラメータを使用する画像処理を施して前記複数の露光画像データに対応する複数の処理後ダーク画像データを出力し、前記合成手段が、前記画像処理手段から出力される前記複数の処理後ダーク画像データを合成して合成ダーク画像データを生成し、補正手段が、前記合成ダーク画像データに基づいて前記合成露光画像データを補正するように制御する第２の補正処理を実行可能であり、
    　設定される撮影条件に応じて前記第１の補正処理及び前記第２の補正処理のいずれか１つを選択的に実行することを特徴とする請求項１乃至７のいずれか１つに記載の撮像装置。
  9. 　前記設定される撮影条件は、前記露光画像データを撮影する枚数、ＩＳＯ感度及び前記撮像素子の温度の少なくとも１つを含むことを特徴とする請求項８に記載の撮像装置。
  10. 　被写体像を撮像し、画像データを出力する撮像手段と、
    　前記撮像手段から出力される画像データに画像処理を施す画像処理手段と、
    複数の画像データを合成する合成手段と、を有する撮像装置の制御方法であって、
    　前記撮像手段が、前記撮像手段の撮像素子を露光して撮像することで複数の露光画像データを取得する第１の撮像ステップと、
    　前記画像処理手段が、前記複数の露光画像データに画像処理を施す第１の画像処理ステップと、
    　前記合成手段が、前記画像処理手段から出力される前記複数の露光画像データを合成して合成露光画像データを生成する第１の合成ステップと、
    　前記撮像手段が、前記撮像素子を遮光して撮像することでダーク画像データを取得する第２の撮像ステップと、
    　前記画像処理手段が、前記ダーク画像データに、前記複数の露光画像データそれぞれに施す画像処理のパラメータに基づくパラメータを使用する画像処理をそれぞれ施して複数の処理後ダーク画像データを出力する第２の画像処理ステップと、
    　前記合成手段が、前記画像処理手段から出力される前記複数の処理後ダーク画像データを合成して合成ダーク画像データを生成する第２の合成ステップと、
    　補正手段が、前記合成ダーク画像データに基づいて前記合成露光画像データを補正する補正ステップと、を有することを特徴とする撮像装置の制御方法。
  11. 　請求項１０に記載の撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
  12. 　コンピュータに、請求項１０に記載の撮像装置の制御方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
PCT/JP2011/073387 2011-10-12 2011-10-12 撮像装置及び撮像装置の制御方法 WO2013054403A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2011/073387 WO2013054403A1 (ja) 2011-10-12 2011-10-12 撮像装置及び撮像装置の制御方法
JP2013538361A JP5889324B2 (ja) 2011-10-12 2011-10-12 撮像装置及び撮像装置の制御方法
US13/646,970 US8976274B2 (en) 2011-10-12 2012-10-08 Apparatus and method for image pickup and correction
TW101137288A TW201316762A (zh) 2011-10-12 2012-10-09 影像拾取設備及用以控制影像拾取設備之方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/073387 WO2013054403A1 (ja) 2011-10-12 2011-10-12 撮像装置及び撮像装置の制御方法

Publications (1)

Publication Number Publication Date
WO2013054403A1 true WO2013054403A1 (ja) 2013-04-18

Family

ID=48081482

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/073387 WO2013054403A1 (ja) 2011-10-12 2011-10-12 撮像装置及び撮像装置の制御方法

Country Status (4)

Country Link
US (1) US8976274B2 (ja)
JP (1) JP5889324B2 (ja)
TW (1) TW201316762A (ja)
WO (1) WO2013054403A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020188331A (ja) * 2019-05-13 2020-11-19 キヤノン株式会社 撮像装置およびその制御方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5631153B2 (ja) * 2010-10-21 2014-11-26 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
JP5632703B2 (ja) 2010-10-21 2014-11-26 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
JP5889323B2 (ja) * 2011-10-12 2016-03-22 キヤノン株式会社 撮像装置及び撮像装置の制御方法
CA2906956A1 (en) * 2013-03-15 2014-09-18 Olive Medical Corporation Calibration using distal cap
US10039516B2 (en) * 2013-11-08 2018-08-07 Carestream Health, Inc. Digital radiography detector image readout system and process
JP6815777B2 (ja) * 2016-07-25 2021-01-20 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP6827854B2 (ja) * 2017-03-09 2021-02-10 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
US10438326B2 (en) * 2017-07-21 2019-10-08 The Boeing Company Recursive suppression of clutter in video imagery

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62285583A (ja) * 1986-06-03 1987-12-11 Nec Corp デジタル画像処理装置
JP2003333434A (ja) * 2002-05-17 2003-11-21 Canon Inc 撮像装置、撮像方法、プログラムおよび記憶媒体
JP2004207895A (ja) * 2002-12-24 2004-07-22 Sony Corp 動画像撮像装置および動画像撮像方法
JP2005191641A (ja) * 2003-12-24 2005-07-14 Mitsubishi Electric Corp 画像入力方法および画像入力装置
JP2006345458A (ja) * 2005-06-10 2006-12-21 Casio Comput Co Ltd 撮像装置
JP2008092548A (ja) * 2006-09-06 2008-04-17 Casio Comput Co Ltd 撮像装置、撮影方法及びプログラム
WO2008153085A1 (ja) * 2007-06-14 2008-12-18 Sony Corporation 撮像装置、撮像制御方法および撮像制御プログラム
JP2010141583A (ja) * 2008-12-11 2010-06-24 Ricoh Co Ltd 撮像装置、画像データ補正方法、プログラム及び記録媒体

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6563536B1 (en) * 1998-05-20 2003-05-13 Intel Corporation Reducing noise in an imaging system
US6710807B1 (en) * 1998-11-04 2004-03-23 Canon Kabushiki Kaisha Image sensing apparatus
US6710808B1 (en) * 1998-11-04 2004-03-23 Canon Kabushiki Kaisha Image sensing apparatus
US7339620B1 (en) * 1998-11-11 2008-03-04 Canon Kabushiki Kaisha Image sensing apparatus having a signal processing device that uses a signal imaged in a non-exposure state to process a signal in an exposure state
US6965410B1 (en) * 1998-12-03 2005-11-15 Canon Kabushiki Kaisha Image sensing apparatus employing dark image data to correct dark noise
US6747696B1 (en) * 1999-03-26 2004-06-08 Casio Computer Co., Ltd. Camera capable of canceling noise in image data and signal processing method thereof
JP3998229B2 (ja) * 1999-09-08 2007-10-24 カシオ計算機株式会社 撮像装置およびその信号処理方法
US7023479B2 (en) * 2000-05-16 2006-04-04 Canon Kabushiki Kaisha Image input apparatus having addition and subtraction processing
JP4497759B2 (ja) * 2000-06-30 2010-07-07 キヤノン株式会社 画像処理装置及びその処理方法
JP3897520B2 (ja) * 2000-07-11 2007-03-28 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP2002135661A (ja) * 2000-10-19 2002-05-10 Canon Inc 画像処理装置およびその制御方法ならびに記憶媒体
US20040032490A1 (en) * 2001-05-29 2004-02-19 Mineo Uchida Image sensing apparatus, image sensing method, program, and storage medium
US7317481B2 (en) * 2002-02-20 2008-01-08 Canon Kabushiki Kaisha Image data correction processing based on sensitivity
US6956978B2 (en) * 2002-03-12 2005-10-18 Hewlett-Packard Development Company, L.P. Multi-pass dark frame subtraction
JP4532819B2 (ja) * 2002-11-20 2010-08-25 キヤノン株式会社 撮像装置
US7782377B2 (en) * 2003-02-26 2010-08-24 Canon Kabushiki Kaisha Image sensing apparatus, control method therefor, storage medium, and program to create correction data
JP4358606B2 (ja) * 2003-11-20 2009-11-04 オリンパス株式会社 インターバル撮影に適用される撮像装置およびそのための暗時ノイズ抑圧処理方法
JP4027340B2 (ja) * 2004-04-20 2007-12-26 キヤノン株式会社 撮像装置及び撮像方法
US7948531B2 (en) * 2004-08-24 2011-05-24 Panasonic Corporation Imaging apparatus and correction method of image data
JP2006109162A (ja) * 2004-10-06 2006-04-20 Canon Inc 撮像装置、撮像方法、プログラム及び記憶媒体
KR20060038681A (ko) * 2004-11-01 2006-05-04 삼성테크윈 주식회사 디지털 카메라에서 고정 패턴 노이즈 제거 장치 및 방법
JP4378341B2 (ja) * 2005-12-26 2009-12-02 キヤノン株式会社 撮像装置及び補正方法
JP4662880B2 (ja) * 2006-04-03 2011-03-30 三星電子株式会社 撮像装置，及び撮像方法
JP2008236661A (ja) * 2007-03-23 2008-10-02 Olympus Corp 撮像装置及び暗電流成分キャンセル処理方法
JP2008252714A (ja) * 2007-03-30 2008-10-16 Nikon Corp 画像処理プログラムおよび電子カメラ
JP2009017078A (ja) * 2007-07-03 2009-01-22 Fujifilm Corp ディジタル・スチル・カメラおよびその動作制御方法
JP5274101B2 (ja) * 2008-05-19 2013-08-28 キヤノン株式会社 放射線画像処理装置、放射線画像処理方法及びプログラム
JP6021465B2 (ja) * 2011-07-11 2016-11-09 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法
JP5889323B2 (ja) * 2011-10-12 2016-03-22 キヤノン株式会社 撮像装置及び撮像装置の制御方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62285583A (ja) * 1986-06-03 1987-12-11 Nec Corp デジタル画像処理装置
JP2003333434A (ja) * 2002-05-17 2003-11-21 Canon Inc 撮像装置、撮像方法、プログラムおよび記憶媒体
JP2004207895A (ja) * 2002-12-24 2004-07-22 Sony Corp 動画像撮像装置および動画像撮像方法
JP2005191641A (ja) * 2003-12-24 2005-07-14 Mitsubishi Electric Corp 画像入力方法および画像入力装置
JP2006345458A (ja) * 2005-06-10 2006-12-21 Casio Comput Co Ltd 撮像装置
JP2008092548A (ja) * 2006-09-06 2008-04-17 Casio Comput Co Ltd 撮像装置、撮影方法及びプログラム
WO2008153085A1 (ja) * 2007-06-14 2008-12-18 Sony Corporation 撮像装置、撮像制御方法および撮像制御プログラム
JP2010141583A (ja) * 2008-12-11 2010-06-24 Ricoh Co Ltd 撮像装置、画像データ補正方法、プログラム及び記録媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020188331A (ja) * 2019-05-13 2020-11-19 キヤノン株式会社 撮像装置およびその制御方法
JP7277251B2 (ja) 2019-05-13 2023-05-18 キヤノン株式会社 撮像装置およびその制御方法

Also Published As

Publication number Publication date
US8976274B2 (en) 2015-03-10
US20130093912A1 (en) 2013-04-18
TW201316762A (zh) 2013-04-16
JPWO2013054403A1 (ja) 2015-03-30
JP5889324B2 (ja) 2016-03-22

Similar Documents

Publication Publication Date Title
JP5889323B2 (ja) 撮像装置及び撮像装置の制御方法
JP5889324B2 (ja) 撮像装置及び撮像装置の制御方法
US9451160B2 (en) Imaging apparatus and method for controlling the imaging apparatus
JP6172967B2 (ja) 撮像装置、及びその制御方法
US8982242B2 (en) Imaging device and imaging method
TWI390971B (zh) 成像裝置，成像處理方法及成像控制程式
US9843735B2 (en) Image processing apparatus, imaging apparatus comprising the same, and image processing method
JP6278713B2 (ja) 撮像装置および撮像方法
JP2017108309A (ja) 撮像装置および撮像方法
KR20070120012A (ko) 촬상 장치 및 촬상 방법
JP6108854B2 (ja) 撮像装置及びその制御方法
JP2019114919A (ja) 撮像装置、撮像方法、およびプログラムを記録した記録媒体
JP5284183B2 (ja) 画像処理装置およびその方法
JP5747595B2 (ja) 露出制御装置及びカメラ
JP6547742B2 (ja) 撮像制御装置、撮像装置および撮像制御方法
JP2009055278A (ja) カメラ
JP5184325B2 (ja) 撮影装置および撮影装置の制御方法並びにプログラム
JP5663989B2 (ja) 撮像装置、および画像合成プログラム
JP2010062975A (ja) 画像処理装置、電子カメラおよび画像処理プログラム
JP2006222689A (ja) 撮影装置
JP5966072B2 (ja) 撮像装置および撮像方法
KR20130069478A (ko) 촬상 장치, 촬상 방법 및 기계로 읽을 수 있는 저장 매체
JP2019062387A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2015035786A (ja) 撮像装置及びその制御方法
JP2009049472A (ja) カメラ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11873868

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013538361

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11873868

Country of ref document: EP

Kind code of ref document: A1