WO2006046460A1 - デジタルカメラおよび画像合成装置 - Google Patents

デジタルカメラおよび画像合成装置 Download PDF

Info

Publication number
WO2006046460A1
WO2006046460A1 PCT/JP2005/019284 JP2005019284W WO2006046460A1 WO 2006046460 A1 WO2006046460 A1 WO 2006046460A1 JP 2005019284 W JP2005019284 W JP 2005019284W WO 2006046460 A1 WO2006046460 A1 WO 2006046460A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
gain
images
exposure
Prior art date
Application number
PCT/JP2005/019284
Other languages
English (en)
French (fr)
Inventor
Yutaka Tsuda
Hidehiro Ogawa
Original Assignee
Nikon Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2004310301A external-priority patent/JP4306584B2/ja
Priority claimed from JP2005000779A external-priority patent/JP4379334B2/ja
Priority claimed from JP2005172215A external-priority patent/JP2006352229A/ja
Application filed by Nikon Corporation filed Critical Nikon Corporation
Priority to EP05795739.1A priority Critical patent/EP1814315B1/en
Priority to US11/666,081 priority patent/US20090021594A1/en
Publication of WO2006046460A1 publication Critical patent/WO2006046460A1/ja
Priority to US13/529,652 priority patent/US8564691B2/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/587Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Definitions

  • the present invention relates to a digital camera that synthesizes images shot by multiple exposure and an image synthesizer that synthesizes a plurality of shot images.
  • Patent Document 1 When multiple images taken by multiple exposure are combined into a single image, the image data of each frame is calculated and then divided by the number of frames to perform the averaging process.
  • Patent Document 1 generates a multiple-exposure photographed image by superimposing a plurality of images, saves the multiple-exposure photographed image, and deletes an unnecessary original image.
  • Patent Document 2 discloses a technique for obtaining a multiple captured image by superimposing a plurality of captured images.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2003-69888
  • Patent Document 2 Japanese Patent Laid-Open No. 2003-298925
  • Patent Document 2 discloses that when a multiple photographed image is obtained, the background portion of the photographed image is replaced with a through image and displayed on a monitor. Replace the image background From the displayed image, the entire image is displayed! Therefore, it is impossible to confirm the superposition effect.
  • the digital camera includes a storage unit that stores a plurality of images captured by the imaging device when the multiple exposure shooting mode is set, and a sum based on the number of multiple exposure shootings.
  • a gain applying unit that applies a gain determined to be 1 to a plurality of captured images, and after the gain is applied by the gain applying unit, the plurality of images are combined to form a multiple-exposure photographed image.
  • a synthesis unit to be generated.
  • the synthesized image when the synthesized image is stored in the storage unit after the gained image has been gained, a plurality of images are stored from the storage unit.
  • a plurality of images are stored from the storage unit.
  • the digital camera according to the first or second aspect may further include an interruption instructing unit that interrupts the imaging before the imaging of the multiple exposure number of images is completed.
  • the gain adding unit becomes 1 based on the number of images captured before the interruption. It is preferable that the gain determined as described above is applied to a plurality of captured images, and the combining unit combines the plurality of captured images before interruption to generate a multiple-exposure photographed image.
  • the digital camera is set to the multiple exposure shooting mode.
  • a storage unit that stores a plurality of images captured by the imaging device when speaking, a combining unit that combines the plurality of images stored in the storage unit to generate a multiple exposure photographed image,
  • the recording control unit records the original image stored in the storage unit together with the multiple-exposure photographed image on the recording medium.
  • the digital camera of the sixth aspect further includes a first recording mode for recording only the multiple-exposure photographed image when performing the process of recording the multiple-exposure photographed image on the recording medium, It may be equipped with a record selection section that selects the multiple exposure shot image and the second recording mode for recording the original image.
  • the digital camera of the seventh aspect further provides a gain that gives a gain determined so that the sum is 1 based on the number of multiple exposure shots to a plurality of captured images. You may provide a provision part.
  • the synthesizing unit generates a multiple-exposure photographed image by synthesizing a plurality of images after applying the gain by the gain applying unit.
  • the digital camera when the image is combined by the combining unit, a gain is added by the gain applying unit, and then a plurality of images are combined to form a multiple exposure photographed image.
  • a synthesis selection unit that selects a first synthesis mode to be generated and a second synthesis mode in which multiple gain images are generated by synthesizing a plurality of images without adding gain by the gain applying unit. ⁇ ⁇ .
  • the synthesis unit selects the second synthesis mode by the synthesis selection unit.
  • the recording control unit performs multiple exposure shooting of the original image to which no gain is applied. It is preferable to record on a recording medium together with an image.
  • the image composition device includes an image composition unit that obtains an image obtained by superimposing the first image and the second image, and the image composition unit before the image composition unit starts superimposing the images.
  • the first sub-image with a smaller number of data than the first image generated based on the data of the first image and the second sub-image generated based on the data of the second image
  • a sub-image composition unit that superimposes the two sub-images and obtains a sub-image corresponding to the image after superimposition that would be obtained by the image composition unit
  • a display unit for displaying the sub-image superimposed by the sub-image synthesis unit.
  • the display unit displays the first sub-image, the second sub-image, and the superimposed sub-image on the same screen. Is preferred.
  • the first sub-image is a thumbnail image included in the data file in which the first image is recorded.
  • the second sub-image is a thumbnail image included in the data file in which the second image is recorded! /.
  • the image composition is performed according to the start instruction after the sub-image composition unit obtains the superimposed sub-image. It is preferable that the part starts to superimpose the image.
  • an image composition device in the image composition device according to the seventeenth aspect, an image composition It is preferable that the recording of the superimposed image is started in response to a start instruction after the unit obtains the superimposed image.
  • the recording format of the image after superimposition is the recording format of the image set in the digital camera.
  • the image superimposed by the image composition unit is preferably recorded as RAW data.
  • a digital camera includes the image composition device according to any one of the thirteenth to twentieth aspects.
  • the storage unit may be replaced with storage means.
  • the gain applying unit may be replaced with a gain applying unit.
  • the synthesis unit may be replaced with synthesis means.
  • the interruption instruction unit may be replaced with interruption instruction means.
  • the switching unit may be replaced with switching means.
  • the image processing unit may be replaced with image processing means.
  • the recording control unit may be replaced with recording control means.
  • the record selection unit may be replaced with a record selection unit.
  • composition selection unit may be replaced with composition selection means.
  • the image composition unit may be replaced with image composition means.
  • the sub-image composition unit may be replaced with sub-image composition means.
  • the display unit may be replaced with display means.
  • the superimposition ratio setting unit may be replaced with superimposition ratio setting means.
  • a gain determined so that the sum is 1 based on the number of multiple exposure shots is given to a plurality of captured images, and then the plurality of images are combined. Multiple exposure shot images were generated. As a result, it is possible to avoid data overflow during synthesis. In addition, it is possible to prevent overexposure at the time of composition, and it is possible to obtain a multiple-exposure photographed image with appropriate exposure. According to another invention, since the original image is stored together with the multiple exposure photographed image, the original image can be referred to as necessary.
  • the image synthesizing unit starts superimposing the first image and the second image
  • the number of data is small
  • the first sub-image and the number of data are small
  • FIG. 4 is a flowchart showing a process flow in the digital camera.
  • FIG. 6 is a diagram showing a specific example of RAW data stored in an image memory in the second embodiment.
  • FIG. 8 is a diagram illustrating an initial screen displayed in the image composition mode.
  • FIG. 9 is a diagram illustrating an image selection screen.
  • FIG. 11 is a diagram illustrating an image composition screen.
  • FIG. 12 is a diagram illustrating an image composition screen when the gain is changed.
  • FIG. 13 is a diagram exemplifying an image composition screen when the gain is changed.
  • FIG. 1 is a block diagram showing a configuration of an embodiment of a digital camera according to the first embodiment of the present invention.
  • the digital camera 100 is an AZD converter that converts a photographing lens 1, an image sensor 2 such as a CCD, and an analog signal output from the image sensor 2 into a digital signal.
  • a conversion circuit 3 a timing generator (TG) 4 that gives a timing signal to the image sensor 2, an image memory (semiconductor memory) 5 that temporarily stores a plurality of captured images, and various image processing described later.
  • the display device 9 displays a menu for changing various setting values of the digital camera 100, and the user operates the input device 13 according to the displayed menu.
  • the settings of the digital camera 100 can be changed.
  • the image memory 5 is a buffer memory and can store a plurality of RAW data.
  • the image processing circuit 6 reads RAW data stored in the image memory 5 and performs known image processing such as interpolation, color temperature correction, and gradation correction, automatic gain correction described later, and image synthesis. Do. Thereafter, the compression circuit 7 compresses and converts the image data into a predetermined compression format, for example, the JPEG format, and stores it in the memory 10. The image data stored in the memory 10 is copied and stored in the recording medium 11 automatically or by an instruction from the user. Further, the image data processed by the image processing circuit 6 is subjected to display processing by the display circuit 8 and displayed on the display device 9.
  • known image processing such as interpolation, color temperature correction, and gradation correction, automatic gain correction described later, and image synthesis. Do.
  • the compression circuit 7 compresses and converts the image data into a predetermined compression format, for example, the JPEG format, and stores it in the memory 10.
  • the image data stored in the memory 10 is copied and stored in the recording medium 11 automatically or by an instruction from the user. Further, the image data
  • the digital camera 100 in the first embodiment is capable of imaging by multiple exposure, and is set in advance by the user when the multiple exposure shooting mode is set. Takes the number of frames (number of images) in multiple exposure shooting mode.
  • the multiple exposure setting screen shown in FIG. On this multiple exposure setting screen, first, the number of frames to be captured by multiple exposure is entered and set in the comma number input field 2a.
  • the number of frames can be arbitrarily set within a predetermined range, for example, 2 frames to 10 frames.
  • the user also sets whether or not to perform automatic gain correction, which will be described later.
  • Whether or not to perform automatic gain correction is set by selecting either “OFF” (invalid) or “ON” (enabled) for automatic gain correction in the automatic gain correction setting field 2b. Note that when the number of frames is not set in the frame number input field 2a, imaging by multiple exposure is not performed.
  • the exposure value that is set each time the release switch is pressed until shooting for the set number of frames is performed. Images of each frame are taken.
  • the image data of each frame that is, RAW data is stored in the image memory 5. For example, when the number of frames is set to 5, RAW data of 5 frames of image 1 to image 5 is stored in the image memory 5 as shown in FIG.
  • the image processing circuit 6 adds all the RAW data stored in the image memory 5 and combines them. At this time, if the automatic gain correction is set to “OFF” on the multiple exposure setting screen shown in FIG. 2, all RAW data stored in the image memory 5 are added in order and combined.
  • each RAW data stored in the image memory 5 is digital data obtained by digitally adding the charges output from each pixel of the image sensor 2, so that it is synthesized by adding pixel data at the same position on the image. Is possible. Therefore, for example, after adding image 2 to image 1 (image 1 + image 2), and adding image 3 to the addition result, the images can be combined in order.
  • the exposure should be set to a level under 2.3 and the force should be imaged.
  • each RAW data stored in the image memory 5 is set.
  • the power is synthesized by adding the pixel data at the same position on the image. For example, when multiple exposures of 5 frames are performed, the five RAW data stored in the image memory 5 are summed up according to the following equation (2) and added after the gain is reduced, that is, the gain is reduced.
  • each RAW data picked up by multiple exposure is multiplied by a gain whose sum is 1, gain-down, and then added and combined, so that the exposure overshoot is combined. Therefore, it is possible to obtain a multiple-exposure photographed image with appropriate exposure.
  • the R AW data is added. Force that may overflow data on the way According to the present invention, it is possible to avoid this because the gain is reduced and the force is added.
  • the following processing is performed so that a multiple-exposure photographed image can be obtained.
  • the case where multiple exposure is interrupted is, for example, (A) when interruption of multiple exposure is instructed by the operation of the input device 13 by the user, and (B) digital time is set for a predetermined time. (C) When the camera 100 has a function to automatically turn off the power when it is not operated, and the power is turned off automatically without being operated for the predetermined time.
  • the input device 13 is operated and the digital camera 100 is turned off, one of the following may be considered, and these are controlled by the CPU 12.
  • the image processing circuit 6 is based on the RAW data of the number of frames imaged at the time of the interruption. Then, synthesis is performed according to equation (2). For example, if the number of frames to be captured by multiple exposure is set to 8, if there is no interruption, the digital gain is set so that the sum of K1 to K8 is 1 for the 8 frames of captured RAW data. Based on (2), composition is performed with automatic gain setting, but if multiple exposure is interrupted at the time of five-frame shooting, the total of K1 to K5 for the five frames of RAW data captured Set the digital gain so that becomes 1, and set the automatic gain based on Equation (2) and synthesize. As a result, even when multiple exposure is interrupted, a multiple-exposure photographed image with appropriate exposure can be obtained.
  • FIG. 4 is a flowchart showing the flow of processing in the digital camera 100 of the first embodiment.
  • the processing shown in FIG. 4 is executed by the CPU 12 as a program that starts when the power of the digital camera is turned on.
  • step S10 it is determined whether or not the user has pressed the release button. If it is determined by the user that the release button has been pressed, the process proceeds to step S20.
  • step S20 the subject is imaged by the imaging element 2 via the imaging lens 1. At this time, if the exposure condition is the automatic exposure shooting mode, an appropriate exposure value is set according to the brightness of the subject. Then go to step S30.
  • step S30 RAW data obtained by converting the electric charge accumulated in the image sensor 2 into a digital signal by the AZD conversion circuit 3 is stored in the image memory 5.
  • step S40 it is determined whether or not the user is instructed to set the multiple exposure shooting mode on the multiple exposure setting screen shown in Fig. 2, that is, whether the number of frames to be captured by multiple exposure is set. to decide. If you are instructed to take multiple exposure images, Then, the process proceeds to step S100 described later. On the other hand, if the multiple exposure shooting mode is instructed, the process proceeds to step S50. In step S50, it is determined whether or not the imaging of the number of frames to be imaged by the multiple exposure preset by the user is completed. If it is determined that the imaging of the number of frames to be captured by the multiple exposure is completed, the process proceeds to step S70.
  • step S60 it is determined whether or not the multiple exposure is interrupted in the middle for any of the reasons (A) to (C) described above. If it is determined that multiple exposure has not been interrupted, the process returns to step S10 and waits for the release switch to be pressed. When the release switch is pressed, the above processing is performed. On the other hand, if it is determined that multiple exposure has been interrupted, the process proceeds to step S70.
  • step S120 it is determined whether or not the digital camera 100 is turned off. If it is determined that the power is not turned off, the process returns to step S10 and the process is repeated. On the other hand, if it is determined that the power is turned off, the process is terminated.
  • the automatic gain correction is set to “Yes” by the user!
  • each RAW data stored in the image memory 5 is summed up digitally to reduce the gain and add the pixel data at the same position on the image for synthesis.
  • it is possible to prevent overexposure at the time of composition and it is possible to obtain a multi-exposure photographed image with appropriate exposure.
  • each RAW data imaged by multiple exposure is multiplied by a digital gain whose sum is 1, and the gain is reduced.
  • the sum 1 can be gain-decreased by the digital gain calculated by dividing the number of frames to be imaged by multiple exposure. If each frame is imaged at an appropriate exposure value, A multiple-exposure photographed image can be obtained with an appropriate exposure according to the number of frames to be imaged by exposure.
  • the number of frames to be captured by multiple exposure is input and set in the frame number input field 2a.
  • the number of frames can be set arbitrarily within a predetermined range, for example, between 2 and 10 frames.
  • each RAW data stored in the image memory 5 and these are all digitally combined. Record both synthesized image data stored in the image memory 5 after gain reduction and synthesis. It was recorded on the medium. Thereby, the original image can be referred to.
  • FIG. 7 is a diagram showing a configuration of an electronic camera according to the third embodiment of the present invention.
  • a subject image is formed on the imaging surface of the image sensor 2 by the photographing lens 1.
  • the image sensor 2 captures a subject image and outputs an image signal to the AZD conversion circuit 3.
  • the AZD conversion circuit 3 converts the analog image signal input from the image sensor 2 into a digital image signal, and outputs the converted digital data to the image memory 5.
  • a timing generator (TG) 4 supplies a timing signal to the image sensor 2.
  • the adder circuit 8A performs frame addition (addition of corresponding pixels) on a plurality of frames of image data multiplied by the gain circuit 7A, and outputs the added image data to the image memory 5.
  • the compression circuit 11A is image data that has been subjected to image processing by the image processing circuit 6A. Is compressed using a method such as JPEG.
  • the display circuit 10A generates a display signal necessary for reproducing and displaying the photographed image on the display device 13A.
  • Display device 13A is constituted by, for example, a TFT liquid crystal panel, and reproduces and displays an image based on a display signal generated by display circuit 10A.
  • the display device 13A is configured to display an operation menu in addition to the image.
  • the operation menu is used to make various settings for the electronic camera.
  • the display circuit 10A also generates display signals necessary for displaying the operation menu.
  • the memory 14 is a memory that temporarily stores the image data compressed by the compression circuit 11A.
  • the recording medium 15 is configured by a memory card that is detachable from the electronic camera.
  • the electronic camera can store the image data stored in the memory 14 in the recording mode 15 in the recording medium 15 and read out the image data stored in the recording medium 15 in the playback mode and the image composition mode into the memory 14. Configured.
  • the electronic camera has a shooting mode for shooting a subject, a playback mode for displaying a shot image on the display device 13A, and an image composition mode for combining the shot images.
  • the CPU 12A controls each block constituting the electronic camera described above.
  • the gain circuit 7A, the gain setting circuit 9A, the adding circuit 8A, the image processing circuit 6A, the compression circuit 11A, and the display circuit 10A are particularly called image processing blocks.
  • the operation member 16 includes a mode switching switch, which will be described later, and pointing devices such as an enter key and a cross key, and generates operation signals corresponding to various operations and sends them to the CPU 12A.
  • the mode switching switch is a switch for switching between a shooting mode, a playback mode, an image composition mode, and the like.
  • the release button (not shown) When the release button (not shown) is pressed down on an electronic camera that has been switched to the shooting mode by the mode switch, the aperture (not shown) of the taking lens 1 is driven to the predetermined aperture and the shutter (not shown) is moved. Drive open. As a result, a subject image is formed on the imaging surface of the image sensor 2.
  • the electronic camera completes the exposure by closing the shutter (not shown) so that an exposure time according to the exposure condition can be obtained.
  • the charge accumulated in the image sensor 2 during exposure is sequentially read out from the image sensor 2.
  • the image data is stored in the image memory 5 after AZD conversion.
  • the image data at this point is called RAW data, which is data before image processing.
  • the RAW data is subjected to predetermined image processing and compression processing, and is recorded on the recording medium 15 via the photographed image data memory 14 after the compression processing.
  • the captured image is reproduced and displayed on the display device 13A by a display signal generated using the image data after the image processing. It is also possible to record captured image data as RAW data.
  • the above (1) side has high image quality and the above (4) side has low image quality.
  • the compression processing in (3) and (4) above is performed in PEG format.
  • the predetermined image processing is color temperature adjustment processing or the like.
  • (1) is selected as the recording format of the main image data.
  • FIG. 8 is a diagram illustrating an initial screen displayed on the display device 13A in the image composition mode.
  • the CPU 12A receives an operation signal for selecting “Imag e 1” corresponding to the first image from the cross key constituting the operation member 16. Further, when an operation signal indicating selection is input from the enter key, the image selection screen shown in FIG. 9 is displayed on the display device 13A instead of the initial screen being displayed. In FIG. 9, the six image data file strengths recorded on the recording medium 15 are also read out, and the six thumbnail image strengths are displayed in the upper and lower two rows, three images each. When an operation signal for selecting the upper center image (building night view) is input from the cross key and an operation signal indicating selection is input from the enter key, the CPU 12A sets the image as the first image.
  • Image 1 is a thumbnail image corresponding to the first image
  • Image 2 is a thumbnail image corresponding to the second image
  • Preview is the first image and the second image.
  • a thumbnail image that combines two thumbnail images corresponding to the image of is displayed.
  • the gain setting value is changed from the initial value “1.0” to a value corresponding to the operation signal, and data indicating the changed gain value is sent to the gain setting circuit 9A.
  • the gain setting circuit 9A sets the changed gain setting value in the gain circuit 7A, the thumbnail image corresponding to the first image to which the changed gain is applied is reproduced and displayed on the display device 13A.
  • FIG. 13 illustrates an image composition screen when the gain setting value for the first image remains “1.0” and the gain setting value for the second image is changed to “0.3”.
  • FIG. 13 the exposure is corrected to the underside by changing the gain of the second image (month) to less than 1.
  • the CPU 12A receives an operation signal for selecting “composite” from the cross key constituting the operation member 16 in a state where the image composition screen as shown in FIG. 11 to FIG. 13 is displayed on the display device 13A, and further presses the enter key.
  • an operation signal indicating selection decision is input from, synthesis of the main image corresponding to the first image and the main image corresponding to the second image is started.
  • the CPU 12A reads two main image data from the recording medium 15, and stores the read main image data in the image memory 5, respectively.
  • the gain circuit 7A displays the gain (set in the image composition screen shown in FIGS. 11 to 13) set for each of the main image corresponding to the first image and the main image corresponding to the second image. The value that is uttered).
  • the adding circuit 8A adds the corresponding pixels of the main image corresponding to the first image to which the gain has been applied and the main image corresponding to the second image to which the gain has been applied.
  • the data of the main image after addition (after synthesis) is stored in the image memory 5 as synthesized image data.
  • the CPU 12A is an operation signal for selecting “save” from the cross key constituting the operation member 16 after the composition processing in the above 3 while the image composition screen as shown in FIGS. 11 to 13 is displayed on the display device 13A.
  • the composite image data according to 3 above is recorded on the recording medium 15 from the image memory 5 via the memory 14.
  • it is recorded as an image data file including a composite image corresponding to the main image and a composite image corresponding to the thumbnail image (generated by resizing the 160 ⁇ 120 pixels from the composite image corresponding to the main image).
  • the data recording format corresponding to this image follows the data recording format selected by the electronic camera in shooting mode!
  • the electronic camera combines the first image and the second image in the image composition mode.
  • Image composition processing is as follows: 1. Image selection, 2. Gain setting, 3. Composition, 4. Save order To do.
  • the thumbnail image corresponding to the first image and the thumbnail corresponding to the second image After setting the gain of 2 above (after selecting the first image if the gain setting value may be the initial value “1.0”), the thumbnail image corresponding to the first image and the thumbnail corresponding to the second image
  • the thumbnail image obtained by combining the image is displayed as “Pre view” on the image composition screen (FIGS. 11 to 13).
  • thumbnail images can be added (synthesized) instantaneously to display a thumbnail composite image as “P review”, so that the user can check the exposure status of the combined image before performing image composition on the main image. Can be confirmed immediately.
  • the recording format of the main image data is (1) “RAW” format
  • the combined main image data can also be recorded in “RAW” format.
  • synthesizing (calo-calculating) data in “RAW” format it is possible to suppress deterioration in gradation characteristics and other factors that are multiplied at the time of compositing compared to when compositing (adding) data in “JPEG”.
  • recording the combined main image data in the “RAW” format it is possible to further combine the combined image with other images.
  • the recording power of the main image data is shown by an example of distinguishing by the presence or absence of image processing and the difference in compression rate at the time of compression processing.
  • data size pixel size such as L size and S size
  • the thumbnail image data included in the image data file is used for composition for “Preview” display.
  • the data size is smaller than the main image data and the image is an image
  • the number of images to be combined is not limited to two images, and three images may be combined. It may be an image.
  • an image composition apparatus may be configured by causing a device that handles electronic images, such as a photo storage device, a photo stand, or a PDA, to perform image composition processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

 デジタルカメラは、多重露出撮影モードが設定されているときに撮像素子で撮像される複数枚の画像を記憶する記憶部と、多重露出撮影枚数に基づいて総和が1となるように決定されたゲインを撮像された複数枚の画像に付与するゲイン付与部と、ゲイン付与部でゲインを付与した後に、複数枚の画像を合成して多重露出撮影画像を生成する合成部とを備える。

Description

明 細 書
デジタルカメラおよび画像合成装置
技術分野
[0001] 本発明は、多重露出により撮影した画像を合成するデジタルカメラ、および複数の 撮影画像を合成する画像合成装置に関する。
背景技術
[0002] 次のようなデジタルカメラが特許文献 1によって知られている。多重露出により撮像 した複数の画像を重ね合わせて 1枚の画像にする場合に、各コマの画像データをカロ 算した後、コマ数で除算して加算平均化処理を行う。
また、特許文献 1のデジタルカメラは、複数の画像を重ね合わせて多重露出撮影画 像を生成し、この多重露出撮影画像を保存し、不要な元画像は消去する。
さらにまた、複数の撮影画像を重ね合わせて多重撮影画像を得る技術が特許文献 2によって知られている。
[0003] 特許文献 1 :特開 2003— 69888号公報
特許文献 2:特開 2003 - 298925号公報
発明の開示
発明が解決しょうとする課題
[0004] 特許文献 1のデジタルカメラにおいては、多重露出により撮像した複数の画像を重 ね合わせて 1枚の画像にする場合に、各コマの画像データを加算した後にコマ数で 除算して!/、るが、重ね合わせる画像の枚数が増加すると除算する前にデータがォー バーフローする可能性があった。また、多重露出により撮像した複数の画像データを そのまま加算して 、るため、露出オーバーとなる可能性があると 、う問題が生じて!/ヽ た。
また、特許文献 1のデジタルカメラにおいては、多重露出撮影画像だけが保存され るので、元画像を参照することができない。
特許文献 2には、多重撮影画像を得る際に撮影済み画像の背景部分をスルー画 像に置き換えてモニタ表示することが開示されて 、る。画像の背景を置き換えてモ- タ表示された画像からは、画像の全域につ!、ての重ね合わせ効果を確認することが できない。
課題を解決するための手段
本発明の第 1の態様によると、デジタルカメラは、多重露出撮影モードが設定されて いるときに撮像素子で撮像される複数枚の画像を記憶する記憶部と、多重露出撮影 枚数に基づいて総和が 1となるように決定されたゲインを撮像された複数枚の画像に 付与するゲイン付与部と、ゲイン付与部でゲインを付与した後に、複数枚の画像を合 成して多重露出撮影画像を生成する合成部とを備える。
本発明の第 2の態様によると、第 1の態様のデジタルカメラにおいて、合成部は、撮 像された画像がゲインを付与した後に記憶部に記憶されている場合は、記憶部から 複数枚の画像を読み出して合成し、撮像された画像がゲインを付与せずに記憶部に 記憶されて ヽる場合は、記憶部から読み出した複数枚の画像にゲインを付与して合 成するのが好ましい。
本発明の第 3の態様によると、第 1または第 2の態様のデジタルカメラはさらに、多 重露出撮影枚数の撮像が完了する前に撮像を中断させる中断指示部を備えてもよ い。この場合のゲイン付与部は、中断指示部によって多重露出撮影枚数の撮像が完 了する前に撮像が中断された場合には、中断されるまでに撮像された枚数に基づい て総和が 1となるように決定されたゲインを撮像された複数枚の画像に付与し、合成 部は、中断されるまでに撮像された複数枚の画像を合成して多重露出撮影画像を生 成するのが好ましい。
本発明の第 4の態様によると、第 1〜第 3のいずれかの態様のデジタルカメラはさら に、ゲイン付与部によるゲイン付与の有効および無効を切り替える切り替え部を備え てもよい。この場合のゲイン付与部は、切り替え部によってゲイン付与が有効にされ たときに、ゲインを撮像された複数枚の画像に付与するのが好まし 、。
本発明の第 5の態様によると、第 1〜第 4のいずれかの態様のデジタルカメラはさら に、合成部によって生成された多重露出撮影画像に対して、各種画像処理を実行す る画像処理部を備えてもょ ヽ。
本発明の第 6の態様によると、デジタルカメラは、多重露出撮影モードが設定されて ヽるときに撮像素子で撮像される複数枚の画像を記憶する記憶部と、記憶部に記憶 されて!/、る複数枚の画像を合成して多重露出撮影画像を生成する合成部と、合成部 で合成された多重露出撮影画像を記録媒体へ記録する処理を行う際、多重露出撮 影画像とともに記憶部に記憶されている合成前の元画像も記録媒体に記録する記録 制御部とを備える。
本発明の第 7の態様によると、第 6の態様のデジタルカメラはさらに、多重露出撮影 画像を記録媒体へ記録する処理を行う際、多重露出撮影画像だけを記録する第 1記 録モードと、多重露出撮影画像および元画像を記録する第 2記録モードとを選択す る記録選択部を備えてもょ ヽ。
本発明の第 8の態様によると、第 7の態様のデジタルカメラはさらに、多重露出撮影 枚数に基づいて総和が 1となるように決定されたゲインを撮像された複数枚の画像に 付与するゲイン付与部を備えてもよい。この場合の合成部は、ゲイン付与部でゲイン を付与した後に、複数枚の画像を合成して多重露出撮影画像を生成するのが好まし い。
本発明の第 9の態様によると、第 8の態様のデジタルカメラはさらに、合成部による 画像合成に際して、ゲイン付与部でゲインを付与した後に、複数枚の画像を合成し て多重露出撮影画像を生成する第 1合成モードと、ゲイン付与部でゲインを付与せ ずに、複数枚の画像を合成して多重露出撮影画像を生成する第 2合成モードとを選 択する合成選択部を備えてもょ ヽ。
本発明の第 10の態様によると、第 9の態様のデジタルカメラにおいて、記録選択部 で第 2記録モードが選択された場合、合成部は、合成選択部で第 2合成モードが選 択されていても、元画像に対してゲイン付与部でゲインを付与した後に、複数枚の画 像を合成して多重露出撮影画像を生成し、記録制御部は、ゲインが付与されない元 画像を多重露出撮影画像とともに記録媒体に記録するのが好ましい。
本発明の第 11の態様によると、第 6の態様のデジタルカメラはさらに、多重露出撮 影枚数に基づいて総和が 1となるように決定されたゲインを撮像された複数枚の画像 に付与するゲイン付与部を備えてもよい。この場合の合成部は、ゲイン付与部でゲイ ンを付与した後に、複数枚の画像を合成して多重露出撮影画像を生成するのが好ま しい。
本発明の第 12の態様によると、第 11の態様のデジタルカメラはさらに、合成部によ る画像合成に際して、ゲイン付与部でゲインを付与した後に、複数枚の画像を合成し て多重露出撮影画像を生成する第 1合成モードと、ゲイン付与部でゲインを付与せ ずに、複数枚の画像を合成して多重露出撮影画像を生成する第 2合成モードとを選 択する合成選択部を備えてもょ ヽ。
本発明の第 13の態様によると、画像合成装置は、第 1の画像と第 2の画像とを重畳 した画像を得る画像合成部と、画像合成部が画像の重畳を開始する前に、第 1の画 像のデータに基づいて生成された第 1の画像よりデータ数が少ない第 1の副画像と、 第 2の画像のデータに基づいて生成された第 2の画像よりデータ数が少ない第 2の副 画像とを重畳し、画像合成部で得られるであろう重畳後の画像に対応する副画像を 得る副画像合成部と、
副画像合成部による重畳後の副画像を表示する表示部とを備える。
本発明の第 14の態様によると、第 13の態様の画像合成装置において、表示部は、 第 1の副画像、第 2の副画像、および重畳後の副画像を同じ画面内に表示するのが 好ましい。
本発明の第 15の態様によると、第 13または 14の態様の画像合成装置において、 第 1の副画像は、第 1の画像が記録されているデータファイル内に含まれているサム ネイル画像であり、第 2の副画像は、第 2の画像が記録されているデータファイル内 に含まれて 、るサムネイル画像であるのが好まし!/、。
本発明の第 16の態様によると、第 13〜15のいずれかの態様の画像合成装置はさ らに、画像合成部が画像を重畳する際の重畳比率を設定する重畳比率設定部を備 えてもよい。この場合の副画像合成部は、重畳比率設定部により設定されている重 畳比率を用いて第 1の副画像と第 2の副画像とを重畳するのが好ましい。
本発明の第 17の態様によると、第 13〜16のいずれかの態様の画像合成装置にお いて、副画像合成部が重畳後の副画像を得た後の開始指示に応じて、画像合成部 が画像の重畳を開始するのが好まし 、。
本発明の第 18の態様によると、第 17の態様の画像合成装置において、画像合成 部が重畳後の画像を得た後の開始指示に応じて、重畳後の画像の記録が開始され ると好まし ヽ。
本発明の第 19の態様によると、第 18の態様の画像合成装置において、重畳後の 画像の記録形式は、デジタルカメラに設定されて 、る画像の記録形式であるのが好 ましい。
本発明の第 20の態様によると、第 13〜19のいずれかの態様の画像合成装置にお V、て、画像合成部が重畳する画像は RAWデータで記録されて ヽるのが好まし ヽ。 本発明の第 21の態様によると、デジタルカメラは、第 13〜20のいずれかの態様の 画像合成装置を備える。
上記記憶部は、記憶手段と置き換えてもよい。
上記ゲイン付与部は、ゲイン付与手段と置き換えてもよ ヽ。
上記合成部は、合成手段と置き換えてもよい。
上記中断指示部は、中断指示手段と置き換えてもよい。
上記切り替え部は、切り替え手段と置き換えてもよい。
上記画像処理部は、画像処理手段と置き換えてもよい。
上記記録制御部は、記録制御手段と置き換えてもよ 、。
上記記録選択部は、記録選択手段と置き換えてもよい。
上記合成選択部は、合成選択手段と置き換えてもよい。
上記画像合成部は、画像合成手段と置き換えてもよい。
上記副画像合成部は、副画像合成手段と置き換えてもよ ヽ。
上記表示部は、表示手段と置き換えてもよい。
上記重畳比率設定部は、重畳比率設定手段と置き換えてもよ!ヽ。
発明の効果
本発明によれば、多重露出撮影枚数に基づ ヽて総和が 1となるように決定されたゲ インを撮像された複数枚の画像に付与してから、当該複数枚の画像を合成して多重 露出撮影画像を生成するようにした。これによつて、合成途中でデータがオーバーフ ローするのを回避することができる。また、合成時に露出オーバーとなることを防ぐこ とができ、適正露出での多重露出撮影画像を得ることができる。 また、他の発明によれば、多重露出撮影画像とともに元画像を保存するようにした ので、必要に応じて元画像を参照することができる。
また、他の発明によれば、画像合成手段が第 1の画像と第 2の画像との重畳を開始 する前に、データ数が少な 、第 1の副画像とデータ数が少な 、第 2の副画像とを重 畳し、重畳後の副画像を表示するようにしたので、 画像の全域についての重ね合わ せ効果を即座に確認することができる。
図面の簡単な説明
[0007] [図 1]デジタルカメラの一実施の形態の構成を示すブロック図である。
[図 2]第一の実施形態による多重露出設定画面の具体例を示す図である。
[図 3]第一の実施形態でイメージメモリに記憶される RAWデータの具体例を示す図 である。
[図 4]デジタルカメラにおける処理の流れを示したフローチャート図である。
[図 5]第二の実施形態による多重露出設定画面の具体例を示す図である。
[図 6]第二の実施形態でイメージメモリに記憶される RAWデータの具体例を示す図 である。
[図 7]第三の実施形態による電子カメラの構成を示す図である。
[図 8]画像合成モードにおいて表示される初期画面を例示する図である。
[図 9]画像選択画面を例示する図である。
[図 10]画像合成画面を例示する図である。
[図 11]画像合成画面を例示する図である。
[図 12]ゲインを変更した場合の画像合成画面を例示する図である。
[図 13]ゲインを変更した場合の画像合成画面を例示する図である。
発明を実施するための最良の形態
[0008] 以下、本発明を実施するための最良の形態について説明する。
(第一の実施形態)
図 1は、本発明の第一の実施形態におけるデジタルカメラの一実施の形態の構成 を示すブロック図である。デジタルカメラ 100は、撮影レンズ 1と、 CCDなどの撮像素 子 2と、撮像素子 2から出力されるアナログ信号をデジタル信号に変換する AZD変 換回路 3と、撮像素子 2に対してタイミング信号を与えるタイミングジェネレータ (TG) 4と、撮像した複数の画像を一時的に記憶するイメージメモリ(半導体メモリ) 5と、後 述する各種画像処理を実行する画像処理回路 6と、画像処理回路 6で画像処理され た画像データを JPEG等の画像形式に圧縮して変換する圧縮回路 7と、撮像した画 像を TFTなどの表示装置 9に表示するための表示処理を行う表示回路 8と、圧縮回 路 7で圧縮された画像データを一時的に記憶するメモリ 10と、メモリ 10に記憶された 画像データをコピーして保存するためのメモリーカード等の着脱可能な記録媒体 11 と、デジタルカメラ 102を制御する CPU12と、使用者によって操作されるレリーズボタ ンゃ各種設定ボタンなどを含む入力装置 13とを備えている。
[0009] なお、表示装置 9には上述した画像表示機能以外に、デジタルカメラ 100の各種設 定値を変更するためのメニューが表示され、表示されたメニューにしたがって使用者 が入力装置 13を操作することによって、デジタルカメラ 100の設定を変更することが 可能となっている。
[0010] デジタルカメラ 100においては、使用者によってレリーズボタンが押下されると、被 写体の輝度に応じて設定された絞りとシャッタースピードで撮影が行われ、撮像素子
2には被写体像に対応した電荷が蓄積される。撮像素子 2に蓄積された電荷は、 A ZD変換回路 3によってデジタル信号に変換され、各種画像処理が行われる前の生 の画像データ、すなわち RAWデータがイメージメモリ 5に記憶される。なお、イメージ メモリ 5はバッファメモリであり、複数枚の RAWデータを記憶することができる。
[0011] 画像処理回路 6は、イメージメモリ 5に記憶された RAWデータを読み込んで、補間 、色温度補正、および階調補正などの公知の画像処理や後述する自動ゲイン補正、 および画像の合成を行う。その後、圧縮回路 7によって所定の圧縮形式、例え «JPE G形式に画像データを圧縮変換してメモリ 10に記憶する。メモリ 10に記憶された画 像データは、自動的に、または使用者からの指示により記録媒体 11にコピーされて 記憶される。また、画像処理回路 6で画像処理された画像データは、表示回路 8によ つて表示処理が実行され、表示装置 9に表示される。
[0012] 第一の実施の形態におけるデジタルカメラ 100は、多重露出による撮像が可能とな つており、多重露出撮影モードが設定されると、使用者によってあらかじめ設定され たコマ数 (枚数)の画像を多重露出撮影モードによって撮像する。使用者により多重 露出撮影モードが指示されると、表示装置 9に図 2に示す多重露出設定画面が表示 される。この多重露出設定画面において、まず多重露出によって撮像するコマ数をコ マ数入力欄 2aに入力して設定する。コマ数は、所定の範囲、例えば 2コマ〜 10コマ の間で任意に設定できるようになつている。また、使用者は、同時に後述する自動ゲ イン補正を行うか否かを設定する。自動ゲイン補正を行うか否は、自動ゲイン補正設 定欄 2bで、自動ゲイン補正を「しない」(無効)および「する」(有効)のいずれかを選 択することによって設定する。なお、コマ数入力欄 2aにコマ数が設定されない場合に は、多重露出による撮像は行わないものとする。
[0013] 使用者によって多重露出撮影のコマ数が設定された多重露出撮影モード設定状 態では、設定されたコマ数の撮影が行われるまで、レリーズスィッチの押下のたびに 設定された露出値で各コマの画像が撮像される。そして、各コマの画像データ、すな わち RAWデータはイメージメモリ 5に記憶される。例えば、コマ数が 5に設定されてい る場合には、図 3に示すように画像 1〜画像 5の 5コマの RAWデータがイメージメモリ 5に記憶される。
[0014] 画像処理回路 6は、イメージメモリ 5に記憶された全ての RAWデータを加算して合 成する。このとき、図 2に示す多重露出設定画面で自動ゲイン補正が「しない」に設定 されて 、た場合には、イメージメモリ 5に記憶された全ての RAWデータを順番に加算 して合成する。すなわち、イメージメモリ 5に記憶された各 RAWデータは、撮像素子 2 の各画素から出力された電荷をデジタルィ匕したデジタルデータであるため、画像上 の同一位置の画素データを加算することによって合成が可能である。したがって、例 えば画像 1に画像 2を加算(画像 1 +画像 2)した後、その加算結果にさらに画像 3を 加算するように、順番に画像を加算すれば合成することができる。
[0015] し力し、このようにイメージメモリ 5に記憶された RAWデータをそのまま合成していく と露出オーバーとなってしまうおそれがある。そこで、これを回避するために、多重露 出を行うコマ数に応じて、露出値を露出アンダーに設定しておく必要があり、例えば 5 コマの多重露出を行う場合には、次式(1)によって適正露出値を算出して設定して おく必要がある。 適正露出値 =Log(lZ5)ZLog2 = 2. 3 …ひ)
これにより、 5コマの多重露出を行う場合には露出を 2. 3段アンダーにあら力じめ設 定して力も撮像すればょ 、ことが分かる。
[0016] しかし、このように多重露出による撮影時に、多重露出を行うコマ数に応じた適正露 出をその都度算出することは作業が煩雑となり好ましくない。そこで、第一の実施の 形態にお 、て、図 2に示す多重露出設定画面で自動ゲイン補正が「する」に設定さ れて 、た場合には、イメージメモリ 5に記憶された各 RAWデータをあら力じめデジタ ル的にゲインダウンして力も画像上の同一位置の画素データを加算することによって 合成する。例えば、 5コマの多重露出を行った場合、イメージメモリ 5に記憶された 5 枚の RAWデータを次式(2)によりあらカゝじめ自動ゲイン設定、すなわちゲインダウン してから加算する。
K1 X画像 1 +K2 X画像 2+K3 X画像 3 +K4 X画像 4+K5 X画像 5 · · · (2) [0017] 式(2)において変数 K1〜K5は、各画像のデジタルゲインを示しており、その総和 力 となるように設定される。例えば、 Κ1 =Κ2=Κ3=Κ4=Κ5 = 0. 2のように 1をコ マ数で按分して各画像に乗じる(付与する)ことで、全ての画像を同一のデジタルゲイ ンでゲインダウンすることができる。また、 Κ1 >Κ2>Κ3 >Κ4 >Κ5とすることで、後 に撮像した RAWデータほど喑 、画像となり、画像をフェードアウトするように表示させ ることが可能となり、 K1 <K2<K3<K4<K5とすることで、後に撮像した RAWデー タほど明るい画像となり、画像をフェードインするように表示させることが可能となる。
[0018] このように、多重露出により撮像した各 RAWデータに対して、その総和が 1となるゲ インを乗じてゲインダウンしてから加算して合成することによって、合成時に露出ォー バーとなることを防ぐことができ、適正露出での多重露出撮影画像を得ることができる 。また、上述したイメージメモリ 5に記憶された RAWデータをそのまま合成していく方 法では、あら力じめ設定された多重露出によって撮像するコマ数が多い場合には、 R AWデータを加算していく途中でデータがオーバーフローする可能性がある力 本発 明によればあら力じめゲインダウンして力も加算するため、これも回避することが可能 となる。
[0019] さらに第一の実施の形態においては、多重露出を途中で中断した場合にも適正露 出での多重露出撮影画像を得ることができるように以下のように処理する。なお、多 重露出が途中で中断される場合としては、例えば、(A)使用者による入力装置 13の 操作により多重露出の中断が指示された場合、(B)あらかじめ設定された所定時間、 デジタルカメラ 100が操作されなカゝつた場合に自動的に電源をオフする機能を有し ている場合に、その所定時間操作されずに自動的に電源がオフされたとき、(C)使 用者によって入力装置 13が操作され、デジタルカメラ 100の電源がオフされたとき、 のいずれかが考えられ、これらは CPU12によって制御される。
[0020] 画像処理回路 6は、上記 (A)〜(C)のいずれかによつて、多重露出が途中で中断 したと判断した場合には、中断時に撮像されたコマ数の RAWデータに基づいて、式 (2)により合成を行う。例えば、多重露出によって撮像するコマ数が 8に設定されてい る場合、中断が無ければ撮像した 8コマの RAWデータに対して K1〜K8の合計が 1 になるようにデジタルゲインを設定して式(2)に基づ ヽて自動ゲイン設定して合成を 行うが、 5コマ撮像時点で多重露出が中断した場合には、撮像した 5コマの RAWデ ータに対して、 K1〜K5の合計が 1になるようにデジタルゲインを設定して式(2)に基 づいて自動ゲイン設定して合成を行う。これによつて、多重露出が途中で中断した場 合でも、適正露出での多重露出撮影画像を得ることができる。
[0021] 図 4は、第一の実施の形態のデジタルカメラ 100における処理の流れを示したフロ 一チャートである。図 4に示す処理は、デジタルカメラの電源がオンされると起動する プログラムとして CPU12により実行される。ステップ S10において、使用者によってレ リーズボタンが押下された力否かが判断される。使用者によってレリーズボタンが押 下されたと判断された場合には、ステップ S20へ進む。ステップ S20では、撮影レン ズ 1を介して撮像素子 2により被写体の撮像を行う。このとき、露出条件が自動露出撮 影モードであれば、被写体の輝度によって適正露出値が設定される。その後ステツ プ S30へ進む。ステップ S30では、撮像素子 2に蓄積された電荷を AZD変換回路 3 によってデジタル信号に変換した RAWデータをイメージメモリ 5に記憶する。
[0022] その後ステップ S40へ進み、使用者によって図 2に示す多重露出設定画面上で多 重露出撮影モードが指示されている力、すなわち多重露出によって撮像するコマ数 が設定されて ヽるかを判断する。多重露出による撮像が指示されて ヽな 、場合には 、後述するステップ S 100へ進む。これに対して、多重露出撮影モードが指示されて いる場合には、ステップ S50へ進む。ステップ S50では、使用者によってあらかじめ 設定された多重露出によって撮像するコマ数の撮像が完了したカゝ否かを判断する。 多重露出によって撮像するコマ数の撮像が完了したと判断した場合には、ステップ S 70へ進む。
[0023] 一方、多重露出によって撮像するコマ数の撮像が完了していないと判断した場合 には、ステップ S60へ進む。ステップ S60では、上述した (A)〜(C)のいずれかの理 由によって、多重露出が途中で中断した力否かを判断する。多重露出が中断してい ないと判断した場合には、ステップ S 10へ戻ってレリーズスィッチの押下を待つ。そし て、レリーズスィッチが押下されると上述した処理を行う。一方、多重露出が中断した と判断した場合には、ステップ S70へ進む。
[0024] ステップ S70では、図 2に示す多重露出設定画面で使用者によって自動ゲイン補 正が「する」に設定されて ヽたカゝ否かを判断する。 自動ゲイン補正が「しな ヽ」に設定 されていたと判断した場合には、ステップ S90へ進む。これに対して、自動ゲイン補 正が「する」に設定されていたと判断した場合には、ステップ S80へ進み、画像処理 回路 6は上述したように式(2)に基づ 、てイメージメモリ 5に記憶されて 、る各 RAW データをゲインダウンして力 ステップ S90へ進む。なお、上述したように、ゲイン Kは コマ数に基づいて設定されるので、中断した場合には予め定めたコマ数に応じて決 定されるゲインを用いるのではなぐ実撮影コマ数に基づいて決定されるゲインを用 いる。
[0025] ステップ S90では、画像処理回路 6はイメージメモリ 5に記憶されている各 RAWデ ータ、もしくはステップ S80でゲインダウンした後の RAWデータを加算して合成して、 ステップ S100へ進む。ステップ S100では、補間、色温度補正、および階調補正な どの公知の画像処理を実行して、ステップ S 110へ進む。ステップ S 110では、画像 処理回路 6によって合成された画像が圧縮回路 7によって所定の圧縮形式に圧縮変 換されてメモリ 10に記憶される。そして、メモリ 10に記憶された画像データは、自動 的に、または使用者からの指示により記録媒体 11にコピーされて記憶される。また、 画像処理回路 6によって合成された画像は表示回路 8によって表示装置 9に表示さ れる。
[0026] その後、ステップ S120へ進み、デジタルカメラ 100の電源がオフされたか否かを判 断する。電源がオフされていないと判断した場合には、ステップ S 10へ戻って処理を 繰り返す。一方、電源がオフされたと判断した場合には、処理を終了する。
[0027] 以上説明した第一の実施形態によれば、以下のような作用効果を得ることができる
(1)使用者によって自動ゲイン補正が「する」に設定されて!ヽた場合には、イメージメ モリ 5に記憶された各 RAWデータをあら力じめデジタル的にゲインダウンして力も画 像上の同一位置の画素データを加算して合成するようにした。これによつて、合成時 に露出オーバーとなることを防ぐことができ、適正露出での多重露出撮影画像を得る ことができる。また、 RAWデータを加算していく途中でデータがオーバーフローする のを回避することができる。
[0028] (2)多重露出により撮像した各 RAWデータに対して、その総和が 1となるデジタルゲ インを乗じてゲインダウンすることとした。これによつて、例えば、総和 1を多重露出に よって撮像するコマ数で按分して算出したデジタルゲインによってゲインダウンするこ とができ、各コマが適正な露出値で撮像されていれば、多重露出によって撮像するコ マ数に応じた適切な露出での多重露出撮影画像を得ることができる。
[0029] (3)多重露出が途中で中断したと判断した場合には、中断時までの撮像コマ数によ りデジタルゲインを算出し、撮像された複数コマの RAWデータにデジタルゲインを乗 じた画像データを合成することとした。これによつて、多重露出を途中で中断した場 合にも適正露出での多重露出撮影画像を得ることができる。
[0030] (4)自動ゲイン設定を「する」か「しない」かを使用者があらかじめ設定できるようにし た。これによつて、被写体の撮像条件を加味した適切な多重露出撮影画像の撮像が 可能となる。
[0031] (変形例 1)
以下のよう〖こ変形することもできる。
(1)上述した実施の形態では、自動ゲイン設定が「する」に設定されて!ヽた場合には 、 RAWデータをー且イメージメモリ 5に記憶した後に、画像処理回路 6は、イメージメ モリ 5に記憶された RAWデータを読み込んで、自動ゲイン設定して合成する例につ いて説明した。しかし、これに限定されず、自動ゲイン設定した後に RAWデータをィ メージメモリ 5に記憶してもよい。なお、多重露出を途中で中断した場合には、中断後 に実撮影コマ数に基づ ヽて再度自動ゲイン設定を行う必要がある。
[0032] (2)上述した実施の形態では、 RAWデータを合成した後に、合成後の画像データに 対して補間、色温度補正、および階調補正などの画像処理を行う例について説明し た。しかし、これに限定されず、 RAWデータに対して画像処理を行った結果、画像 上の同一位置の画素データを加算することによって合成可能なデータを得られる場 合には、各種画像処理を行った後に合成を行ってもよい。
[0033] (3)上述した実施の形態では、画像処理回路 6、圧縮回路 7、および表示回路 8をデ ジタルカメラ 100に搭載する例について説明した力 これに限定されず、画像処理回 路 6、圧縮回路 7、および表示回路 8によって実現される機能を外部機器、例えばパ ソコン等に搭載してもよい。この場合、撮像素子 2によって撮像された RAWデータを メモリーカードやインタフェースケーブルを介してパソコンにコピーしてから各種処理 を行う。
[0034] (第二の実施形態)
第二の実施形態では、合成した多重露出撮影画像に加えて、多重露出撮影画像 の合成に用 ヽた元画像も記録媒体への保存が可能に構成される。
[0035] 第二の実施形態によるデジタルカメラでは、使用者により多重露出撮影モードが指 示されると、表示装置 9に図 5に示す多重露出設定画面が表示される。この多重露出 設定画面において、次の 3つを設定できる。
(a)第一の実施形態と同様に、多重露出によって撮像するコマ数をコマ数入力欄 2a に入力して設定する。コマ数は、所定の範囲、例えば 2コマ〜 10コマの間で任意に 設定できるようになって 、る。
(b)第一の実施形態と同様に、自動ゲイン補正を行うか否かを設定する。自動ゲイン 補正を行うか否は、自動ゲイン補正設定欄 2bで、自動ゲイン補正を「しない」(無効) および「する」(有効)のいずれかを選択することによって設定する。なお、コマ数入力 欄 2aにコマ数が設定されない場合には、多重露出による撮像は行わないものとする (c)多重露出撮影画像の合成に用いた元画像の保存の要否を設定する。これは、元 画像保存要否欄 2cで、元画像を「残す」および「残さな!/ヽ」の!ヽずれかを選択すること によって設定するようになって!/、る。
[0036] 第二の実施形態においては、元画像を「残さない」に設定されている場合は、多重 露出撮影が終了してその多重露出撮影画像を記録媒体 11へ記録する際、多重露 出撮影画像だけが記録媒体 11に保存される。一方、元画像を「残す」に設定されて いる場合は、多重露出撮影が終了してその多重露出撮影画像を記録媒体 11へ記 録する際、多重露出撮影画像とともに元画像も記録媒体 11に保存される。
[0037] なお、自動ゲイン補正を「する」(有効)が選択された場合を第 1合成モードと呼び、 自動ゲイン補正を「しない」(無効)が選択された場合を第 2合成モードと呼ぶ。また、 元画像を「残さない」が選択された場合を第 1記録モードと呼び、元画像を「残す」が 選択された場合を第 2記録モードと呼ぶ。
[0038] 第二の実施形態によるデジタルカメラが行う処理の流れも図 4のフローチャートと同 様である。ステップ S110を除く他のステップの処理は、第一の実施形態と同様なの で説明を省略する。図 4のステップ S110において、 CPU12は、上記合成画像(多重 露出撮影画像)に圧縮変換を行い、圧縮変換後の合成画像を記録媒体 11へ記憶し 、合成画像を表示装置 9に表示させる。 CPU12はさら〖こ、元画像を「残す」に設定さ れている場合は、合成画像を記録媒体 11に記憶する際、元画像も併せて記憶する。 記録媒体 11に記録する元画像は、ゲインダウンした画像であっても良いし、ゲインダ ゥンする以前の RAWデータでもよ ヽ。複数枚の元画像を合成画像と何ら関連を持た せずに記憶しても良 ヽし、合成画像と複数枚の元画像とを一組の画像グループと認 識できるように記憶しても良 、。
[0039] 以上説明した第二の実施形態によれば、以下のような作用効果を得ることができる
(1)使用者によって元画像を「残す」に設定されていた場合には、図 6に例示するよう に、イメージメモリ 5に記憶された各 RAWデータと、これらをあら力じめデジタル的に ゲインダウンして合成してイメージメモリ 5に記憶された合成画像データの双方を記録 媒体に記録するようにした。これにより、元画像の参照が可能となる。
(2)元画像を「残す」か「残さな 、」かを使用者があらかじめ設定できるようにした。こ れによって、必要に応じて合成画像とともに元画像を記録媒体に記録すればよぐ記 録媒体の記録容量をむやみに消費することがない。
[0040] (変形例 2)
以下のよう〖こ変形することもできる。
(1)元画像を「残す」に設定した場合は自動ゲイン補正を強制的に「する」に設定し、 ゲインダウンしていない元画像を記録媒体に保存してもよい。これにより、合成画像と 同じ露出状態の元画像として参照することができる。
[0041] (第三の実施形態)
第三の実施形態では、電子カメラが本画像を合成する前に、合成後の画像の全域 につ 、ての露出状態を使用者が確認できるように構成される。
[0042] 図 7は、本発明の第三の実施形態による電子カメラの構成を示す図である。図 7に おいて、撮影レンズ 1によって被写体像が撮像素子 2の撮像面上に結像される。撮像 素子 2は被写体像を撮像し、撮像信号を AZD変換回路 3へ出力する。 AZD変換 回路 3は、撮像素子 2から入力されたアナログ画像信号をディジタル画像信号に変換 し、変換後のディジタルデータをイメージメモリ 5へ出力する。タイミングジェネレータ( TG) 4は、撮像素子 2に対してタイミング信号を供給する。
[0043] イメージメモリ 5は、ディジタル変換後の画像データや後述する加算後の画像デー タを一時的に格納するメモリである。イメージメモリ 5のメモリ容量は、複数の撮影画像 データを格納することが可能なように十分確保されている。画像処理回路 6Aは、ィメ ージメモリ 5に格納されている画像データに補間処理、色温度処理、階調補正処理 および解像度変換処理などの各種画像処理を行う。ゲイン回路 7Aは、イメージメモリ 5に格納されて 、る画像データにゲインをかける(画素乗算する)。ゲインの値はゲイ ン設定回路 9Aによってゲイン回路 7Aに設定される。
[0044] 加算回路 8Aは、ゲイン回路 7Aで乗算された複数フレームの画像データをフレー ム加算 (対応する画素同士を加算)し、加算後の画像データをイメージメモリ 5へ出力 する。圧縮回路 11Aは、画像処理回路 6Aによって画像処理が施された画像データ を JPEGなどの方式で圧縮処理を行う。表示回路 10Aは、撮影画像を表示装置 13A に再生表示するために必要な表示信号を生成する。
[0045] 表示装置 13Aは、たとえば、 TFT液晶パネルによって構成され、表示回路 10Aで 生成された表示信号による画像を再生表示する。表示装置 13Aは、画像以外に操 作メニューも表示するように構成されている。操作メニューは、電子カメラに対する各 種設定を行う際に使用される。表示回路 10Aは、操作メニューの表示に必要な表示 信号の生成も行う。
[0046] メモリ 14は、圧縮回路 11Aで圧縮処理された画像データを一時的に格納するメモ リである。記録媒体 15は、電子カメラに対して着脱可能なメモリカードによって構成さ れる。電子カメラは、撮影モードにおいてメモリ 14に格納されている画像データを記 録媒体 15に保存し、再生モードおよび画像合成モードにおいて記録媒体 15に保存 されている画像データをメモリ 14に読み出すことが可能に構成される。電子カメラは、 被写体撮影を行う撮影モード、撮影画像を表示装置 13Aに表示する再生モード、撮 影画像を合成する画像合成モードを有する。
[0047] CPU12Aは、以上説明した電子カメラを構成する各ブロックに対する制御を行う。
なお、ゲイン回路 7A、ゲイン設定回路 9A、加算回路 8A、画像処理回路 6A、圧縮 回路 11 Aおよび表示回路 10Aを、とくに画像処理ブロックと呼ぶことにする。操作部 材 16は、後述するモード切換スィッチ、決定キーや十字キーなどのポインティングデ バイスを含み、各種操作に応じた操作信号を発生して CPU12Aへ送出する。モード 切換スィッチは、撮影モード、再生モード、画像合成モードなどを切り換えるためのス イッチである。
[0048] (撮影モード)
モード切換スィッチによって撮影モードに切換操作された電子カメラは、レリーズボ タン (不図示)が押下操作されると、撮影レンズ 1の絞り(不図示)を所定絞りまで駆動 するとともにシャッター (不図示)を開放駆動する。これにより、撮像素子 2の撮像面上 に被写体像が結ばれる。電子カメラは、露出条件に応じた露光時間が得られるように シャッター (不図示)を閉鎖駆動して露光を終了させる。
[0049] 露光中の撮像素子 2において蓄積された電荷は、撮像素子 2から順次読み出され 、 AZD変換後に画像データとしてイメージメモリ 5に格納される。この時点における 画像データは RAWデータと呼ばれ、画像処理が施される前のデータである。
[0050] RAWデータには所定の画像処理および圧縮処理が施され、圧縮処理後の撮影画 像データカ モリ 14を介して記録媒体 15に記録される。また、画像処理後の画像デ ータを用いて生成される表示信号により、表示装置 13Aに撮影画像が再生表示され る。なお、撮影画像データを RAWデータのまま記録することも可能に構成されている
[0051] 電子カメラは、撮影した画像データを画像データファイルとして記録する。画像デー タファイルには、撮影画像 (本画像と呼ぶ)と、本画像よりデータサイズ (画素数)を抑 えた 160 X 120画素の縮小画像(サムネイル画像)とが含まれている。サムネイル画 像は、本画像のデータを用いて生成される。このうち、本画像データの記録形式は、 画像処理の有無および圧縮処理時の圧縮率の違いにより、たとえば、次の 4段階に 分けられている。電子カメラは、撮影時に選択されているデータ記録形式に応じて、 本画像データの記録形式を切り換える。データ記録形式の選択は、たとえば、上記 操作メニューによって行われる。
[0052] (1)画像データに画像処理を施さずに記録する「RAW」
(2)所定の画像処理後の画像データを非圧縮の RGB— TIFF形式で記録する「TIF F」
(3)所定の画像処理後の画像データを圧縮率約 1Z5で記録する「FINE」
(4)所定の画像処理後の画像データを圧縮率約 ΙΖΙΟで記録する「NORMAL」 一般に上記(1)側が高画質であり、上記 (4)側が低画質である。上記(3)、(4)にお ける圧縮処理〖お PEG形式で行われる。なお、所定の画像処理とは、色温度調整処 理などである。第三の実施形態では、本画像データの記録形式として(1)が選択さ れる。
[0053] (画像合成モード)
モード切換スィッチによって画像合成モードに切換操作された電子カメラは、記録 媒体 15に記録されている 2つの画像 (第 1の画像および第 2の画像と呼ぶ)を重ね合 わせ合成する。画像合成処理は、 1.画像選択、 2.ゲイン設定、 3.合成、 4.保存の 順に行われる。図 8は、画像合成モードにおいて表示装置 13Aに表示される初期画 面を例示する図である。
[0054] 1.画像選択
CPU12Aは、図 8の初期画面が表示装置 13Aに表示されている状態で、操作部 材 16を構成する十字キーから第 1の画像に対応する「Image 1」を選択する操作信号 が入力され、さらに決定キーから選択決定を示す操作信号が入力されると、表示装 置 13Aに表示中の初期画面に代えて図 9に示す画像選択画面を表示させる。図 9に おいて、記録媒体 15に記録されている 6つの画像データファイル力もそれぞれ読み 出された 6つのサムネイル画像力 上下 2段に 3画像ずつ表示されている。 CPU12A は、十字キーから上段中央の画像 (ビル夜景)を選択する操作信号が入力され、さら に決定キーから選択決定を示す操作信号が入力されると、当該画像を第 1の画像と するとともに、表示装置 13 Aに表示中の画像選択画面に代えて図 10に示す画像合 成画面を表示させる。なお、画像選択画面に表示されている 6つのサムネイル画像 以外の他のサムネイル画像についても、十字キー操作によって新たに記録媒体 15 に記録されている画像データファイル力 読み出して表示させることが可能に構成さ れている。
[0055] 図 10において、「Image 1」として第 1の画像に対応するサムネイル画像と、「Preview 」として第 1の画像と同一のサムネイル画像が表示される。 CPU12Aは、操作部材 16 を構成する十字キーから第 2の画像に対応する「Image 2」を選択する操作信号が入 力され、さらに決定キーから選択決定を示す操作信号が入力されると、表示装置 13 Aに表示中の図 10の表示画面に代えて図 9のような画像選択画面を再び表示させる 。 CPU12Aは、十字キーから下段右の画像 (月)を選択する操作信号が入力され、さ らに決定キーから選択決定を示す操作信号が入力されると、当該画像を第 2の画像 とするとともに、表示装置 13Aに表示中の画像選択画面に代えて図 11に示す画像 合成画面を表示させる。
[0056] 図 11において、「Image 1」として第 1の画像に対応するサムネイル画像と、「Image 2 」として第 2の画像に対応するサムネイル画像と、「Preview」として第 1の画像および 第 2の画像に対応する 2つのサムネイル画像を合成したサムネイル画像が表示される [0057] 2.ゲイン設定
CPU12Aは、操作部材 16を構成する十字キーから第 1の画像に対するゲイン「Gai n 1」を選択する操作信号が入力され、当該ゲインを増減させる操作信号が入力され ると、第 1の画像に対するゲインの設定値を初期値「1.0」から操作信号に応じた値に 変更するとともに、変更後のゲインの値を示すデータをゲイン設定回路 9Aへ送る。ゲ イン設定回路 9Aが変更後のゲインの設定値をゲイン回路 7Aに設定することにより、 表示装置 13Aには変更後のゲインがかけられた第 1の画像に対応するサムネイル画 像が再生表示される。
[0058] 同様に CPU12Aは、操作部材 16を構成する十字キーから第 2の画像に対するゲ イン「Gain 2」を選択する操作信号が入力され、当該ゲインを増減させる操作信号が 入力されると、第 2の画像に対するゲインの設定値を初期値「1.0」から操作信号に応 じた値に変更するとともに、変更後のゲインの値を示すデータをゲイン設定回路 9A へ送る。ゲイン設定回路 9Aが変更後のゲインの設定値をゲイン回路 7Aに設定する ことにより、表示装置 13Aには変更後のゲインがかけられた第 2の画像に対応するサ ムネイル画像が再生表示される。
[0059] 図 12は、第 1の画像に対するゲインの設定値を「0.7」に、第 2の画像に対するゲイ ンの設定値を「1.3」に、それぞれ変更した場合の画像合成画面を例示する図である 。図 12において、第 1の画像 (ビル夜景)のゲインが 1より小さく変更されることによつ て露出がアンダー側に補正され、第 2の画像 (月)のゲインが 1より大きく変更されるこ とによって露出がオーバー側に補正される。
[0060] 図 13は、第 1の画像に対するゲインの設定値を「1.0」のままで、第 2の画像に対す るゲインの設定値を「0.3」に変更した場合の画像合成画面を例示する図である。図 1 3において、第 2の画像 (月)のゲインが 1より小さく変更されることにより、露出がアン ダー側に補正される。
[0061] 第 1の画像および第 2の画像に対応する 2つのサムネイル画像の合成は、上記カロ 算回路 8Aが行う。加算回路 8Aは、ゲインがかけられた第 1の画像に対応するサムネ ィル画像、およびゲインがかけられた第 2の画像に対応するサムネイル画像にっ 、て 、対応する画素同士を加算する。加算後 (合成後)のサムネイル画像は、図 11〜図 1 3にお!/、て「Preview」としてリアルタイムに表示される。
[0062] 3.合成
CPU12Aは、図 11〜図 13のような画像合成画面が表示装置 13Aに表示されてい る状態で、操作部材 16を構成する十字キーから「合成」を選択する操作信号が入力 され、さらに決定キーから選択決定を示す操作信号が入力されると、第 1の画像に対 応する本画像と第 2の画像に対応する本画像との合成を開始させる。
[0063] CPU12Aは、 2つの本画像のデータを記録媒体 15からそれぞれ読み出し、読み 出した本画像データをイメージメモリ 5へそれぞれ格納する。ゲイン回路 7Aは、第 1 の画像に対応する本画像および第 2の画像に対応する本画像のそれぞれに対し、 設定されて ヽるゲイン(図 11〜図 13に示す画像合成画面の中で表示されて ヽる値) をかける。加算回路 8Aは、ゲインがかけられた第 1の画像に対応する本画像、およ びゲインがかけられた第 2の画像に対応する本画像について、対応する画素同士を 加算する。加算後(合成後)の本画像のデータは、合成画像データとしてイメージメモ リ 5に格納される。
[0064] 4.保存
CPU12Aは、図 11〜図 13のような画像合成画面が表示装置 13Aに表示されてい る状態で、上記 3の合成処理後に操作部材 16を構成する十字キーから「保存」を選 択する操作信号が入力され、さらに決定キーから選択決定を示す操作信号が入力さ れると、上記 3による合成画像データをイメージメモリ 5からメモリ 14を経由して記録媒 体 15に記録する。このとき、本画像に相当する合成画像と、サムネイル画像に相当 する合成画像 (本画像に相当する合成画像から 160 X 120画素にリサイズ処理を施 して生成する)とを含む画像データファイルとして記録する。本画像に相当するデー タの記録形式は、撮影モードにお!、て電子カメラで選択されて 、るデータ記録形式 に従う。
[0065] 以上説明した第三の実施形態によれば、以下の作用効果が得られる。
(1)電子カメラは画像合成モードにおいて第 1の画像および第 2の画像を重ね合わ せ合成する。画像合成処理は、 1.画像選択、 2.ゲイン設定、 3.合成、 4.保存の順 に行う。上記 2のゲイン設定後(ゲイン設定値が初期値「1.0」でよい場合は上記 1の画 像選択後)、第 1の画像に対応するサムネイル画像と、第 2の画像に対応するサムネ ィル画像とを合成したサムネイル画像を画像合成画面(図 11〜図 13)において「Pre view」として表示する。一般に、画像データファイルに記録されているサムネイル画像 は 8ビットで示される YCbCrデータであり、画素数は 160 X 120 ( = 19200)と本画像 (たとえば、数百万画素)に比べて非常に小さい。さらに、サムネイル画像は補間処理 や色温度処理が施されて 、るため、「Preview」表示のために補間処理や色温度処理 を行う必要もない。したがって、サムネイル画像同士の加算 (合成)を瞬時に行って「P review」としてのサムネイル合成画像を表示できるので、使用者は、本画像について 画像合成を行う前に、合成後の画像の露出状態を即座に確認できる。
[0066] (2)画像合成画面(図 11〜図 13)では、選択した 2つのサムネイル画像 (合成前のサ ムネイル画像)と、合成後のサムネイル画像とを同じ画面に表示したので、合成結果 の確認が行いやすくなる。
[0067] (3) 2つのサムネイル画像 (合成前のサムネイル画像)に対するゲインを変更可能に 構成し、サムネイルを構成する全画素に対して画素乗算するので、サムネイル画像 の全域において合成時の露出加減の調節状態や合成結果を確認することができる。
[0068] (4)本画像データの記録形式として(1)「RAW」形式としたので、合成後の本画像デ ータも「RAW」形式で記録させることができる。「RAW」形式のデータ同士を合成 (カロ 算)することにより、合成時に乗じる階調特性などの劣化を「JPEG」同士のデータを 合成 (加算)する場合に比べて抑えることができる。さらに、合成後の本画像データも 「RAW」形式で記録させることにより、合成後の画像を他の画像とさらなる合成を行う ことも可會 になる。
[0069] (5)サムネイル画像同士の加算(合成)を行って「Preview」表示するために、記録媒 体 15に記録されている画像データファイルに対して何も加工を施さなくてよいので、 合成元の画像データファイルを破壊するおそれがない。
[0070] 上述した説明では、本画像データの記録形式として画像処理の有無や圧縮処理 時の圧縮率の違いで区別する例を示した力 たとえば、 Lサイズ、 Sサイズのようにデ ータサイズ (画素数)の違 、で区別するようにしてもよ!、。 [0071] 画像データファイルに含まれるサムネイル画像のデータを用いて「Preview」表示の ための合成を行うようにしたが、本画像のデータよりデータサイズが小さ 、画像であ れば、本画像のデータを間引くなどして生成したサムネイル以外の画像データを用 V、て「Preview」表示のための合成を行ってもよ!、。
[0072] 第三の実施形態では、第 1の画像と第 2の画像との 2画像を重ね合わせ合成する例 を説明したが、合成する画像の数は 2画像に限らず、 3画像でも 6画像でもよい。
[0073] 画像選択画面(図 9)において、 6つのサムネイル画像を上下 2段に表示させるよう にしたが、 1画面に表示するサムネイル画像の数は 6画像に限ることなぐ 4画像でも 9画像でもよい。
[0074] 第三の実施形態の説明では、画像合成処理を電子カメラで行う例を説明した。電 子カメラ以外にも、フォトストレージャゃフォトスタンド、 PDAなどの電子画像を扱う機 器に画像合成処理を行わせることにより、画像合成装置を構成するようにしてもよい。
[0075] 以上の説明では種々の実施形態および変形例を説明したが、本発明はこれらの内 容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の 態様も、本発明の範囲内に含まれる。
[0076] 次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願 2004年第 310301号(2004年 10月 26日出願)
日本国特許出願 2005年第 172215号(2005年 6月 13日出願)
日本国特許出願 2005年第 779号(2005年 1月 5日出願)

Claims

請求の範囲
[1] デジタルカメラは、
多重露出撮影モードが設定されているときに撮像素子で撮像される複数枚の画像 を記憶する記憶部と、
多重露出撮影枚数に基づいて総和が 1となるように決定されたゲインを撮像された 複数枚の画像に付与するゲイン付与部と、
ゲイン付与部でゲインを付与した後に、複数枚の画像を合成して多重露出撮影画 像を生成する合成部とを備える。
[2] 請求項 1に記載のデジタルカメラにぉ ヽて、
合成部は、撮像された画像がゲインを付与した後に記憶部に記憶されている場合 は、記憶部から複数枚の画像を読み出して合成し、撮像された画像がゲインを付与 せずに記憶部に記憶されて ヽる場合は、記憶部から読み出した複数枚の画像にゲイ ンを付与して合成する。
[3] 請求項 1または 2に記載のデジタルカメラにぉ ヽて、
多重露出撮影枚数の撮像が完了する前に撮像を中断させる中断指示部をさら〖こ 備え、
中断指示部によって多重露出撮影枚数の撮像が完了する前に撮像が中断された 場合には、ゲイン付与部は、中断されるまでに撮像された枚数に基づいて総和が 1と なるように決定されたゲインを撮像された複数枚の画像に付与し、
合成部は、中断されるまでに撮像された複数枚の画像を合成して多重露出撮影画 像を生成する。
[4] 請求項 1〜3のいずれか一項に記載のデジタルカメラにおいて、
ゲイン付与部によるゲイン付与の有効および無効を切り替える切り替え部をさらに 備え、
ゲイン付与部は、切り替え部によってゲイン付与が有効にされたときに、ゲインを撮 像された複数枚の画像に付与する。
[5] 請求項 1〜4のいずれか一項に記載のデジタルカメラにおいて、
合成部によって生成された多重露出撮影画像に対して、各種画像処理を実行する 画像処理部をさらに備える。
[6] デジタルカメラは、
多重露出撮影モードが設定されているときに撮像素子で撮像される複数枚の画像 を記憶する記憶部と、
記憶部に記憶されている複数枚の画像を合成して多重露出撮影画像を生成する 合成部と、
合成部で合成された多重露出撮影画像を記録媒体へ記録する処理を行う際、多 重露出撮影画像とともに記憶部に記憶されている合成前の元画像も記録媒体に記 録する記録制御部とを備える。
[7] 請求項 6に記載のデジタルカメラにぉ ヽて、
多重露出撮影画像を記録媒体へ記録する処理を行う際、多重露出撮影画像だけ を記録する第 1記録モードと、多重露出撮影画像および元画像を記録する第 2記録 モードとを選択する記録選択部をさらに備える。
[8] 請求項 7に記載のデジタルカメラにぉ ヽて、
多重露出撮影枚数に基づいて総和が 1となるように決定されたゲインを撮像された 複数枚の画像に付与するゲイン付与部をさらに備え、
合成部は、ゲイン付与部でゲインを付与した後に、複数枚の画像を合成して多重 露出撮影画像を生成する。
[9] 請求項 8に記載のデジタルカメラにぉ ヽて、
合成部による画像合成に際して、ゲイン付与部でゲインを付与した後に、複数枚の 画像を合成して多重露出撮影画像を生成する第 1合成モードと、ゲイン付与部でゲ インを付与せずに、複数枚の画像を合成して多重露出撮影画像を生成する第 2合成 モードとを選択する合成選択部をさらに備える。
[10] 請求項 9に記載のデジタルカメラにぉ ヽて、
記録選択部で第 2記録モードが選択された場合、
合成部は、合成選択部で第 2合成モードが選択されていても、元画像に対してゲイ ン付与部でゲインを付与した後に、複数枚の画像を合成して多重露出撮影画像を生 成し、 記録制御部は、ゲインが付与されな ヽ元画像を多重露出撮影画像とともに記録媒 体に記録する。
[11] 請求項 6に記載のデジタルカメラにおいて、
多重露出撮影枚数に基づいて総和が 1となるように決定されたゲインを撮像された 複数枚の画像に付与するゲイン付与部をさらに備え、
合成部は、ゲイン付与部でゲインを付与した後に、複数枚の画像を合成して多重 露出撮影画像を生成する。
[12] 請求項 11に記載のデジタルカメラにぉ ヽて、
合成部による画像合成に際して、ゲイン付与部でゲインを付与した後に、複数枚の 画像を合成して多重露出撮影画像を生成する第 1合成モードと、ゲイン付与部でゲ インを付与せずに、複数枚の画像を合成して多重露出撮影画像を生成する第 2合成 モードとを選択する合成選択部をさらに備える。
[13] 画像合成装置は、
第 1の画像と第 2の画像とを重畳した画像を得る画像合成部と、
画像合成部が画像の重畳を開始する前に、第 1の画像のデータに基づいて生成さ れた第 1の画像よりデータ数が少ない第 1の副画像と、第 2の画像のデータに基づい て生成された第 2の画像よりデータ数が少な 、第 2の副画像とを重畳し、画像合成部 で得られるであろう重畳後の画像に対応する副画像を得る副画像合成部と、 副画像合成部による重畳後の副画像を表示する表示部とを備える。
[14] 請求項 13に記載の画像合成装置において、
表示部は、第 1の副画像、第 2の副画像、および重畳後の副画像を同じ画面内に 表示する。
[15] 請求項 13または 14に記載の画像合成装置において、
第 1の副画像は、第 1の画像が記録されているデータファイル内に含まれているサ ムネイル画像であり、
第 2の副画像は、第 2の画像が記録されているデータファイル内に含まれているサ ムネイル画像である。
[16] 請求項 13〜15のいずれか一項に記載の画像合成装置において、 画像合成部が画像を重畳する際の重畳比率を設定する重畳比率設定部をさらに 備え、
副画像合成部は、重畳比率設定部により設定されて ヽる重畳比率を用いて第 1の 副画像と第 2の副画像とを重畳する。
[17] 請求項 13〜16のいずれか一項に記載の画像合成装置において、
副画像合成部が重畳後の副画像を得た後の開始指示に応じて、画像合成部が画 像の重畳を開始する。
[18] 請求項 17に記載の画像合成装置において、
画像合成部が重畳後の画像を得た後の開始指示に応じて、重畳後の画像の記録 が開始される。
[19] 請求項 18に記載の画像合成装置において、
重畳後の画像の記録形式は、デジタルカメラに設定されて 、る画像の記録形式で ある。
[20] 請求項 13〜19のいずれか一項に記載の画像合成装置において、
画像合成部が重畳する画像は RAWデータで記録されている。
[21] デジタルカメラは、請求項 13〜20のいずれか一項に記載の画像合成装置を備え る。
PCT/JP2005/019284 2004-10-26 2005-10-20 デジタルカメラおよび画像合成装置 WO2006046460A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP05795739.1A EP1814315B1 (en) 2004-10-26 2005-10-20 Digital camera and image combination device
US11/666,081 US20090021594A1 (en) 2004-10-26 2005-10-20 Digital Camera and Image Combination Device
US13/529,652 US8564691B2 (en) 2004-10-26 2012-06-21 Digital camera and image combination device

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2004-310301 2004-10-26
JP2004310301A JP4306584B2 (ja) 2004-10-26 2004-10-26 デジタルカメラ
JP2005-000779 2005-01-05
JP2005000779A JP4379334B2 (ja) 2005-01-05 2005-01-05 画像合成装置および電子カメラ
JP2005172215A JP2006352229A (ja) 2005-06-13 2005-06-13 デジタルカメラ
JP2005-172215 2005-06-13

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US11/666,081 A-371-Of-International US20090021594A1 (en) 2004-10-26 2005-10-20 Digital Camera and Image Combination Device
US13/529,652 Continuation US8564691B2 (en) 2004-10-26 2012-06-21 Digital camera and image combination device

Publications (1)

Publication Number Publication Date
WO2006046460A1 true WO2006046460A1 (ja) 2006-05-04

Family

ID=36227700

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/019284 WO2006046460A1 (ja) 2004-10-26 2005-10-20 デジタルカメラおよび画像合成装置

Country Status (3)

Country Link
US (2) US20090021594A1 (ja)
EP (2) EP3310037A1 (ja)
WO (1) WO2006046460A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100128142A1 (en) * 2008-11-21 2010-05-27 Manabu Ichikawa Image processing apparatus, image processing method, and storage medium storing image processing program

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7730398B2 (en) 2005-10-25 2010-06-01 Research In Motion Limited Image stitching for mobile electronic devices
JP4600424B2 (ja) * 2007-05-08 2010-12-15 セイコーエプソン株式会社 未現像画像データの現像処理装置、現像処理方法、および現像処理のためのコンピュータプログラム
JP4492724B2 (ja) * 2008-03-25 2010-06-30 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP4483963B2 (ja) * 2008-03-25 2010-06-16 ソニー株式会社 撮像装置、撮像方法
JP5077003B2 (ja) 2008-03-25 2012-11-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP4483962B2 (ja) * 2008-03-25 2010-06-16 ソニー株式会社 撮像装置、撮像方法
JP4544332B2 (ja) * 2008-04-07 2010-09-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム
TW201101829A (en) * 2009-06-19 2011-01-01 Asia Optical Co Inc Image capture and processing methods and systems, and computer program products thereof
CN102129148A (zh) * 2010-01-20 2011-07-20 鸿富锦精密工业(深圳)有限公司 相机及照片拍摄与处理方法
CN102129147A (zh) * 2010-01-20 2011-07-20 鸿富锦精密工业(深圳)有限公司 相机及照片拍摄与处理方法
KR101701852B1 (ko) * 2010-12-29 2017-02-13 엘지전자 주식회사 이동단말기 및 그 제어방법
JP5762115B2 (ja) * 2011-04-28 2015-08-12 キヤノン株式会社 撮像装置及びその制御方法
JP2012235228A (ja) * 2011-04-28 2012-11-29 Canon Inc 撮像装置及びその制御方法
JP5725965B2 (ja) * 2011-04-28 2015-05-27 キヤノン株式会社 撮像装置及びその制御方法
JP5882599B2 (ja) * 2011-04-28 2016-03-09 キヤノン株式会社 撮像装置及びその制御方法
EP2782963B1 (en) * 2011-11-21 2017-01-04 SABIC Global Technologies B.V. Flame retardant thermoplastic polycarbonate compositions
JP5990004B2 (ja) * 2012-02-08 2016-09-07 キヤノン株式会社 撮像装置
WO2013179725A1 (ja) 2012-05-31 2013-12-05 オリンパスイメージング株式会社 撮像装置、画像処理装置、画像ファイルを記録した記録媒体、記録方法、画像再生方法およびプログラム
US9148582B2 (en) * 2012-06-29 2015-09-29 Intel Corporation Method and system for perfect shot imaging from multiple images
US10573045B2 (en) 2012-12-19 2020-02-25 Shutterfly, Llc Generating an assembled group image from subject images
US9025906B2 (en) * 2012-12-19 2015-05-05 Lifetouch Inc. Generating an assembled group image from subject images
US9910865B2 (en) 2013-08-05 2018-03-06 Nvidia Corporation Method for capturing the moment of the photo capture
JP2015177221A (ja) * 2014-03-13 2015-10-05 オリンパス株式会社 撮像装置、撮像方法、データ記録装置、及びプログラム
JP6508626B2 (ja) * 2015-06-16 2019-05-08 オリンパス株式会社 撮像装置、処理プログラム、撮像方法
JP2017108309A (ja) * 2015-12-10 2017-06-15 オリンパス株式会社 撮像装置および撮像方法
CN108683862B (zh) 2018-08-13 2020-01-10 Oppo广东移动通信有限公司 成像控制方法、装置、电子设备及计算机可读存储介质
EP4064686B1 (en) * 2021-03-22 2024-05-01 IniVation AG Event sensor and method for producing a signal stream of event data

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01177282A (ja) * 1988-01-07 1989-07-13 Konica Corp 電子スチルカメラの多重露光装置
JPH03117181A (ja) * 1989-09-29 1991-05-17 Toshiba Corp 画像データ処理装置
JPH0537851A (ja) * 1991-07-30 1993-02-12 Sony Corp ビデオカメラ
JPH05276431A (ja) * 1992-03-27 1993-10-22 Sony Corp ビデオカメラ
JPH0622267A (ja) * 1992-06-30 1994-01-28 Canon Inc 静止画記録カメラ

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04223676A (ja) * 1990-12-25 1992-08-13 Nikon Corp 電子スチル写真および銀塩写真両用カメラ
JPH0918793A (ja) * 1995-06-26 1997-01-17 Nikon Corp 撮像装置
JP3851384B2 (ja) * 1996-09-18 2006-11-29 シャープ株式会社 画像合成装置および方法
EP0912047B1 (en) * 1997-10-23 2004-04-07 Olympus Optical Co., Ltd. Imaging apparatus comprising means for expanding the dynamic range
KR100363826B1 (ko) * 1999-06-07 2002-12-06 히다치덴시 가부시키가이샤 넓은 다이내믹레인지의 영상신호를 생성하는텔레비젼신호처리장치와 그 신호처리장치를 가지는텔레비젼카메라 및 텔레비젼신호처리방법
JP3822393B2 (ja) * 1999-08-10 2006-09-20 富士写真フイルム株式会社 撮像装置および撮像制御方法
JP4049291B2 (ja) 2000-09-29 2008-02-20 コニカミノルタオプト株式会社 デジタルスチルカメラ
JP2002112008A (ja) 2000-09-29 2002-04-12 Minolta Co Ltd 画像処理システム及び画像処理プログラムが記録された記録媒体
US6734905B2 (en) * 2000-10-20 2004-05-11 Micron Technology, Inc. Dynamic range extension for CMOS image sensors
JP3531003B2 (ja) * 2001-03-30 2004-05-24 ミノルタ株式会社 画像処理装置、画像処理プログラムが記録された記録媒体、および、画像再生装置
US20020154242A1 (en) * 2001-04-24 2002-10-24 Robins Mark N. Method and apparatus for generating multiple exposures in a digital camera
JP2003069888A (ja) 2001-08-23 2003-03-07 Nidec Copal Corp 多重撮影機能付デジタルカメラ
JP2003298925A (ja) 2002-04-03 2003-10-17 Nikon Corp 多重撮影機能を有する電子カメラ
US7176963B2 (en) * 2003-01-03 2007-02-13 Litton Systems, Inc. Method and system for real-time image fusion
JP3804617B2 (ja) * 2003-02-14 2006-08-02 コニカミノルタフォトイメージング株式会社 画像処理装置及び方法
JP2005051695A (ja) * 2003-07-31 2005-02-24 Fuji Photo Film Co Ltd 画像合成方法及び固体撮像装置並びにデジタルカメラ
US8045009B2 (en) * 2004-05-10 2011-10-25 Hewlett-Packard Development Company, L.P. Image-exposure systems and methods using detecting motion of a camera to terminate exposure
US7649555B2 (en) 2006-10-02 2010-01-19 Mtekvision Co., Ltd. Apparatus for processing dead pixel

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01177282A (ja) * 1988-01-07 1989-07-13 Konica Corp 電子スチルカメラの多重露光装置
JPH03117181A (ja) * 1989-09-29 1991-05-17 Toshiba Corp 画像データ処理装置
JPH0537851A (ja) * 1991-07-30 1993-02-12 Sony Corp ビデオカメラ
JPH05276431A (ja) * 1992-03-27 1993-10-22 Sony Corp ビデオカメラ
JPH0622267A (ja) * 1992-06-30 1994-01-28 Canon Inc 静止画記録カメラ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1814315A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100128142A1 (en) * 2008-11-21 2010-05-27 Manabu Ichikawa Image processing apparatus, image processing method, and storage medium storing image processing program
US8786728B2 (en) * 2008-11-21 2014-07-22 Olympus Imaging Corp. Image processing apparatus, image processing method, and storage medium storing image processing program

Also Published As

Publication number Publication date
EP1814315A1 (en) 2007-08-01
US8564691B2 (en) 2013-10-22
US20120262605A1 (en) 2012-10-18
EP1814315A4 (en) 2011-05-18
EP1814315B1 (en) 2017-12-20
US20090021594A1 (en) 2009-01-22
EP3310037A1 (en) 2018-04-18

Similar Documents

Publication Publication Date Title
WO2006046460A1 (ja) デジタルカメラおよび画像合成装置
JP4534816B2 (ja) 撮影装置及びプログラム
US8218026B2 (en) Imaging apparatus, imaging method, reproducing apparatus and reproducing method, and recording medium for associating sound data with image data
JP4730553B2 (ja) 撮影装置及び露出制御方法
JP4457929B2 (ja) 撮影装置
JP2007199311A (ja) 画像表示装置及び撮像装置
JP2006352229A (ja) デジタルカメラ
TWI262450B (en) Image reproduction apparatus and image capturing apparatus
JP4189820B2 (ja) 撮像装置及び画像記録方法
JP2004023747A (ja) 電子カメラ
JP2008178147A (ja) 撮像装置
JP4499258B2 (ja) 電子カメラ
JP2008040272A (ja) 液晶表示装置、撮像装置、液晶表示方法及びプログラム
JP4003172B2 (ja) 画像信号処理装置及び電子カメラ
JP4902365B2 (ja) 画像合成装置及びプログラム
US10462371B2 (en) Imaging apparatus and imaging method for comparing a template image with a monitoring image
JP2004221650A (ja) 電子カメラ
JP4306584B2 (ja) デジタルカメラ
JP4379334B2 (ja) 画像合成装置および電子カメラ
JP4084963B2 (ja) デジタルカメラ
JP2005253003A (ja) デジタルカメラ
JP2002330322A (ja) 電子カメラ
JP2009147468A (ja) カメラ
JP2007221237A (ja) カメラ
JP3960170B2 (ja) デジタルカメラ

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BW BY BZ CA CH CN CO CR CU CZ DK DM DZ EC EE EG ES FI GB GD GE GM HR HU ID IL IN IS KE KG KM KP KZ LC LK LR LS LT LU LV LY MA MG MK MN MW MX MZ NA NG NI NZ OM PG PH PL PT RO RU SC SD SE SK SL SM SY TJ TM TN TR TT TZ UA US UZ VC VN YU ZA ZM

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SZ TZ UG ZM ZW AM AZ BY KG MD RU TJ TM AT BE BG CH CY DE DK EE ES FI FR GB GR HU IE IS IT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2005795739

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2005795739

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11666081

Country of ref document: US