WO2007000900A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2007000900A1
WO2007000900A1 PCT/JP2006/312040 JP2006312040W WO2007000900A1 WO 2007000900 A1 WO2007000900 A1 WO 2007000900A1 JP 2006312040 W JP2006312040 W JP 2006312040W WO 2007000900 A1 WO2007000900 A1 WO 2007000900A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
imaging
shooting
setting
pixel
Prior art date
Application number
PCT/JP2006/312040
Other languages
English (en)
French (fr)
Inventor
Eiji Furukawa
Original Assignee
Olympus Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2005187904A external-priority patent/JP2007013270A/ja
Priority claimed from JP2005187903A external-priority patent/JP2007013269A/ja
Application filed by Olympus Corporation filed Critical Olympus Corporation
Publication of WO2007000900A1 publication Critical patent/WO2007000900A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to an imaging apparatus that electronically records an image of a subject.
  • Japanese Patent Laid-Open No. 10-174000 discloses an invention in which an image is obtained with an appropriate brightness by increasing the gain of AGC (Automatic Gain Control). Further, in the invention disclosed in the above Japanese Patent Laid-Open No. 10-174000, when the subject is dark and proper brightness cannot be obtained even when the AGC gain is increased, the shutter speed is increased and the time is increased. By using exposure, noise is reduced.
  • AGC Automatic Gain Control
  • a technique for realizing noise reduction using a plurality of images for example, there is an invention disclosed in WO 97/05745 pamphlet.
  • a bit rate encoder that compresses and encodes a plurality of captured video data is provided with a filter circuit that removes random noise, whereby the captured video data is recorded.
  • a technique has been disclosed for improving filtering characteristics and reducing random noise.
  • video data such as MPEG
  • a circuit that has an adaptive filter in the compression coding circuit or a noise removal process after filtering processing is used as a preprocessing circuit for the compression coding circuit. It is possible to remove noise by connecting as
  • Japanese Patent Laid-Open No. 2001-008087 discloses an invention for handling a plurality of images.
  • the invention disclosed in the above-mentioned Japanese Patent Laid-Open No. 2001-008087 realizes a kind of bracket shooting for shooting a plurality of frames by appropriately changing the shutter speed, focus position, and exposure. By appropriately switching between single shooting and continuous shooting according to the situation of the time, mistakes during shooting can be reduced without imposing a burden on the user.
  • Japanese Patent No. 2828138 discloses a method of generating a high-resolution image using a plurality of low-resolution images having misalignment.
  • Japanese Patent Application Laid-Open No. 2000-253415 discloses that a plurality of CCD pixels are used when the exposure time is longer than a predetermined time.
  • a method has been disclosed in which the readout charge is mixed to produce a low noise image.
  • Patent Document 1 Japanese Patent Laid-Open No. 10-174000
  • Patent Document 2 International Publication No. 97/05745 Pamphlet
  • Patent Document 3 Japanese Patent Laid-Open No. 2001-008087
  • Patent Document 4 Japanese Patent No. 2828138
  • Patent Document 5 Japanese Unexamined Patent Publication No. 2000-253415
  • the image quality can be improved, but the specific processing content of the image quality improvement is related to the shooting situation.
  • the specific processing content of the image quality improvement is related to the shooting situation.
  • An object of the present invention is to provide an imaging apparatus capable of achieving high image quality.
  • an imaging parameter setting unit that sets an imaging parameter that defines an imaging condition
  • Frame number setting means for setting the number of frames of the photographed image to a number corresponding to the photographing parameter
  • imaging means for acquiring the photographed image of the number of frames by continuously photographing the subject.
  • An imaging apparatus is provided.
  • the shooting parameter setting means sets the shooting parameters for determining the shooting conditions
  • the frame number setting means sets the shooting parameters according to the shooting parameters set by the shooting parameter setting means.
  • the number of frames of the captured image is set to the number. Then, when the subject is continuously photographed by the imaging means, a photographed image having the number of frames corresponding to the photographing parameters is acquired.
  • the imaging parameter setting means corresponds to, for example, the imaging condition setting unit 120 shown in FIG.
  • the frame number setting means corresponds to, for example, the continuous shooting determination unit 121 shown in FIG.
  • the imaging means has a continuous shooting function that enables continuous shooting, and corresponds to, for example, the imaging unit 50 shown in FIG. 1 and the imaging control unit 110 that controls the imaging unit.
  • the imaging unit 50 includes, for example, a lens system 100 including a diaphragm 101, a spectral half mirror system 102, a shirter 103, a low-pass filter 104, a CCD imaging device 105, an A / D conversion circuit 106, and the like.
  • the above specific configuration is an example, and each component of the present invention is not limited to a component according to an embodiment described later.
  • the imaging apparatus includes an exposure amount calculation unit that calculates an exposure amount from the shooting parameter, and the frame number setting unit has the exposure amount set in advance.
  • the value is smaller than the first threshold, it is preferable to set the number of frames according to the exposure amount.
  • the exposure amount is calculated by the exposure amount calculation means, and when the exposure amount is smaller than the preset first threshold value, the frame number setting means determines the exposure amount according to the exposure amount.
  • the number of frames is set. Thereby, it is possible to obtain a number of photographed images corresponding to the exposure amount. As a result, it is possible to obtain a suitable number of captured images to achieve low noise and high image quality. Therefore, by performing appropriate image processing using these captured images, high image quality and high image quality can be achieved. A low noise image can be obtained.
  • the exposure amount can be calculated from, for example, the shirt speed and the illuminance of the subject.
  • the number of frames is set to increase stepwise as the exposure amount decreases, for example.
  • the exposure amount calculating means may be provided in the photographing parameter setting means, or may be provided in a frame number setting means. Alternatively, the imaging device may be provided as an independent component.
  • the shooting parameter setting means includes a shot speed speed priority mode for preferentially setting a shot speed
  • the frame number setting means includes the shot speed.
  • the frame number setting means sets the shutter speed preferentially, so that the aperture is set to the open end state.
  • the number of frames is set to a number corresponding to the shirt speed.
  • the imaging parameter setting means includes an aperture priority mode
  • the frame number setting means has a result that the aperture is preferentially set in the aperture priority mode.
  • the shatter speed is set slower than a predetermined speed
  • the frame number setting means is set when the shutter speed is set slower than the predetermined speed as a result of the priority setting in the aperture priority mode provided in the shooting parameter setting means.
  • the shatter speed is reset to the predetermined speed or more, and the number of frames is set to a number corresponding to the reset speed.
  • the shot speed is reset to the predetermined speed or higher, so that the blur caused by the slow shot speed can be eliminated. Possible Become.
  • it is expected that the exposure amount will be small due to the reset of the shotta speed above the predetermined speed use multiple shot images according to the reset shotta speed. Since one image is generated, the exposure amount can be improved. This makes it possible to obtain a high-quality and low-noise image.
  • the shooting parameter setting means includes sensitivity value setting means for setting a sensitivity value as the shooting parameter, and the frame number setting means includes the sensitivity value setting.
  • the sensitivity value set by the means is preset and is equal to or higher than the first specified value, it is preferable to set the number of frames corresponding to the sensitivity value.
  • a plurality of frames are set when the sensitivity value is equal to or higher than the first predetermined value set in advance by the sensitivity value setting means provided in the imaging parameter setting means.
  • the sensitivity value is high, a single image is generated using a plurality of captured images corresponding to the sensitivity value, so noise caused by an increase in sensitivity value can be eliminated.
  • high image quality can be achieved.
  • the number of frames is set to increase stepwise as the sensitivity value increases, for example.
  • sensitivity values include general ISO sensitivity.
  • the imaging apparatus includes a pixel number setting unit that sets the number of pixels of a captured image after pixel mixture readout to a number according to the imaging parameter, and the pixel number setting unit. It is preferable to include a pixel mixture readout unit that performs pixel mixture readout on the image signal from the imaging unit so that the set number of pixels is obtained.
  • the subject is photographed by the imaging unit, and the pixel mixture readout is performed on the image signal of the captured image acquired by the imaging unit by the pixel mixture readout unit.
  • the pixel number setting means sets the number of pixels of the photographed image after the pixel mixture readout to a number according to the photographing parameter.
  • the above “mixed pixel readout” means that, for example, in the readout of signals from a Bayer array CCD image sensor or the like, the image resolution is reduced by adding and reading out the signals of a plurality of pixels of the same power channel, This is a system that can read out image signals with multiple sensitivities. In this way, the number of pixels of the captured image after pixel mixture readout is determined according to the imaging parameters. Therefore, it is possible to change the sensitivity of the captured image according to the shooting situation.
  • the image pickup apparatus includes an exposure amount calculation unit that calculates an exposure amount from the shooting parameter, and the pixel number setting unit has the exposure amount set in advance. It is preferable to set the number of pixels of the photographed image after the pixel mixture reading according to the exposure amount.
  • the exposure amount is calculated by the exposure amount calculation means, and when the exposure amount is smaller than the preset second threshold value, the pixel number setting means responds to the exposure amount.
  • the number of pixels is set. This makes it possible to set the number of pixels of the captured image after pixel mixture readout to the number of pixels corresponding to the exposure amount.
  • the exposure amount can be calculated from, for example, the shutter speed and the illuminance of the subject.
  • the number of pixels is set so as to decrease stepwise as the exposure amount decreases, for example.
  • the shooting parameter setting unit includes a sensitivity value setting unit that sets a sensitivity value as the shooting parameter, and the pixel number setting unit includes the sensitivity value.
  • the sensitivity value setting unit sets a sensitivity value as the shooting parameter
  • the pixel number setting unit includes the sensitivity value.
  • the pixel number setting unit when the sensitivity value set by the sensitivity value setting unit included in the imaging parameter setting unit is equal to or more than the second predetermined value set in advance, the pixel number setting unit The number of pixels corresponding to the sensitivity value is set. This makes it possible to set the number of pixels of the captured image after pixel mixture readout to the number of pixels corresponding to the sensitivity value. For example, the number of pixels is set to decrease stepwise as the sensitivity value increases.
  • the imaging apparatus compensates for the relative positional relationship between the frames by estimating the movement of the subject between a plurality of frames acquired by the imaging means. It is preferable that the image processing apparatus further includes a motion compensation unit that performs the above processing and an image synthesis unit that generates an image obtained by synthesizing the plurality of frames compensated by the motion compensation unit. [0027] According to this aspect, the motion compensation unit estimates the motion of the subject between the plurality of frames acquired by the imaging unit, compensates for the relative positional relationship between the frames, and performs image synthesis. The means generates a high-quality image by generating an image obtained by combining a plurality of frames compensated by the motion compensation means.
  • the motion compensation means described above obtains an evaluation function of the degree of approximation between the plurality of frames and compensates the motion of the subject between the plurality of frames based on the evaluation function.
  • the motion compensation means obtains an evaluation function for the degree of approximation between a plurality of frames, and the movement of the subject between the plurality of frames is determined based on the evaluation function. Will be compensated.
  • the motion compensation means described above selects an arbitrary :! frame from the plurality of frames as a reference image, obtains an evaluation function of the degree of approximation between the reference image and a frame other than the reference image, It is preferable to compensate for the movement of the subject between the plurality of frames based on the evaluation function.
  • the motion compensation means in the motion compensation means, one arbitrary intermediate frame of a plurality of frames is selected as the reference image, and the degree of approximation between the reference image and a frame other than the reference image is evaluated. A function is required. Based on this evaluation function, the movement of the subject between the plurality of frames is compensated.
  • an imaging parameter setting unit that sets an imaging parameter that defines an imaging condition; The number of pixels set by the pixel number setting means for setting the number of pixels of the photographed image after the pixel mixture readout to the number according to the photographing parameter, the imaging means for photographing the subject, and the pixel number setting means.
  • the image pickup apparatus includes a pixel mixture readout unit that performs pixel mixture readout on the image signal from the imaging unit.
  • the shooting parameter setting unit sets the shooting parameter for determining the shooting condition
  • the pixel number setting unit sets the shooting parameter according to the shooting parameter set by the shooting parameter setting unit. Is set to the number of pixels in the captured image after pixel mixture readout. Determined.
  • a photographed image is acquired by photographing a subject by the imaging means, and pixel mixture readout is performed on the photographed image by the pixel mixture readout means.
  • the pixel mixture reading means performs the pixel mixture reading so that the number of pixels after the pixel mixture reading becomes the number of pixels set by the pixel number setting means.
  • pixel mixture readout means that, for example, in the readout of signals from a Bayer array CCD image sensor or the like, the signals of multiple pixels of the same color channel are added and read out, so that the resolution of the image is reduced.
  • the number of pixels of the captured image after the pixel mixture readout can be set to a number according to the imaging parameter. It can be changed according to the shooting situation. This makes it possible to obtain low noise and high quality images.
  • the shooting parameter setting means corresponds to, for example, the imaging condition setting unit 120 shown in FIG.
  • the pixel number setting means corresponds to, for example, the readout pixel determination unit 122 shown in FIG.
  • the imaging means corresponds to, for example, the imaging unit 50 shown in FIG. 1 and the imaging control unit 110 that controls the imaging unit 50.
  • the imaging unit 50 includes, for example, a lens system 100 including a diaphragm 101, a spectral half mirror system 102, a shirter 103, a low-pass filter 104, a CCD imaging element 105, an A / D conversion circuit 106, and the like.
  • the pixel readout means is provided in, for example, the first image processing unit 111 shown in FIG.
  • the said specific structure is an example and each component of this invention is not limited to the component which concerns on below-mentioned embodiment.
  • An imaging apparatus includes an exposure amount calculation unit that calculates an exposure amount from the shooting parameter, and the pixel number setting unit has the exposure amount set in advance. It is preferable to set the number of pixels of the photographed image after the pixel mixture reading according to the exposure amount.
  • the exposure amount is calculated from the photographing parameter by the exposure amount calculation means, and when the exposure amount is smaller than the preset second threshold value, the pixel number setting means The number of pixels corresponding to the exposure amount is set.
  • the number of pixels of the photographed image after the pixel mixture readout can be set to the number of pixels corresponding to the exposure amount.
  • the amount of light can be calculated from, for example, the shot speed and the illuminance of the subject.
  • the imaging parameter setting unit includes a sensitivity value setting unit that sets a sensitivity value as the imaging parameter, and the pixel number setting unit includes the sensitivity value.
  • the imaging parameter setting unit includes a sensitivity value setting unit that sets a sensitivity value as the imaging parameter
  • the pixel number setting unit includes the sensitivity value.
  • the pixel number setting means when the sensitivity value set by the sensitivity value setting means included in the imaging parameter setting means is equal to or larger than the second predetermined value set in advance, the pixel number setting means The number of pixels corresponding to the sensitivity value is set. This makes it possible to set the number of pixels of the captured image after pixel mixture readout to the number of pixels corresponding to the sensitivity value. For example, the number of pixels is set to decrease stepwise as the sensitivity value increases.
  • FIG. 1 is a block diagram showing a schematic configuration of an electronic still camera according to a first embodiment of the present invention.
  • FIG. 2 is an external configuration diagram of the electronic still camera according to the first embodiment of the present invention.
  • FIG. 3 is a flowchart showing an outline of processing performed by the electronic still camera according to the first embodiment of the present invention.
  • FIG. 4 is a flowchart showing a flow of imaging parameter setting processing shown in FIG.
  • FIG. 5 is a flowchart showing a flow of photographing mode setting processing shown in FIG.
  • FIG. 6 is a flowchart showing a flow of photographing mode setting processing shown in FIG.
  • FIG. 7 is a diagram showing an example of a table in which an exposure amount and the number of shots are associated with each other.
  • FIG. 8 is a diagram showing an example of a table in which an exposure amount and the number of pixels after pixel mixture reading are associated with each other.
  • FIG. 9 is a diagram showing another example of the flowchart shown in FIGS. 5 and 6.
  • FIG. 10 is a diagram showing another example of the flowchart shown in FIGS. 5 and 6. 11] It is a diagram showing an example of a table in which IS0 sensitivity and the number of shots are associated with each other.
  • FIG. 12 is a diagram showing an example of a table in which IS sensitivity and the number of pixels after pixel mixture reading are associated with each other.
  • FIG. 19 is a diagram showing another example of the flowchart shown in FIG. 18.
  • FIG. 20 is a flowchart showing an example of a shooting mode setting process performed by the electronic still camera according to the third embodiment of the present invention.
  • FIG. 21 is a diagram showing another example of the flowchart shown in FIG.
  • FIG. 22 is a flowchart showing an example of a shooting mode setting process performed by the electronic still camera according to the fourth embodiment of the present invention.
  • FIG. 23 is a flowchart showing an example of a shooting mode setting process performed by the electronic still camera according to the fourth embodiment of the present invention.
  • FIG. 24 is a diagram showing another example of the flowchart shown in FIGS. 22 and 23.
  • FIG. 25 is a diagram showing another example of the flowchart shown in FIGS. 22 and 23.
  • [Sen 26] is a flowchart showing a high-resolution image estimation processing procedure performed by the electronic still camera according to the fifth embodiment of the present invention.
  • FIG. 27 shows an example of a hardware configuration for realizing the processing procedure shown in FIG.
  • pixel mixed readout means, for example, as shown in FIG. 30, in readout of a signal of Bayer array image sensor (eg, CCD) force, a plurality of adjacent pixels of the same color channel (for example, a signal readout method that reduces the resolution by mixing signals of 4 pixels) but can increase the sensitivity by 4 times.
  • a signal of Bayer array image sensor eg, CCD
  • FIG. 28 shows an example of the result of random noise reduction using the after-mentioned averaging method (see FIG. 16).
  • the vertical axis represents the SN ratio
  • the horizontal axis represents the number of images used in the averaging method.
  • the S / N ratio when 1 to 100 images are used and averaged is shown.
  • an image in which random noise having a normal distribution probability distribution is added in advance is employed as a plurality of images.
  • FIG. 29 is a diagram illustrating an example of a result of reducing random noise in the image obtained by performing the pixel mixture reading of FIG. 30 described above.
  • the vertical axis indicates the SN ratio
  • the horizontal axis indicates ⁇ (sigma: the larger ⁇ is, the more random noise is added to the evaluation image).
  • the dashed line (before) indicates the characteristics before pixel mixing in the evaluation image
  • the solid line (after) indicates restoration processing for further increasing the resolution (exceeding the single image) after pixel mixture reading. The characteristics of the image that has been resolved) are shown. Note that random noise having a normal distribution probability distribution is added in advance to the evaluation image.
  • the SN ratios shown in FIGS. 28 and 29 are expressed in decibels as the square root of the average value of the average value of all the pixels in the image with random noise added in advance and the square of the deviation of each pixel in the result image. It is converted to. The calculation procedure is shown in the following (1) to (5).
  • FIG. 1 is a block diagram showing a schematic configuration of an electronic still camera according to the first embodiment of the present invention.
  • the electronic still camera according to the present embodiment includes, for example, an imaging unit 50.
  • the imaging unit 50 includes a lens system 100 including a diaphragm 101, a spectral half mirror system 102, a shirter 103, a low-pass filter 104, a CCD imaging device 105, and an AF motor 108.
  • the lens system 100, the spectral half mirror system 102, the shirter 103, the low-pass filter 104, and the CCD image sensor 105 that contain the stop 101 are arranged along the optical axis.
  • the lens system 100 is connected to an AF motor 108 for moving a part of the lens system during focusing.
  • the light beam that has passed through the lens system 100 is split into two hands by the spectroscopic half mirror system 102, and one light beam is guided to the CCD image pickup device 105 via the shirter 103 and the low-pass filter 104, and the other is used for AE. It is guided to the photo sensor 107.
  • the CCD image sensor 105 according to the present embodiment is premised on a single-plate CCD image sensor.
  • the output from the CCD imaging element 105 is input to the A / D conversion circuit 106.
  • An output from the A / D conversion circuit 106 is input to the imaging condition setting unit 120 and the first image processing unit 111.
  • the output of the first image processing unit 111 is transferred to the image buffer 115 or the continuous shooting buffer 201 via the switching unit 200.
  • the switching unit 200 transfers the signal from the first image processing unit 111 to the image buffer 115 or the continuous shooting buffer by switching the connection destination based on the signal from the continuous shooting determination unit 121.
  • the output of the image buffer 115 is input to a compression unit 116 that performs compression, such as JPE G, and an operation display unit 119 including a liquid crystal display unit and mode setting buttons.
  • the output from the compression unit 116 is input to the removable memory card 118 via the memory card I / F unit 117.
  • Signals are input from the AE photosensor 107 and the A / D conversion circuit 106 to the imaging condition setting unit (imaging parameter setting means) 120.
  • the output signal of the imaging condition setting unit 120 is input to the continuous shooting determination unit 121 and the readout pixel determination unit 122.
  • the signal of the continuous shooting determination unit 121 is output to the imaging control unit 110 and the switching unit 200.
  • Read pixel The output of the determination unit 122 is input to the imaging control unit 110.
  • the output of the continuous shooting buffer 201 is input to the second image processing unit 202 and the operation display unit 119.
  • the second image processing unit 202 includes a motion estimation unit 202a, a super-resolution processing unit 202b, and an addition average processing unit 202c.
  • the output of the second image processing unit 202 is input to the compression unit 116.
  • FIG. 2 shows a schematic external configuration diagram of the electronic still camera according to the present embodiment.
  • FIG. 2 is an external configuration diagram of the electronic still camera according to the present embodiment.
  • the electronic still camera of the present embodiment includes a camera body Z1, a mode selection dial Z2 provided in the camera body Z1, a release switch Z3, a shooting number mode switching switch Z4, and pixel mixing.
  • the camera has a shooting mode switching switch Z7 and a liquid crystal display panel Z6.
  • FIG. 3 is a flowchart showing an outline of processing performed by the electronic still camera according to the present embodiment.
  • the shooting mode is set by the shooting mode setting process.
  • the electronic still camera according to the present embodiment includes a “normal number shooting mode” in which one image is shot by operating the release switch Z3 (see FIG. 2) for the actual shooting, and a book.
  • the release switch Z3 By operating the release switch Z3 once for shooting, the “Continuous Shooting Mode” for continuously shooting multiple images, the “Pixel Mixed Reading Shooting Mode” for performing pixel mixed reading, and the Pixel Mixed Reading There are four shooting modes, “Normal read shooting mode” that are not performed.
  • step B03 shooting is performed in the shooting mode set in step B02, and in step B04, a signal of the shot image is stored in the image buffer 115 or the continuous shooting buffer 201.
  • step B05 the image stored in the image buffer 115 or the continuous shooting buffer 201 is subjected to a predetermined process, and the process ends.
  • the second image processing unit 202 performs image quality enhancement processing and addition averaging processing on the image stored in the continuous shooting buffer 201.
  • the photographing control unit 110 101, shirt 103 and AF motor 108 are controlled to perform pre-photographing.
  • a signal from the CCD image sensor 105 is converted into a digital signal by the A / D conversion circuit 106 and transferred to the first image processing unit 111.
  • the first image processing unit 111 performs known white balance, enhancement processing, interpolation processing, and the like on the image signal to generate a three-plate image signal.
  • the three-plate image signal generated in this way is output to the image buffer 115 via the switching unit 200.
  • the imaging condition setting unit 120 sets imaging conditions (including imaging parameters) for the main imaging using a known technique, and the imaging control unit 110 The data is transferred to the determination unit 121 and the readout pixel determination unit 122.
  • the imaging condition is, for example, a combination of each element required at the time of shooting such as shot speed, aperture value, focus position, ISO sensitivity, etc., that is, a combination of setting values for shooting parameters. It will be described later.
  • the continuous shooting determination unit 121 sets a shooting mode related to the number of shooting frames based on the shooting conditions set by the shooting condition setting unit 120, and sets information on the set shooting mode. 110 and the switching unit 200.
  • the readout pixel determination unit 122 sets a shooting mode related to the number of pixels in the pixel mixture reading based on the shooting conditions set by the shooting condition setting unit 120, and sets information on the set shooting mode. Transfer to Goto 110.
  • the imaging control unit 110 controls the imaging unit 50 based on the imaging conditions set by the imaging condition setting obtaining unit 120 and the imaging modes set by the continuous shooting determination unit 121 and the readout pixel determination unit 122. Specifically, the aperture 101, the AF motor 108, the shirter 103, and the like constituting the imaging unit 50 are controlled.
  • imaging conditions set by the imaging condition setting unit 120 will be described.
  • Shooting parameters such as the shutter speed and aperture value relating to the exposure amount are set based on the measurement result of the luminance of the subject input to the AE photosensor 107.
  • the region to be measured for light quantity can be switched by using an aperture function (not shown) arranged in front of the AE photosensor 107.
  • an aperture function (not shown) arranged in front of the AE photosensor 107.
  • spot, center weight, average photometry, etc. are measured.
  • the combination of the shot speed and aperture value can be appropriately selected from “automatic exposure method”, “shutter speed priority method”, and “aperture priority method”. is there.
  • the “automatic exposure method” is a method for automatically setting the shotta speed and the aperture value from a plurality of combinations of a preset shotta speed and aperture value.
  • the “shutter speed priority method” is a method that automatically sets the aperture value according to the shatter speed set by the user.
  • the “aperture priority method” is a method that automatically sets the shirt speed according to the aperture value set by the user. The details of setting the shot speed and aperture value will be described later.
  • the in-focus position is obtained by converting the output signal from the CCD image sensor 105 into a digital signal by the A / D conversion circuit 106, calculating the luminance signal from this single-plate image, Find the edge strength force.
  • the focus position of the lens system 100 is changed step by step by the AF motor 108 to estimate the focus position where the edge strength is maximized and set it.
  • the ISO sensitivity setting varies depending on the sensitivity mode setting in the electronic still camera.
  • the sensitivity mode of the electronic still camera is the automatic sensitivity mode
  • the sensitivity is determined based on the light amount of the subject measured by the AE photosensor 107. Specifically, when the amount of light measured by the AE photosensor 107 is small If this is the case, set a high ISO sensitivity. If there is a large amount of light, set a low ISO sensitivity.
  • the ISO sensitivity in the present embodiment is a value representing the degree of electrical amplification (gain increase) for the signal from the CCD image sensor 105, and the greater the value, the higher the degree of electrical amplification.
  • This shooting parameter setting process corresponds to step B01 in the flowchart shown in FIG.
  • exposure conditions specifically, aperture value, shirt speed, and ISO sensitivity are set as shooting parameters.
  • step C01 of FIG. 4 it is determined which mode is selected from the three automatic exposure modes of “aperture priority mode”, “shutter speed priority mode”, and “automation mode”. To do.
  • the process proceeds to step C02, and the value set by the user is set as the aperture value.
  • step C04 the illuminance of the subject is detected, and in step C05, the shutter speed at which a proper exposure is obtained from the aperture value set in step C02 and the illuminance detected in step S04. Is calculated and set as the shirt speed.
  • step C06 ISO sensitivity is set. The user can select the ISO sensitivity setting mode.
  • the setting value set by the user is set as the ISO sensitivity.
  • an appropriate value is obtained from the illuminance of the subject detected in step C04. Determine the sensitivity value. Then, when the ISO sensitivity is set, the process ends.
  • step C01 the process proceeds to step C03, and the value set by the user is set as the shotta speed. Subsequently, in step C04, the illuminance of the subject is detected, and in subsequent step C05, an aperture value that provides an appropriate exposure is calculated from the shirt speed set in step C03 and the illuminance detected in step C04. To set the aperture value. Then, in the same manner as described above, the ISO sensitivity is set in step C06, and the process is terminated.
  • step C01 when "automation mode" is selected, Then, the process proceeds to step C04, and the illuminance of the subject is detected.
  • step C05 the aperture value and the shirt speed are set so as to obtain an appropriate exposure from the illuminance detected in step C04, and are set respectively.
  • step C06 the ISO sensitivity is set and the process is terminated.
  • step A02 it is determined whether the number-of-photographing mode switching switch Z4 (see FIG. 2) is OFF. As a result, if the number-of-shots mode switching switch Z4 is OFF, the process proceeds to step A10, where the number of shots is determined to be:! Set “Shadow Mode” and proceed to Step A12 in FIG.
  • step A02 the process proceeds to step A03, and the exposure amount is calculated from the shot speed and the illuminance of the subject.
  • Hm is the exposure amount (lx X s)
  • E is the illuminance (unit is lx) on the imaging surface (CCD imaging device)
  • T is the shotta speed (unit is s)
  • E is a value that is inversely proportional to the square of the aperture value (F value) and proportional to the luminance of the subject.
  • step A04 it is determined whether or not the exposure threshold value calculated in step A03 is lower than the first threshold value for setting the number of shots (see FIG. 7). As a result, if the exposure amount is greater than or equal to the first threshold value, the process proceeds to step A08, where the number of shots is determined to be one, and then in step A09, the “normal number shooting mode” is set as the shooting mode. Set and move to Step A12 (see Fig. 6) described later.
  • the process proceeds to step A05, and the number of shots (the number of frames) is determined to be a number corresponding to the exposure amount.
  • the exposure and the number of shots are linked.
  • the appropriate number in advance Use that number in advance. For example, as shown in FIG. 7, the relationship between the exposure amount and the number of shots is set so that the number of shots increases step by step as the amount of exposure decreases.
  • Such a table in which the exposure amount and the number of shots are associated with each other is stored in the electronic still camera, and the number of shots is determined based on this relationship.
  • step A06 it is determined whether or not the number of shots determined in step A05 is two or more. As a result, if the number of shots is two or more, the process proceeds to step A07, the shooting mode is set to “continuous shooting mode”, and the process proceeds to step A12 in FIG. If the number of shots is sufficient, go to step A09, set the shooting mode to “normal shot mode”, and go to step A12 in FIG. Note that the processing from step A01 to step All described above is executed by the continuous shooting determination unit 121 shown in FIG.
  • step A12 it is determined whether the pixel mixture readout photographing mode switching switch Z7 (see FIG. 2) is ON force DFF. As a result, if the pixel mixture readout shooting mode switching switch Z7 is OFF, the process proceeds to step A19, where it is determined that normal readout photography is performed, and in step 20, the ⁇ normal readout photography mode '' is set as the photography mode. In step A21, the set shooting mode, the number of shots, and the number of pixels after pixel mixture reading are displayed on the liquid crystal display panel Z6 (see FIG. 2), and the process is terminated.
  • step A12 the pixel mixture readout photographing mode switching switch Z7 (FIG.
  • step A13 the exposure value is calculated from the shotta speed, aperture value, and subject brightness. Note that the exposure amount calculated in step A03 described above may be used instead of the exposure amount calculated here.
  • the exposure amount calculated in step A13 is the second threshold value for determining the readout method (see FIG.
  • step A17 the exposure amount is greater than or equal to the second threshold value
  • step A18 the shooting mode is set to “normal read shooting mode”.
  • step A21 the set shooting mode, the number of shots, and the number of pixels after pixel mixture readout are displayed on the LCD panel. Is displayed on the Z6 (see Fig. 2) and the process is terminated.
  • step A15 the process proceeds to step A15, and the number of pixels after the pixel mixture reading according to the exposure amount is determined.
  • the exposure amount, the number of shots, and the number of pixels after pixel mixture reading are linked.
  • the number of pixels after the pixel mixture readout it is preferable to determine an appropriate number of pixels after readout in advance and use the number of pixels.
  • the relationship between the exposure amount and the number of pixels after the pixel mixture readout is set so that the number of pixels after the pixel mixture readout gradually decreases as the exposure amount decreases, for example, as shown in FIG. Yes.
  • Such a table in which the exposure amount is associated with the number of pixels after pixel mixture readout is stored in the electronic still camera, and the number of pixels after pixel mixture readout is determined based on this relationship.
  • step A16 When the number of pixels corresponding to the exposure amount is determined in this way, in step A16, the shooting mode is set to "pixel mixture readout shooting mode", and then set in step A21. Each shooting mode, the number of shots, and the number of pixels after pixel mixture reading are displayed on the liquid crystal display panel Z6, and this process is terminated.
  • step A12 to step A20 is executed in the readout pixel determination unit 122 shown in FIG.
  • the shooting mode setting process described above can be performed not only according to the exposure amount as described above but also according to the ISO sensitivity value.
  • the procedure of the shooting mode setting process according to the ISO sensitivity will be described with reference to FIG. 9 and FIG. In FIG. 9 and FIG. 10, the same processing numbers as those in FIG. 5 and FIG.
  • steps A30 and A31 in FIG. 9 are adopted instead of steps A03 to A05 shown in FIG.
  • the ISO sensitivity is greater than or equal to the first specified value for setting the number of shots (see FIG. 11). Judgment whether or not there is.
  • the process proceeds to step A08, where the number of shots is determined to be:!, And in step A09, the shooting mode is set to “Normal shot mode”. Set Move to Step A12 (see Fig. 10) described later.
  • step A31 the process proceeds to step A31, and the number of shots corresponding to the ISO sensitivity is determined.
  • the number of shots an appropriate number is determined in advance, and that number is used. For example, as shown in Fig. 11, the relationship between ISO sensitivity and the number of shots is set so that the number of shots increases step by step as the ISO sensitivity increases.
  • a table in which the ISO sensitivity and the number of shots are associated with each other is stored in the electronic still camera, and the number of shots is determined based on this relationship.
  • steps A32 and A33 in FIG. 10 are adopted instead of steps A13 to A15 shown in FIG.
  • the ISO sensitivity is the second prescribed value for determining the readout method (FIG. 12).
  • the process proceeds to step A17, where it is determined that the image is normally read, and in step A18, the “normal read shooting mode” is set as the shooting mode. To do.
  • step A32 if the ISO sensitivity is greater than or equal to the second specified value in step A32, the process proceeds to step A33, and the number of pixels after the pixel mixture reading according to the ISO sensitivity is determined.
  • the number of pixels after pixel mixture readout an appropriate number of pixels after readout is determined in advance, and the number of pixels may be used.
  • the relationship between the ISO sensitivity and the number of pixels after pixel mixture readout is set so that, for example, as the ISO sensitivity increases, the number of pixels after pixel mixture readout decreases gradually as shown in FIG. Yes.
  • Such a table in which the ISO sensitivity and the number of pixels after pixel mixture readout are associated is stored in the electronic still camera, and the number of pixels after pixel mixture readout is determined based on this relationship.
  • the actual shooting is performed when the release switch Z3 (see Fig. 2) is completely pressed by the user. .
  • This main shooting is performed using the shooting parameters set by the shooting condition setting unit 120 shown in FIG.
  • the shooting mode setting unit 120 shown in FIG.
  • the continuous shooting determination unit 121 and readout pixel determination unit 122 As a result, the subject is photographed at the set shutter speed, aperture value, and ISO sensitivity, and the image signal of the photographed image is sent to the image buffer 115 or the continuous shooting buffer via the first image processing unit 111. It is output to 201.
  • the shooting mode is set to the “normal number shooting mode”
  • the image signal of one shot image is supplied to the first image processing unit 111.
  • the shooting mode is set to “continuous shooting mode”
  • the image signal of the number of shot images set by the continuous shooting determination unit 121 is supplied to the continuous shooting buffer 201.
  • the image signal supplied to the image buffer 115 is output to the compression unit 116, and after being subjected to a known compression process such as JPEG, it can be attached and detached via the memory card I / F unit 117. Saved to memory card 118 etc.
  • the image signal input to the continuous shooting buffer 201 is supplied to the second image processing unit 202, where high image quality processing is performed.
  • the motion estimation unit 202a in the unit 202 estimates the motion between frames in each image (frame) using image signals of a plurality of images captured in the continuous shooting mode and input to the continuous shooting buffer 201. I do.
  • Figure 13 shows an example of the motion estimation process.
  • step S1 of Fig. 13 one image serving as a reference for motion estimation is read.
  • step S2 the reference image is deformed by a plurality of movements.
  • step S3 one reference image for motion estimation between reference images is read.
  • step S4 a similarity value between each image sequence obtained by deforming a plurality of standard images and the reference image is calculated.
  • step S5 a discrete similarity map as shown in FIG. 14 is created using the relationship between the deformed motion parameter and the calculated similarity value.
  • step S6 the extreme value of the similarity map is searched by complementing the discrete similarity map created in step S5, and the extreme value of the similarity map is obtained. Where the movement of the deformation determined by the extreme value Becomes the motion estimation value.
  • the extreme value search method of the similarity map includes, for example, novolafitting and spline interpolation.
  • step S7 it is determined whether or not motion estimation has been performed on all reference images. As a result, if motion estimation has not been performed for all reference images, the process proceeds to step S8, the frame number of the reference image is incremented by 1, and the process returns to step S3 described above. As a result, the processing from step S3 to step S8 is repeated until motion estimation is performed on all reference images. If it is determined in step S 7 that motion estimation has been performed on all target reference images, the process ends.
  • the vertical axis represents the square deviation
  • the horizontal axis represents the deformation motion parameter.
  • the multiple deformations of the reference image in step S2 in FIG. 13 are, for example, 19 reference images with motion parameters of ⁇ 1 pixel in the horizontal, vertical, and rotation directions (note that 8 out of 27 are (Same deformation pattern).
  • step S5 in Fig. 13 considering the horizontal axis motion parameters shown in Fig. 14 as a combination of horizontal, vertical and rotational directions, from the negative (1 1 + 1 1), Plot each discrete similarity value of (1 1 + 1 0) (1 1 + 1 + 1). If each deformation direction is considered separately, the horizontal direction, the vertical direction, and the rotation direction are plotted separately from the negative direction to (1), (0), (+1).
  • FIG. 15 shows an approximation of the reference image to the standard image.
  • Each reference image is a value obtained by inverting the sign of the motion estimation value, and approximates the reference image by transforming the image.
  • an image is generated as a new pixel value by adding and averaging the corresponding pixels of all the frames in all images approximated to the reference image at once.
  • an addition average image is generated with a new pixel value obtained by adding and averaging the corresponding pixel positions in all images approximated to the reference image for each frame.
  • the averaging method shown in Fig. 16 is the same as the averaging method shown in Fig. 17. Compared to, noise is less likely to remain.
  • the added average image generated in this way is output from the second image processing unit 202 to the compression unit 116, and after being subjected to a known compression process such as JPEG, the memory card I / The data is stored in the memory card 118 via the F unit 117.
  • the continuous shooting determination unit 12 1 based on the imaging conditions (imaging parameters) set in the imaging condition setting unit 120. Then, the number of captured images at the time of actual photographing is set, and the number of pixels after the pixel mixture readout is performed by the readout pixel determination unit 122 is set. As described above, the number of frames of the photographed image and the number of pixels in the pixel mixture readout are set according to the photographing conditions, so that by processing the image quality of the photographed image photographed based on these settings, It is possible to acquire a high-quality image with reduced noise. Regarding the point that noise is reduced by mixed pixel readout and the point that a low noise image can be obtained by generating an image by averaging the captured images for each of multiple images, see FIGS. It is as shown in.
  • the second image processing unit 202 performs the image quality enhancement process, and then the compression unit 116 compresses the image.
  • this is an example,
  • the image quality enhancement processing by the second image processing unit 202 is performed based on the image compressed before the image processed by the second image processing unit 202 is compressed. It may be configured to be performed.
  • the image processing performed in the second image processing unit 202 can employ a known high image quality processing or the like without being limited to the above-described processing procedure.
  • the exposure amount is calculated in the shooting mode setting process, and the number of shot images is set based on the exposure amount.
  • the shot image is set as follows. Is possible.
  • the shirt speed is set based on the aperture value set by the user and the illuminance of the subject (step C05).
  • the shatter speed is reset to a predetermined speed or higher, and the reset shirt speed is set again.
  • the faster the reset shutter speed the larger the number of captured images.
  • the aperture value is set based on the shot speed set by the user and the illuminance of the subject (step C05). In this case, when the aperture is set to the open end state, it can be estimated that the amount of exposure is small. Therefore, the number of captured images is set to a plurality of frames according to the shot speed set by the user. At this time, the faster the shot speed set by the user, the greater the number of shot images.
  • the shot speed is set by setting the number of shot images to a plurality of frames according to the shot speed re-set in the aperture priority mode, or by setting the shot speed priority mode. It is impossible to adjust the number of shots according to the exposure amount if the number of shot images is set to multiple frames depending on the camera, but the number of shots can be set without making such adjustments. In addition, there is an advantage that the processing can be reduced in that the exposure amount does not need to be calculated.
  • an imaging apparatus according to a second embodiment of the present invention will be described with reference to the drawings.
  • setting of the number of frames by the continuous shooting determination unit 121 and setting of the number of read pixels by the read pixel determination unit 122 are performed in the shooting mode setting process.
  • the imaging apparatus only the frame number setting by the continuous shooting determination unit 121 is performed, and the pixel number setting processing by the readout pixel determination unit 122 is omitted. This simplifies the processing, reduces the processing burden and shortens the processing time.
  • FIGS. 18 and 19 show an example of the shooting mode setting process executed by the continuous shooting determination unit 121 according to the present embodiment.
  • FIG. 18 the same processing contents as in FIG. 5 and FIG. The same step number is attached.
  • FIG. 19 the same processing steps as those in FIGS. 9 and 10 are given the same step numbers.
  • an imaging device according to a third embodiment of the present invention will be described with reference to the drawings.
  • setting of the number of frames by the continuous shooting determination unit 121 and setting of the number of read pixels by the read pixel determination unit 122 are performed in the shooting mode setting process.
  • the imaging apparatus only the setting of the number of pixels by the readout pixel determination unit 122 is performed, and the setting of the number of frames by the processing continuous shooting determination unit 121 is omitted. This simplifies the processing, reduces the processing burden and shortens the processing time.
  • FIGS. 20 and 21 show an example of the shooting mode setting process executed by the readout pixel determination unit 122 according to this embodiment.
  • FIG. 20 the same processing steps as those in FIGS. 5 and 6 are given the same step numbers.
  • FIG. 21 the same processing steps as those in FIGS. 9 and 10 are given the same step numbers.
  • the shooting mode setting process first, the number of frames is set by the continuous shooting determination unit 121, and then the number of read pixels is set by the read pixel determination unit 122.
  • the readout pixel determination unit 122 sets readout pixels, and then the continuous shooting judgment unit 121 sets the number of frames.
  • 22 to 25 show an example of the shooting mode setting process executed by the continuous shooting determination unit 121 and the readout pixel determination unit 122 according to this embodiment. 22 and 23, the same processing steps as those in FIGS. 5 and 6 are denoted by the same step numbers. 24 and 25, the same processing steps as those in FIGS. 9 and 10 are given the same step numbers.
  • the image pickup apparatus according to the present embodiment is different from the image pickup apparatus according to the first embodiment described above in the power of the image quality improvement executed by the second image processing unit 202.
  • the image quality enhancement processing procedure (super-resolution) that restores a high-resolution image using a plurality of images, specifically, the image quality enhancement processing procedure according to the present embodiment.
  • step S11 a plurality of low resolution images n (n ⁇ l) for use in high resolution image estimation are read from the continuous shooting buffer 201.
  • step S12 an arbitrary high-resolution image read in step S11 is assumed to be a target frame, and an initial high-resolution image is created by performing complement processing. This step can be omitted in some cases.
  • step S13 the target frame and the other obtained in advance by some motion estimation method (for example, the method for obtaining the motion estimation value by the motion estimation unit 202a as described in the first embodiment described above). The positional relationship between images is clarified by the motion between images with the other frame.
  • a point spread function that takes into account the imaging characteristics such as optical transfer function (OTF) and CCD aperture
  • the PSF uses, for example, a Gauss function.
  • the evaluation function f (z) is minimized based on the information obtained in steps S13 and S14.
  • f (z) has the form shown in the following equation (7).
  • y is a low-resolution image
  • z is a high-resolution image
  • A is an inter-image motion (for example, a motion estimation value obtained by the motion estimation unit 202a in FIG. 1), imaging including PSF, etc. It is an image transformation matrix representing the system.
  • g (z) contains constraints such as image smoothness and color correlation.
  • ⁇ is a weighting factor. To minimize the evaluation function, for example, Use the steepest descent method.
  • step S16 it is determined whether or not f (z) obtained in step S15 is minimized. As a result, if it is not yet minimized, the process proceeds to step S17, the high-resolution image z is updated, the process returns to step S15, and steps S15 to S17 are performed until the high-resolution image z is minimized. Repeat.
  • step S16 when f (z) obtained in step S15 is minimized, the processing is terminated and a high-resolution image z is obtained.
  • FIG. 27 shows an example of a hardware configuration for executing the processing procedure shown in FIG. 26.
  • the high-resolution image estimation processing unit includes an initial image storage unit 1201, a convolution Integration unit 1202, PSF data holding unit 1203, image comparison unit 1204, multiplication unit 1205, pasting addition unit 1206, accumulation addition unit 1207, update image generation unit 1208, image accumulation unit 1209, iteration calculation determination unit 1210, iteration The judgment value holding unit 1211 is included.
  • the interpolated enlarged image from the continuous shooting buffer 201 is given to the initial image storage unit 1201.
  • This image is the initial image.
  • This initial image is given to the convolution integration unit 1202 and is convolved with the PSF data given from the PSF data holding unit 1203.
  • the PSF data here is given considering the motion of each frame.
  • the initial image data is simultaneously sent to the image storage unit 1209 and stored therein.
  • the image data subjected to the convolution operation by the convolution integration unit 1202 is sent to the image comparison unit 1204, and the motion (motion estimation value) for each frame obtained by the motion estimation unit 202a (see FIG. 1) is used as a basis.
  • the motion estimation value for each frame obtained by the motion estimation unit 202a
  • the compared residuals are sent to multiplication section 1205 and multiplied by the value for each pixel of PSF data given from PSF data holding section 1203.
  • the calculation result is sent to the pasting / adding unit 1206 and placed at the corresponding coordinate position.
  • the image data from the multiplying unit 1205 shifts little by little while having an overlap. Therefore, the image data is added to the overlapped portion.
  • the data is sent to the accumulation / addition unit 1207.
  • the accumulation adder 1207 the number of frames Data sent in sequence is accumulated until the processing is completed, and image data for each frame is added sequentially according to the estimated motion.
  • the added image data is sent to the updated image generation unit 1208.
  • the image data stored in the image storage unit 1209 is given to the update image generation unit 1208, and the two image data are weighted and added to generate update image data.
  • the generated updated image data is supplied to the iterative calculation determination unit 1210, and it is determined whether or not to repeat the calculation based on the repetition determination value supplied from the repetition determination value holding unit 1211.
  • the data is sent to the convolution integration unit 1202 and the above-described series of processing is repeated.
  • the generated image data is output as a high resolution image.
  • the image output from the iterative calculation determination unit 1210 has a higher resolution than the captured image.
  • the PSF data held by the PSF data holding unit 1203 needs to be calculated at an appropriate coordinate position during convolution integration, so that the motion estimation unit gives a motion for each frame. I'll become.
  • the force that presupposes processing by hardware is not necessarily limited to such a configuration.
  • a configuration is possible in which the signal from the CCD 105 is processed as separate raw software as raw data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

　被写体を撮影して、該被写体の像を電子的に記録する撮像装置において、撮影の条件を定める撮影パラメータを設定する撮影パラメータ設定手段と、撮影画像のフレーム数を、前記撮影パラメータに応じた数に設定するフレーム数設定手段と、前記被写体を連続的に撮影することにより、前記フレーム数の撮影画像を取得する撮像手段とを具備する撮像装置を提供する。

Description

明 細 書
撮像装置
技術分野
[0001] 本発明は、電子的に被写体の像を記録する撮像装置に関するものである。
背景技術
[0002] 露光量不足に起因するノイズを低減させる技術として、例えば、特開平 10— 1740 00号公報に開示されている技術がある。この特開平 10— 174000号公報には、 AG C (Automatic Gain Control)のゲインアップにより適正な明るさを得て撮影を行う発明 が開示されている。また、上記特開平 10— 174000号公報に開示の発明では、被写 体が暗ぐ AGCのゲインアップによっても適正な明るさが得られない場合には、シャ ッタ速を長くして長時間露光にすることにより、ノイズの低減を図っている。
また、複数枚の画像を使用してノイズの低減を実現するような技術として、例えば、 国際公開第 97/05745号パンフレットに開示されている発明がある。この国際公開 第 97/05745号パンフレットには、撮像された複数枚のビデオデータを圧縮符号化 するビットレートエンコーダに、ランダムノイズを除去するフィルタ回路を設けることによ り、撮像されたビデオデータのゲインアップに連動して、フィルタリング特性をアップさ せ、ランダムノイズを低減させる技術が開示されている。 MPEGのようなビデオデータ の場合は、圧縮符号化回路の中に適応フィルタをカ卩えたり、または、フィルタリング処 理ゃノイズ除去処理をするような回路を、圧縮符号化回路の前処理の回路としてつ なぐことでノイズを除去することが可能である。
[0003] また、例えば、特開 2001— 008087号公報には、複数枚の画像を取り扱う発明が 開示されている。上記特開 2001— 008087号公報に開示されている発明は、シャツ タ速度、フォーカス位置、露光を適正に変化させ、複数枚のフレームを撮影するブラ ケット撮影の一種を実現させるものであり、撮影時の状況に応じて、一枚撮影と連写 撮影とを適応的に切り換えることにより、使用者に負担をかけることなく撮影時のミス を低減できるようにしている。
[0004] 更に、複数枚の画像から高品位な画像を生成する技術も提案されている。例えば、 特許第 2828138号公報には、位置ずれを持つ複数枚の低解像度画像を用いて、 高解像度画像を生成するという方法が開示されている。
また、画素混合読み出しにより高品位な画像を生成する技術が提案されており、例 えば特開 2000— 253415号公報には、露光時間が所定の時間よりも長い場合に、 CCDの複数の画素から読み出される電荷を混合して、低ノイズの画像を生成すると レ、う方法が開示されている。
[0005] 特許文献 1 :特開平 10— 174000号公報
特許文献 2：国際公開第 97/05745号パンフレット
特許文献 3：特開 2001— 008087号公報
特許文献 4：特許第 2828138号公報
特許文献 5 :特開 2000— 253415号公報
発明の開示
[0006] 特開 2001— 008087号公報に開示されている発明では、撮影条件や、撮影条件 を求める過程の情報に基づいて連写を行うか否かの判断を行う。しかしながら、この 発明では、連写撮影時の連写枚数が撮影条件に対して固定的に定められてしまい、 連写枚数の最適化については考慮されていなかった。また、 CCDの複数の画素から 読み出される電荷を混合する際に撮影の状況が充分に考慮されていない。このため 、撮影状況に応じて高画質の画像を得るには不十分である。
特許第 2828138号公報、並びに特開 2000— 253415号公報に開示されている 発明によれば、高画質化を行うことができるが、高画質化の具体的処理内容に撮影 の状況との関連性が充分に考慮されていないため、撮影状況に応じて高画質の画 像を得ることができないという問題があった。
[0007] 本発明は、高画質化を図ることのできる撮像装置を提供することを目的とする。
[0008] 本発明の第 1の態様は、被写体を撮影して、該被写体の像を電子的に記録する撮 像装置において、撮影の条件を定める撮影パラメータを設定する撮影パラメータ設 定手段と、撮影画像のフレーム数を、前記撮影パラメータに応じた数に設定するフレ ーム数設定手段と、前記被写体を連続的に撮影することにより、前記フレーム数の撮 影画像を取得する撮像手段とを具備する撮像装置である。 [0009] この態様によれば、撮影パラメータ設定手段にて、撮影の条件を定める撮影パラメ ータが設定され、フレーム数設定手段にて、該撮影パラメータ設定手段により設定さ れた撮影パラメータに応じた数に撮影画像のフレーム数が設定される。そして、撮像 手段にて、被写体が連続的に撮影されることにより、撮影パラメータに応じたフレーム 数の撮影画像が取得されることとなる。
このように、撮影状況に応じたフレーム数の撮影画像を得ることができるので、これ ら撮影画像を用いて適切な画像処理 (例えば、超解像処理等）を実施することにより 、高画質及び低ノイズの画像を得ることが可能となる。
[0010] 上記撮影パラメータ設定手段は、例えば、図 1に示される撮像条件設定部 120に 該当する。フレーム数設定手段は、例えば、図 1に示される連写判定部 121に該当 する。撮像手段は、連写を可能とする連写機能を備えており、例えば、図 1に示され る撮像部 50及びこの撮像部を制御する撮像制御部 110に該当する。撮像部 50は、 例えば、絞り 101を内包するレンズ系 100、分光ハーフミラー系 102、シャツタ 103、 ローパスフィルタ 104、 CCD撮像素子 105、 A/D変換回路 106等を備えている。な お、上記具体的構成は、一例であり、本発明の各構成要素は後述の実施形態に係 る構成要素に限定されない。
[0011] 本発明の第 1の態様に係る撮像装置は、前記撮影パラメータから露光量を算出す る露光量算出手段を備え、前記フレーム数設定手段は、前記露光量が予め設定さ れている第 1閾値より小さい場合に、前記露光量に応じたフレーム数を設定すること が好ましい。
[0012] この態様によれば、露光量算出手段により露光量が算出され、この露光量が予め 設定されている第 1閾値より小さい場合には、フレーム数設定手段により、該露光量 に応じたフレーム数が設定される。これにより、露光量に応じた枚数の撮影画像を取 得することが可能となる。この結果、低ノイズ化及び高画質化を達成するために好適 な枚数の撮影画像を得ることが可能となるので、これら撮影画像を用いて適切な画 像処理を実施することにより、高画質及び低ノイズの画像を得ることができる。
[0013] 上記露光量は、例えば、シャツタ速度と被写体の照度とから算出することが可能で ある。具体的には、露光量 Hmは、被写体の照度とシャツタ速度（=露出時間）の積 にて算出することが可能である。また、フレーム数は、例えば、露光量が減少するに つれて、段階的に増加するように設定される。
上記露光量算出手段は、上記撮影パラメータ設定手段が備えていても良いし、フレ ーム数設定手段が備えていても良い。或いは、独立した構成要素として撮像装置に 設けられていても良い。
[0014] 本発明の第 1の態様に係る撮像装置において、前記撮影パラメータ設定手段は、 シャツタ速度を優先的に設定するためのシャツタ速優先モードを備え、前記フレーム 数設定手段は、前記シャツタ速優先モードにおいてシャツタ速度が優先的に設定さ れた結果、絞りが開放端の状態に設定された場合に、前記フレーム数をシャツタ速度 に応じた数に設定することが好ましい。
[0015] この態様によれば、フレーム数設定手段は、撮影パラメータ設定手段が備えるシャ ッタ速優先モードにおいて、優先的にシャツタ速が設定された結果、絞りが開放端の 状態に設定された場合に、フレーム数をシャツタ速度に応じた数に設定する。これに より、絞りが開放端の状態に F値が小さく設定されることにより、露光量が少ないと予 想される場合には、シャツタ速度に応じた複数の撮影画像を用いて 1つの画像が生 成されることとなるので、露光量の改善を図ることが可能となる。この結果、高画質且 つ低ノイズの画像を得ることが可能となる。
[0016] 本発明の第 1の態様に係る撮像装置において、前記撮影パラメータ設定手段は、 絞り優先モードを備え、前記フレーム数設定手段は、前記絞り優先モードにおいて 絞りが優先的に設定された結果、シャツタ速が所定の速度より遅く設定された場合に 、シャツタ速度を前記所定の速度以上に設定し直すとともに、当該設定し直した速度 に応じた数に前記フレーム数を設定することが好ましい。
[0017] この態様によれば、フレーム数設定手段は、撮影パラメータ設定手段が備える絞り 優先モードにおいて、優先的に絞りが設定された結果、シャツタ速度が所定の速度よ り遅く設定された場合に、シャツタ速度を前記所定の速度以上に設定し直すとともに 、この設定し直した速度に応じた数にフレーム数を設定する。このように、シャツタ速 度が所定速度よりも遅く設定された場合には、そのシャツタ速度を前記所定の速度以 上に設定し直すので、シャツタ速の遅いことに起因するブレを解消させることが可能と なる。また、シャツタ速度を所定の速度以上に設定し直したことにより、露光量が少な レ、と予想される場合には、この設定し直されたシャツタ速度に応じた複数の撮影画像 を用いて 1つの画像を生成するので、露光量の改善を図ることが可能となる。これに より、高画質且つ低ノイズの画像を得ることが可能となる。
[0018] 本発明の第 1の態様に係る撮像装置において、前記撮影パラメータ設定手段は、 前記撮影パラメータとして感度値を設定する感度値設定手段を備え、前記フレーム 数設定手段は、前記感度値設定手段で設定された感度値が予め設定されてレ、る第 1規定値以上の場合に、前記感度値に応じた枚数のフレーム数を設定することが好 ましい。
[0019] この態様によれば、撮影パラメータ設定手段が備える感度値設定手段により感度 値が予め設定された第 1規定値以上の場合に、複数のフレーム数が設定される。こ のように、例えば、感度値が高い場合には、その感度値に応じた複数の撮影画像を 用いて 1つの画像を生成するので、感度値の増大に起因して生じるノイズの消去が 可能となり、高画質化を達成することができる。
上記フレーム数は、例えば、感度値が増大するにつれて、段階的に増加するように 設定される。感度値としては、例えば、一般的な ISO感度等が挙げられる。
[0020] 本発明の第 1の態様に係る撮像装置は、画素混合読み出し後における撮影画像の 画素数を、前記撮影パラメータに応じた数に設定する画素数設定手段と、前記画素 数設定手段により設定された画素数になるように、前記撮像手段からの画像信号に 対して画素混合読み出しを行う画素混合読み出し手段とを具備することが好ましい。
[0021] この態様によれば、撮像手段により被写体が撮影され、画素混合読み出し手段に て、該撮像手段により取得された撮影画像の画像信号に対して画素混合読み出しが 行われる。一方、画素数設定手段は、上記画素混合読み出し後における撮影画像 の画素数を、該撮影パラメータに応じた数に設定する。上記「画素混合読み出し」と は、例えば、 Bayer配列の CCD撮像素子等からの信号の読み出しにおいて、同じ力 ラーチャンネルの複数の画素の信号を加算して読み出すことにより、画像の解像度 は下がるが、感度を複数倍にして画像の信号を読み出すことができる方式をいう。 このように、画素混合読み出し後における撮影画像の画素数を撮影パラメータに応 じた数とすることが可能となるので、撮影画像の感度を撮影状況に応じて変化させる こと力 Sできる。
[0022] 本発明の第 1の態様に係る撮像装置は、前記撮影パラメータから露光量を算出す る露光量算出手段を備え、前記画素数設定手段は、前記露光量が予め設定されて レ、る第 2閾値より小さい場合に、前記露光量に応じて、前記画素混合読み出し後に おける撮影画像の画素数を設定することが好ましい。
[0023] この態様によれば、露光量算出手段により露光量が算出され、この露光量が予め 設定されている第 2閾値より小さい場合には、画素数設定手段により、該露光量に応 じた画素数が設定される。これにより、画素混合読み出し後における撮影画像の画 素数を露光量に応じた画素数とすることが可能となる。上記露光量は、例えば、シャ ッタ速度と被写体の照度とから算出することが可能である。具体的には、露光量 Hm は、被写体の照度とシャツタ速度（=露出時間）の積にて算出することが可能である。 また、画素数は、例えば、露光量が減少するにつれて、段階的に減少するように設定 される。
[0024] 本発明の第 1の態様に係る撮像装置において、前記撮影パラメータ設定手段は、 前記撮影パラメータとして感度値を設定する感度値設定手段を備え、前記画素数設 定手段は、前記感度値が予め設定されている第 2規定値以上の場合に、前記感度 値に応じて、前記画素混合読み出し後における撮影画像の画素数を設定することが 好ましい。
[0025] この態様によれば、撮影パラメータ設定手段が備える感度値設定手段により設定さ れた感度値が、予め設定されている第 2規定値以上の場合には、画素数設定手段に て、感度値に応じた画素数が設定される。これにより、画素混合読み出し後における 撮影画像の画素数を感度値に応じた画素数とすることが可能となる。画素数は、例え ば、感度値が増大するにつれて、段階的に減少するように設定される。
[0026] 本発明の第 1の態様に係る撮像装置は、前記撮像手段により取得された複数のフ レーム間における前記被写体の動きを推定することによって、前記フレーム間の相対 的な位置関係を補償する動き補償手段と、前記動き補償手段で補償された複数のフ レームを合成した像を生成する画像合成手段とを更に備えることが好ましい。 [0027] この態様によれば、動き補償手段にて、撮像手段により取得された複数のフレーム 間における被写体の動きが推定されて、各フレーム間の相対的な位置関係が補償さ れ、画像合成手段にて、該動き補償手段により補償された複数のフレームを合成し た像を生成することにより、高画質な画像が生成されることとなる。
[0028] 上述の動き補償手段は、前記複数のフレーム間の近似度の評価関数を求め、該評 価関数に基づいて前記複数のフレーム間における前記被写体の動きを補償すること が好ましい。
[0029] このような構成によれば、動き補償手段にぉレ、ては、複数のフレーム間の近似度の 評価関数が求められ、この評価関数に基づいて複数のフレーム間における被写体の 動きが補償されることとなる。
[0030] 上述の動き補償手段は、前記複数のフレームから任意の:!枚のフレームを基準画 像として選択し、該基準画像と該基準画像以外のフレームとの近似度の評価関数を 求め、該評価関数に基づいて前記複数のフレーム間における前記被写体の動きを 補償することが好ましい。
[0031] このような構成によれば、動き補償手段においては、複数のフレームの中力 任意 の 1枚のフレームが基準画像として選択され、基準画像と基準画像以外のフレームと の近似度の評価関数が求められる。そして、この評価関数に基づいて複数のフレー ム間における被写体の動きが補償されることとなる。
[0032] 本発明の第 2の態様は、被写体を撮影して、該被写体の像を電子的に記録する撮 像装置において、撮影の条件を定める撮影パラメータを設定する撮影パラメータ設 定手段と、画素混合読み出し後における撮影画像の画素数を、前記撮影パラメータ に応じた数に設定する画素数設定手段と、前記被写体を撮影する撮像手段と、前記 画素数設定手段により設定された画素数になるように、前記撮像手段からの画像信 号に対して画素混合読み出しを行う画素混合読み出し手段とを具備する撮像装置で ある。
[0033] この態様によれば、撮影パラメータ設定手段にて、撮影の条件を定める撮影パラメ ータが設定され、画素数設定手段にて、該撮影パラメータ設定手段により設定された 撮影パラメータに応じた数に、画素混合読み出し後における撮影画像の画素数が設 定される。一方、撮像手段により被写体が撮影されることにより撮影画像が取得され、 この撮影画像に対して画素混合読み出しが画素混合読み出し手段にて行われる。こ の場合において、画素混合読み出し手段は、画素混合読み出し後の画素数が、上 記画素数設定手段にて設定された画素数になるように、画素混合読み出しを行う。こ こで「画素混合読み出し」とは、例えば、 Bayer配列の CCD撮像素子等からの信号 の読み出しにおいて、同じカラーチャンネルの複数の画素の信号を加算して読み出 すことにより、画像の解像度は下がるが、感度を複数倍にして画像の信号を読み出 すことができる方式をいう。
このように、本発明の第 2の態様に係る撮像装置によれば、画素混合読み出し後に おける撮影画像の画素数を撮影パラメータに応じた数とすることが可能となるので、 撮影画像の感度を撮影状況に応じて変化させることができる。これにより、低ノイズ及 び高画質の画像を得ることが可能となる。
[0034] 上記撮影パラメータ設定手段は、例えば、図 1に示される撮像条件設定部 120に 該当する。画素数設定手段は、例えば、図 1に示される読み出し画素判定部 122に 該当する。撮像手段は、例えば、図 1に示される撮像部 50及びこの撮像部 50を制御 する撮像制御部 110に該当する。撮像部 50は、例えば、絞り 101を内包するレンズ 系 100、分光ハーフミラー系 102、シャツタ 103、ローパスフィルタ 104、 CCD撮像素 子 105、 A/D変換回路 106等を備えている。画素読み出し手段は、例えば、図 1に 示される第一画像処理部 111が備えている。なお、上記具体的構成は、一例であり、 本発明の各構成要素は後述の実施形態に係る構成要素に限定されない。
[0035] 本発明の第 2の態様に係る撮像装置は、前記撮影パラメータから露光量を算出す る露光量算出手段を備え、前記画素数設定手段は、前記露光量が予め設定されて レ、る第 2閾値よりも小さい場合に、前記露光量に応じて、前記画素混合読み出し後に おける撮影画像の画素数を設定することが好ましい。
[0036] この態様によれば、露光量算出手段により、撮影パラメータから露光量が算出され 、この露光量が予め設定されている第 2閾値よりも小さい場合には、画素数設定手段 により、該露光量に応じた画素数が設定される。これにより、画素混合読み出し後に おける撮影画像の画素数を露光量に応じた画素数とすることが可能となる。上記露 光量は、例えば、シャツタ速度と被写体の照度とから算出することが可能である。具体 的には、露光量 Hmは、被写体の照度とシャツタ速度（=露出時間）の積にて算出す ることが可能である。また、画素数は、例えば、露光量が減少するにつれて、段階的 に減少するように設定される。
[0037] 本発明の第 2の態様に係る撮像装置において、前記撮影パラメータ設定手段は、 前記撮影パラメータとして感度値を設定する感度値設定手段を備え、前記画素数設 定手段は、前記感度値が予め設定されている第 2規定値以上の場合に、前記感度 値に応じて、前記画素混合読み出し後における撮影画像の画素数を設定することが 好ましい。
[0038] この態様によれば、撮影パラメータ設定手段が備える感度値設定手段により設定さ れた感度値が、予め設定されている第 2規定値以上の場合には、画素数設定手段に て、感度値に応じた画素数が設定される。これにより、画素混合読み出し後における 撮影画像の画素数を感度値に応じた画素数とすることが可能となる。画素数は、例え ば、感度値が増大するにつれて、段階的に減少するように設定される。
図面の簡単な説明
[0039] [図 1]本発明の第 1の実施形態に係る電子スチルカメラの概略構成を示すブロック図 である。
[図 2]本発明の第 1の実施形態に係る電子スチルカメラの外観構成図である。
[図 3]本発明の第 1の実施形態に係る電子スチルカメラで行われる処理の概略を示し たフローチャートである。
[図 4]図 3に示した撮影パラメータ設定処理の流れを示すフローチャートである。
[図 5]図 3に示した撮影モード設定処理の流れを示すフローチャートである。
[図 6]図 3に示した撮影モード設定処理の流れを示すフローチャートである。
[図 7]露光量と撮影枚数とが対応付けられたテーブルの一例を示す図である。
[図 8]露光量と画素混合読み出し後の画素数とが対応付けられたテーブルの一例を 示す図である。
[図 9]図 5及び図 6に示したフローチャートの他の例を示す図である。
[図 10]図 5及び図 6に示したフローチャートの他の例を示す図である。 園 11]IS〇感度と撮影枚数とが対応付けられたテーブルの一例を示す図である。 園 12]IS〇感度と画素混合読み出し後の画素数とが対応付けられたテーブルの一 例を示す図である。
園 13]本発明の第 1の実施形態に係る電子スチルカメラにて行われる動き推定の処 理手順の一例を示すフローチャートである。
園 14]動き推定における最適類似度推定の概念図を示す図である。
園 15]動き推定値を使用した参照画像変形における基準画像への近似図である。 園 16]基準画像と近似画像の加算平均法の一例を説明するための説明図である。 園 17]基準画像と近似画像の加算平均法の他の例を説明するための説明図である。 園 18]本発明の第 2の実施形態に係る電子スチルカメラで実施される撮影モード設 定処理の一例を示すフローチャートである。
[図 19]図 18に示したフローチャートの他の例を示す図である。
[図 20]本発明の第 3の実施形態に係る電子スチルカメラで実施される撮影モード設 定処理の一例を示すフローチャートである。
[図 21]図 20に示したフローチャートの他の例を示す図である。
[図 22]本発明の第 4の実施形態に係る電子スチルカメラで実施される撮影モード設 定処理の一例を示すフローチャートである。
[図 23]本発明の第 4の実施形態に係る電子スチルカメラで実施される撮影モード設 定処理の一例を示すフローチャートである。
[図 24]図 22及び図 23に示したフローチャートの他の例を示す図である。
[図 25]図 22及び図 23に示したフローチャートの他の例を示す図である。
園 26]本発明の第 5の実施形態に係る電子スチルカメラで実施される高解像度画像 推定の処理手順を示すフローチャートである。
[図 27]図 26に示した処理手順を実現するハードウェア構成の一例を示す。
園 28]加算平均法による複数枚毎の SN比実験結果を示した図である。
園 29]画素混合読み出しによる画像復元での SN比実験結果を示した図である。 園 30]同じカラーチャンネル隣接 4画素における画素混合読み出しについて説明す るための説明図である。 発明を実施するための最良の形態
[0040] 以下、本発明に係る撮像装置を電子スチルカメラに適用した場合の実施形態につ いて、図面を参照して説明する。
まず、本発明の実施形態に係る電子スチルカメラの具体的な説明を行う前に、加算 平均処理と画像混合読み出しによる SN比の改善効果について説明する。
まず、本実施形態において、「画素混合読み出し」とは、例えば、図 30に示すように 、 Bayer配列の撮像素子（例えば CCD)力 の信号の読出しにおいて、隣接した同じ カラーチャンネルの複数の画素（例えば 4画素）の信号を混合することにより、解像度 は下がるが、感度を 4倍にすることが可能な信号の読出し方式のことをレ、う。
[0041] 図 28は、後述する加算平均法（図 16参照）を用いたランダムノイズの低減結果の 一例を示したものである。図 28において、縦軸は、 SN比、横軸は加算平均法に使 用した画像の枚数を示している。図 28では、画像として、 1乃至 100枚を使用して、 加算平均した場合における SN比を示している。なお、複数枚の画像としては、正規 分布状の確率分布を持つランダムノイズを予め付加させたものを採用している。
[0042] 図 29は、上述した図 30の画素混合読み出しを行った画像におけるランダムノイズ の低減結果の一例を示した図である。図 29において、縦軸は、 SN比、横軸は σ (si gma :なお、 σが大きい程、評価画像のランダムノイズが多く付加されている。）を示し ている。図 29において、破線 (before)は、評価画像における画素混合前の特性を 示しており、実線 (after)は、画素混合読み出し後に、更に、解像度を上げる為の復 元処理（単一画像の超解像）を行った画像の特性を示している。なお、ここでの評価 画像には、正規分布状の確率分布を持つランダムノイズを予め付加させている。
[0043] 上記図 28及び図 29に示される SN比は、ランダムノイズを予め付加させた画像に おける全画素の平均値と結果画像における各画素との偏差の二乗を平均した値の 平方根をデシベルに換算したものである。計算手順を以下の（1 )乃至（5)に示す。
[0044] [数 1] (1)輝度信号 Yの算出
Yij = 0.299Rij + 0.587Gij + O. l HBjj
(2)色差信号 Cr , Cbの算出
り = ^ - Yij , = B - Yij
(3)平均輝度 Y , Cr ， Cbの算出
Ϋ ∑ (
Figure imgf000014_0001
',ゾ
(4) RMS粒状度 σの算出 σ (Cbjj - Cb
Figure imgf000014_0002
(5) SN比の算出
( 2bit .
S/N = 20 log10
び ノ
で、 bitは画像の階調幅 （256階調なら 8)を意味する (
[0045] 図 28における SN比の結果より、複数枚の加算平均法を使用することにより、ランダ ムノイズが低減する効果があり、また、使用する画素枚数を増やすほど、ランダムノィ ズが低減されることがわかる。また、図 29における SN比の結果より、画素混合読み 出しを行ってから画素復元することにより、ランダムノイズが低減する効果があることが わ力る。
[0046] 第 1の実施形態
次に、本発明の第 1の実施形態に係る電子スチルカメラについて説明する。図 1は 、本発明の第 1の実施形態に係る電子スチルカメラの概略構成を示すブロック図であ る。図 1に示されるように、本実施形態に係る電子スチルカメラは、例えば、撮像部 50 、 A/D変換回路 106、 AE用フォトセンサ 107、撮像制御部 110、第一画像処理部 111、画像用バッファ 115、圧縮部 116、メモリカード I/F部 117、メモリカード 118、 操作表示部 119、撮像条件設定部 (撮影パラメータ設定手段） 120、連写判定部 (フ レーム数設定手段） 121、読み出し画素判定部（画素数設定手段） 122、切換部 200 、連写用バッファ 201、第二画像処理部 202を備えて構成されている。上記撮像部 5 0は、絞り 101を内包するレンズ系 100、分光ハーフミラー系 102、シャツタ 103、ロー パスフィルタ 104、 CCD撮像素子 105、及び AFモータ 108を備えて構成されている
[0047] 絞り 101を内包するレンズ系 100、分光ハーフミラー系 102、シャツタ 103、ローバ スフィルタ 104、及び CCD撮像素子 105は、光軸に沿って配置されている。レンズ系 100には、合焦作業時にレンズ系の一部を移動するための AFモータ 108が接続さ れている。レンズ系 100を通過した光束は、分光ハーフミラー系 102により 2手に分岐 され、一方の光束は、シャツタ 103、ローパスフィルタ 104を経由して CCD撮像素子 1 05に導かれ、他方は、 AE用フォトセンサ 107に導かれるようになっている。本実施形 態に係る CCD撮像素子 105は、単板 CCD撮像素子を前提としている。 CCD撮像素 子 105からの出力は、 A/D変換回路 106に入力される。 A/D変換回路 106からの 出力は、撮像条件設定部 120及び第一画像処理部 111へ入力される。
[0048] 第一画像処理部 111の出力は、切換部 200を介して画像用バッファ 115又は連写 用バッファ 201へ転送される。ここで、切換部 200は、連写判定部 121からの信号に 基づいて接続先を切り替えることにより、第一画像処理部 111からの信号を画像用バ ッファ 115又は連写用バッファに転送する。上記画像用バッファ 115の出力は、 JPE Gなどの圧縮を行う圧縮部 116、及び液晶表示部やモード設定ボタンからなる操作 表示部 119へ入力される。圧縮部 116からの出力は、メモリカード I/F部 117を介し て脱着可能なメモリカード 118へ入力される。
[0049] 撮像条件設定部（撮影パラメータ設定手段） 120には、上記 AE用フォトセンサ 107 及び A/D変換回路 106から信号が入力される。撮像条件設定部 120の出力信号 は、連写判定部 121及び読み出し画素判定部 122へ入力される。連写判定部 121 力 の信号は、撮像制御部 110及び上記切替部 200へ出力される。読み出し画素 判定部 122の出力は、撮像制御部 110に入力される。
[0050] 連写用バッファ 201の出力は、第二画像処理部 202及び操作表示部 119へ入力さ れる。第二画像処理部 202は、モーション推定部 202a、超解像処理部 202b、及び 加算平均処理部 202cを備えている。第二画像処理部 202の出力は、圧縮部 116へ 入力される。
[0051] 次に、図 2に、本実施形態に係る電子スチルカメラの概略の外観構成図を示す。図 2は、本実施形態に係る電子スチルカメラの外観構成図である。
図 2に示すように、本実施形態の電子スチルカメラは、カメラ本体 Z1と、カメラ本体 Z 1に備えられたモード選択ダイヤル Z2と、レリーズスィッチ Z3と、撮影枚数モード切替 スィッチ Z4と、画素混合撮影モード切替スィッチ Z7と、液晶表示パネル Z6とを有して いる。
[0052] 次に、図 1及び図 2に示した構成を備える本実施形態に係る電子スチルカメラの作 用について図を参照して説明する。
図 3は、本実施形態に係る電子スチルカメラで行われる処理の概略を示したフロー チャートである。
まず、プリ撮影においては、図 3のステップ B01において、撮影パラメータ設定処理 による撮影パラメータの設定が行われる。次に、ステップ B02において、撮影モード 設定処理による撮影モードの設定が行われる。ここで、本実施形態に係る電子スチ ルカメラには、本撮影のための 1度のレリーズスィッチ Z3 (図 2参照）の操作によって、 1枚の画像を撮影する「通常枚数撮影モード」と、本撮影のための 1度のレリーズスィ ツチ Z3の操作によって、複数枚の画像を連写する「連写撮影モード」と、画素混合読 み出しを行う「画素混合読み出し撮影モード」と、画素混合読み出しを行わない「通 常読み出し撮影モード」との 4つの撮影モードがある。なお、「画素混合読出し撮影モ ード」では、前述したように、 Bayer配列の CCD撮像素子 105からの信号の読出しに おいて、同じカラーチャンネルの複数の画素の信号を加算して読出すことにより、画 像の解像度は下がるが、感度を複数倍にして画像の信号を読み出す方式を採用す る。これに対して、「通常画素モード」では、画素混合読出しを行わずに、 Bayer配列 の CCD撮像素子 105からの信号の読出しにおいて、画素毎に信号を読み出す方式 を採用する。
[0053] 続くステップ B03では、ステップ B02にて設定された撮影モードにて撮影を行レ、、ス テツプ B04において、撮影した画像の信号を画像用バッファ 115又は連写用バッファ 201に保存する。そして、ステップ B05において、画像用バッファ 115又は連写用バ ッファ 201に保存された画像に対して所定の処理を施し、当該処理を終了する。ステ ップ B05では、例えば、連写用バッファ 201に保存された画像に対して、第二画像処 理部 202による高画質化の処理や加算平均処理などが行われる。
[0054] 次に、上述した各処理内容について具体的に説明する。
まず、図 1に示した電子スチルカメラにおいて、使用者によりレリーズスィッチ Z3 (図 2参照）が半押される、或いは電源スィッチ（不図示）が ON状態にされると、撮影制御 部 110は、絞り 101、シャツタ 103、 AFモータ 108を制御し、プリ撮影を実施する。
[0055] プリ撮影では、 CCD撮像素子 105からの信号が A/D変換回路 106にてデジタル 信号に変換され、第一画像処理部 111に転送される。第一の画像処理部 111は、こ の画像信号に、公知のホワイトバランス、強調処理、補間処理などを施し、三板状態 の画像信号を生成する。このようにして生成された三板状態の画像信号は、切替部 2 00を介して画像用バッファ 115に出力される。
[0056] 続いて、プリ撮像では、撮像条件設定部 120が、本撮像のための撮像条件 (撮影 パラメータを含む）を公知の技術により設定し、設定した撮影条件を撮影制御部 110 、連写判定部 121及び読み出し画素判定部 122に転送する。ここで、撮像条件とは 、例えば、シャツタ速度、絞り値、合焦位置、 ISO感度などの撮影時に要する各要素 、すなわち撮影パラメータに対する設定値の組み合わせであり、これらの設定方法の 詳細については、後述する。
[0057] 連写判定部 121は、撮像条件設定部 120により設定された上記撮影条件に基づい て、撮影フレーム数に係る撮影モードの設定を行レ、、設定した撮影モードの情報を 撮影制御部 110及び切換部 200へ転送する。一方、読み出し画素判定部 122は、 撮像条件設定部 120により設定された上記撮影条件に基づいて、画素混合読み出 しにおける画素数に係る撮影モードを設定し、設定した撮影モードの情報を撮影制 御部 110へ転送する。 撮影制御部 110は撮像条件設置得部 120により設定された撮像条件並びに連写 判定部 121及び読み出し画素判定部 122により設定された撮影モードに基づいて、 撮像部 50を制御する。具体的には、撮像部 50を構成する絞り 101、 AFモータ 108、 シャツタ 103などを制御する。
[0058] 次に、上記撮像条件設定部 120にて設定される撮像条件について説明する。
露光量に関するシャツタ速度及び絞り値といった撮影パラメータは、 AE用フォトセ ンサ 107に入力された被写体の輝度の測定結果に基づいて設定される。光量測定 の対象となる領域は、 AE用フォトセンサ 107前に配置された図示しない絞り機能など を用いることにより、切り換え可能である。上記光量測定では、スポット、中央重点、平 均測光などが測定される。なお、本実施形態に係る電子スチルカメラでは、シャツタ 速度と絞り値の組合せは、「自動露光方式」、「シャツタ速度優先方式」、「絞り優先方 式」の中から適宜選択することが可能である。
[0059] 上記「自動露光方式」は、予め定められているシャツタ速度と絞り値の複数の組み 合わせからシャツタ速度と絞り値とを自動的に設定する方式である。「シャツタ速度優 先方式」は、使用者が設定したシャツタ速度にあわせて、絞り値を自動的に設定する 方式である。 「絞り優先方式」は、使用者が設定した絞り値にあわせて、シャツタ速度 を自動的に設定する方式である。なお、このシャツタ速度及び絞り値の設定について は、詳細を後述する。
[0060] 合焦位置は、 CCD撮像素子 105からの出力信号を A/D変換回路 106にてデジ タル信号に変換し、この単板状態の画像からの輝度信号を算出し、その輝度信号中 のエッジ強度力 求める。すなわち、 AFモータ 108にてレンズ系 100の合焦位置を 段階的に変えることで、エッジ強度が最大となる合焦位置を推定し、これを設定する
[0061] ISO感度の設定は、電子スチルカメラにおける感度モードの設定によって異なる。
電子スチルカメラにおいて感度モードがマニュアル感度モードに設定されている場 合には、使用者の設定値によって行う。電子スチルカメラにおいて感度モードが自動 感度モードの場合には、 AE用フォトセンサ 107にて測定された被写体の光量に基づ いて決定される。具体的には、 AE用フォトセンサ 107にて測定した光量が少ない場 合には、高い ISO感度に設定し、光量が多い場合には、低い ISO感度に設定する。 なお、本実施形態における ISO感度とは、 CCD撮像素子 105からの信号に対する 電気的増幅 (ゲインアップ）の程度を表す値であり、この値が大きいほど電気的増幅 の程度を高くしている。
[0062] 次に、撮像条件設定部 120により実行される撮影パラメータ設定処理について、図
4を参照して具体的に説明する。この撮影パラメータ設定処理は、図 3に示したフロ 一チャートにおけるステップ B01に対応する処理である。本実施形態では、撮影パラ メータとして、露光条件、具体的には、絞り値、シャツタ速度、及び ISO感度の設定を 行う場合について説明する。
[0063] まず、図 4のステップ C01において、「絞り優先モード」、「シャツタ速度優先モード」 、「自動化モード」の 3つからなる自動露出モードのうち、どのモードが選択されている かを判定する。この結果、「絞り優先モード」が選択された場合には、ステップ C02に 移行し、使用者により設定された値を絞り値として設定する。続いて、ステップ C04に おいて、被写体の照度を検出し、続くステップ C05にて、ステップ C02において設定 された絞り値及びステップ S04にて検出された照度から、適正露出になるようなシャツ タ速度を算出して、シャツタ速度として設定する。続いて、ステップ C06にて、 ISO感 度の設定を行う。 ISO感度の設定は、モードを使用者が選択できるようになっている。 ここで、マニュアルのモードが選択された場合には、使用者による設定値を ISO感度 として設定し、一方、自動モードが選択された場合には、ステップ C04にて検出され た被写体の照度から適正な感度値を決定する。そして、上記 ISO感度を設定し終わ ると、当該処理を終了する。
[0064] 一方、上述のステップ C01において、「シャツタ速度優先モード」が選択された場合 には、ステップ C03へ移行し、シャツタ速度として、使用者によって設定された値を設 定する。続いて、ステップ C04にて、被写体の照度を検出し、続くステップ C05にて、 ステップ C03にて設定したシャツタ速度及びステップ C04にて検出した照度から、適 正露出になるような絞り値を算出して、絞り値に設定する。そして、上述と同様、ステツ プ C06にて ISO感度を設定し、当該処理を終了する。
[0065] また、上述したステップ C01において、「自動化モード」が選択されていた場合には 、ステップ C04へ移行し、被写体の照度を検出する。そして、ステップ C05において、 ステップ C04において検出された照度から適正露出になるような絞り値とシャツタ速 度とを算出して、それぞれを設定する。そして、ステップ C06において ISO感度を設 定し、当該処理を終了する。
[0066] 次に、撮像条件設定部 120により上述した撮影パラメータ設定処理が行われた後 に、連写判定部 121及び読み出し画像判定部 112において実行される撮影モード 設定処理について、図 5及び図 6を参照して説明する。この撮影モード設定処理は、 図 3に示したフローチャートにおけるステップ B02に対応する処理である。
図 5のステップ A01において、レリーズスィッチがオンされると、ステップ A02に移行 し、撮影枚数モード切替スィッチ Z4 (図 2参照）が〇N力 OFFかを判定する。この結 果、撮影枚数モード切替スィッチ Z4が OFFであった場合には、ステップ A10へ移行 し、撮影枚数を:!枚と判断し、続ぐステップ Al lにて、撮影モードとして「通常枚数撮 影モード」を設定して、図 6のステップ A12へ移行する。
[0067] 一方、ステップ A02において、撮影枚数モード切替スィッチが ONであった場合に は、ステップ A03へ移行し、シャツタ速度と被写体の照度とから露光量を算出する。 露光量は、撮像面（CCD撮像素子)での照度とシャツタ速度（=露出時間）の積で算 出すること力 Sできる。 Hmを露光量 (lx X s)、 Eを撮像面（CCD撮像素子）での照度（ 単位は lx)、 Tをシャツタ速度（単位は s)とすると、下記の（6)式で求められる。なお、 Eは、絞り値 (F値）の 2乗に反比例し、被写体の輝度に比例する値である。
Hm=E X T (6)
[0068] 続いて、ステップ A04にて、上記ステップ A03にて算出された露光量力 撮影枚数 設定用の第 1閾値（図 7参照）より低いか否かを判定する。この結果、露光量が、第 1 閾値以上であった場合には、ステップ A08へ移行し、撮影枚数を 1枚と判断し、続く 、ステップ A09にて、撮影モードとして「通常枚数撮影モード」を設定して、後述のス テツプ A12 (図 6参照）へ移行する。
[0069] 一方、上記ステップ A04において露光量が上記第 1閾値未満であった場合には、 ステップ A05へ移行し、露光量に応じた数に撮影枚数 (フレーム数）を決定する。こ れにより、露光量と撮影枚数を連動させる。撮影枚数に関しては、予め適正枚数を定 めておき、その枚数を用いる。露光量と撮影枚数の関係は、例えば、図 7のように、露 光量が減少するにつれて、段階的に撮影枚数が多くなるように設定されている。この ような、露光量と撮影枚数とが対応付けられたテーブルは、電子スチルカメラ内に記 憶されており、この関係に基づいて撮影枚数が決定される。
[0070] 続いて、ステップ A06にて、上記ステップ A05において決定された撮影枚数が 2枚 以上か否力、を判定する。この結果、撮影枚数が 2枚以上の場合には、ステップ A07 へ移行し、撮影モードを「連写撮影モード」に設定し、図 6のステップ A12へ移行する 一方、上記ステップ A06において決定された撮影枚数力^枚であった場合には、ス テツプ A09へ移行し、撮影モードを「通常枚数撮影モード」に設定して、図 6のステツ プ A12へ移行する。なお、上述のステップ A01乃至ステップ Al lの処理は、図 1に 示される連写判定部 121により実行される。
[0071] 続いて、図 6に示すように、ステップ A12にて、画素混合読み出し撮影モード切替 スィッチ Z7 (図 2参照）が ON力 DFFかを判定する。この結果、画素混合読み出し撮 影モード切替スィッチ Z7が OFFの場合には、ステップ A19へ移行し、通常読み出し 撮影と判断して、続ぐステップ 20にて、撮影モードに「通常読み出し撮影モード」を 設定し、続ぐステップ A21にて、設定した各撮影モード、撮影枚数、及び画素混合 読み出し後の画素数を液晶表示パネル Z6 (図 2参照）に表示して、本処理を終了す る。
[0072] 一方、上述のステップ A12にて、画素混合読み出し撮影モード切替スィッチ Z7 (図
2参照）が ONであった場合には、ステップ A13へ移行し、シャツタ速度と絞り値と被 写体の輝度とから露光量を算出する。なお、ここで算出する露光量の変わりに、上述 のステップ A03にて算出した露光量を用いるようにしても良い。
[0073] 続いて、ステップ A13において算出した露光量が読出し方式決定用の第 2閾値（図
8参照）より低いか否力、を判定する。この結果、露光量が第 2閾値以上であった場合 は、ステップ A17へ移行し、通常読み出し撮影と判断し、続ぐステップ A18にて、撮 影モードを「通常読み出し撮影モード」に設定した後、続ぐステップ A21にて、設定 した各撮影モード、撮影枚数、及び画素混合読み出し後の画素数を液晶表示パネ ル Z6 (図 2参照）に表示して、本処理を終了する。
[0074] 一方、上述のステップ A14において、露光量が第 2閾値未満であった場合には、ス テツプ A15へ移行し、露光量に応じた画素混合読み出し後の画素数を決定する。こ れにより、露光量と撮影枚数と画素混合読み出し後の画素数とを連動させる。ここで 、画素混合読み出し後の画素数に関しては、予め適正な読み出し後の画素数を定 めておき、その画素数を用いるとよい。
[0075] 露光量と画素混合読み出し後の画素数の関係は、例えば、図 8のように、露光量が 減少するにつれて、段階的に画素混合読み出し後の画素数が少なくなるように設定 されている。このような、露光量と画素混合読み出し後の画素数とが対応付けられた テーブルは、電子スチルカメラ内に記憶されており、この関係に基づいて画素混合読 み出し後の画素数が決定される。
[0076] このようにして、露光量に応じた画素数が決定されると、続くステップ A16にて、撮 影モードを「画素混合読み出し撮影モード」に設定し、続ぐステップ A21にて、設定 した各撮影モード、撮影枚数、及び画素混合読み出し後の画素数を液晶表示パネ ル Z6に表示し、本処理を終了する。
なお、上述したステップ A12乃至ステップ A20の処理は、図 1に示される読み出し 画素判定部 122において実行される。
[0077] なお、上述した撮影モード設定処理は、上述のように露光量に応じたものだけでな ぐ ISO感度値に応じて行うことも可能である。以下、 ISO感度に応じた撮影モード設 定処理の手順について図 9及び図 10を参照して説明する。図 9及び図 10において、 図 5及び図 6と同様の処理内容については、同一のステップ番号を付し、その説明を 省略する。
[0078] 本処理では、図 5に示したステップ A03乃至 A05に代わって、図 9のステップ A30 及び A31を採用する。具体的には、図 9のステップ A02において撮影枚数モード切 替スィッチが ONであると判定された場合、ステップ A30において、 ISO感度が撮影 枚数設定用の第 1規定値（図 11参照）以上であるか否力 ^判定する。この結果、 ISO 感度が第 1規定値未満であった場合には、ステップ A08へ移行し、撮影枚数を:!枚と 判断し、続ぐステップ A09にて、撮影モードに「通常枚数撮影モード」を設定して、 後述のステップ A12 (図 10参照）へ移行する。
[0079] 一方、上記ステップ A30において、 ISO感度が第 1規定値以上であった場合には、 ステップ A31へ移行し、 ISO感度に応じた撮影枚数を決定する。これにより、 ISO感 度と撮影枚数を連動させる。撮影枚数に関しては、予め適正枚数を定めておき、そ の枚数を用いる。 ISO感度と撮影枚数の関係は、例えば、図 11のように、 ISO感度 が大きくなるにつれて、段階的に撮影枚数が多くなるように設定されている。このよう な、 ISO感度と撮影枚数とが対応付けられたテーブルは、電子スチルカメラ内に記憶 されており、この関係に基づいて撮影枚数が決定される。
[0080] また、本処理では、図 6に示したステップ A13乃至 A15に代わって、図 10のステツ プ A32及び A33を採用する。具体的には、図 10のステップ A12において画素混合 読み出し撮影モード切替スィッチが〇Nであると判定された場合、ステップ A32にお いて、 ISO感度が読出し方式決定用の第 2規定値（図 12参照）以上であるか否かを 判定する。この結果、 ISO感度が第 2規定値未満であった場合には、ステップ A17へ 移行し、通常読み出し撮影と判断し、続ぐステップ A18にて、撮影モードとして「通 常読み出し撮影モード」を設定する。
[0081] 一方、上記ステップ A32において、 ISO感度が第 2規定値以上であった場合には、 ステップ A33へ移行し、 ISO感度に応じた画素混合読み出し後の画素数を決定する 。これにより、 ISO感度と画素混合読み出し後の画素数とを連動させる。ここで、画素 混合読み出し後の画素数に関しては、予め適正な読み出し後の画素数を定めてお き、その画素数を用いるとよい。
[0082] ISO感度と画素混合読み出し後の画素数との関係は、例えば、図 12のように ISO 感度が増加するにつれて、段階的に画素混合読み出し後の画素数が少なくなるよう に設定されている。このような、 ISO感度と画素混合読み出し後の画素数とが対応付 けられたテーブルは、電子スチルカメラ内に記憶されており、この関係に基づいて画 素混合読み出し後の画素数が決定される。
[0083] 次に、上述したような撮像条件及び各撮影モードが設定されたプリ撮影状態におい て、使用者によりレリーズスィッチ Z3 (図 2参照）が完全に押下されると、本撮影が行 われる。この本撮影は、図 1に示した撮像条件設定部 120で設定された撮影パラメ一 タ、連写判定部 121及び読み出し画素判定部 122によって設定された撮影モードに 基づいて、撮像制御部 110の制御のもと行われる。この結果、設定されたシャツタ速 度、絞り値、 ISO感度にて被写体が撮影され、この撮影画像の画像信号は、第一画 像処理部 111を経由して画像用バッファ 115又は連写用バッファ 201へ出力される。 このとき、撮影モードが「通常枚数撮影モード」に設定されていた場合には、一枚の 撮影画像の画像信号が第一画像処理部 111へ供給される。一方、撮影モードが「連 写撮影モード」に設定されていた場合には、連写判定部 121により設定された撮影 枚数の撮影画像の画像信号が連写用バッファ 201に供給される。
[0084] 画像用バッファ 115へ供給された画像信号は、圧縮部 116へ出力され、ここで公知 の JPEGなどの圧縮処理が施された後、メモリカード I/F部 117を介して着脱可能な メモリカード 118等へ保存される。
[0085] 一方、連写用バッファ 201へ入力された画像信号は、第二画像処理部 202へ供給 され、ここで高画質化の処理が行われる。
以下、第二画像処理部 202で行われる高画質化の処理、具体的には、モーション 推定、及び、加算平均の処理の手順について、図 13乃至図 17を参照して説明する 第二画像処理部 202におけるモーション推定部 202aは、連写撮影モードにより撮 影されて連写用バッファ 201へ入力された複数枚の画像の画像信号を用いて、各画 像（フレーム）におけるフレーム間の動き推定を行う。図 13に、動き推定の処理手順 の一例を示す。
[0086] まず、図 13のステップ S1において、動き推定の基準となる画像を 1枚読み込む。ス テツプ S2において、基準画像を複数の動きで変形させる。ステップ S3において、基 準画像間の動き推定を行う参照画像を 1枚読み込む。ステップ S4において、基準画 像を複数変形させたそれぞれの画像列と参照画像との間の類似度値を算出する。ス テツプ S5において、変形させた動きのパラメータと算出した類似度値との関係を用い て、図 14に示すような離散的な類似度マップを作成する。ステップ S6において、上 記ステップ S5で作成した離散的な類似度マップを補完することで、類似度マップの 極値を探索し、類似度マップの極値を求める。ここで、極値で定められる変形の動き が動き推定値となる。類似度マップの極値の探索法には、例えば、ノ ボラフイツティ ング、スプライン補間法等がある。
[0087] 続いて、ステップ S7において、全ての参照画像において動き推定を行ったか否か を判定する。この結果、全ての参照画像において動き推定を行っていない場合には 、ステップ S8へ移行し、参照画像のフレーム番号を 1つ増加させて、上述のステップ S3へ戻る。これにより、全ての参照画像において動き推定を行うまで、ステップ S3乃 至ステップ S8の処理が繰り返し行われることとなる。そして、ステップ S 7において、対 象となる全ての参照画像に対して動き推定が行われたと判定されると、当該処理を終 了する。
[0088] 次に、動き推定をパラボラフッティングで行う具体的方法の一例を図 14を参照して 説明する。図 14において、縦軸は二乗偏差を表し、横軸は変形モーションパラメータ を示している。この図において、縦軸の二乗偏差の値が小さいほど類似度が高いと いえる。
ここで、図 13のステップ S2における基準画像の複数変形は、例えば、水平、垂直、 回転方向に対して、 ± 1ピクセルの動きパラメータで基準画像を 19通り（なお、 27通 り中 8通りは同じ変形パターン）に変形させる。また、図 13のステップ S 5では、図 14 に示した横軸のモーションパラメータを水平方向、垂直方向、回転方向の組み合わ せであると考えると、負の方から（一 1 + 1 1)、（一1 + 1 0) (一 1 + 1 + 1 ) の各離散類似度値をプロットする。また、各変形方向を別々と考えると、負の方向か ら（一 1)、（0)、（+ 1 )となり水平方向、垂直方向、回転方向について別々にプロット する。
[0089] 図 15は、参照画像における基準画像への近似を示している。各参照画像は、動き 推定値を符号反転した値であり、画像変形することにより基準画像に近似する。その 後、図 16に示す加算平均法を用いる場合は、基準画像と近似した全画像における 各対応画素を全フレーム分、一度に加算平均した値を新画素値として画像生成する 。一方、図 17に示す加算平均法を用いる場合は、基準画像と近似した全画像にお ける各対応画素位置をフレーム間ずつに加算平均した値を新画素値として加算平 均画像を生成する。なお、図 16に示す加算平均手法は、図 17に示す加算平均手法 に比べ、ノイズが残りにくい傾向がある点でよい。
[0090] そして、このようにして生成された加算平均画像は、第二画像処理部 202から圧縮 部 116へ出力され、ここで公知の JPEGなどの圧縮処理が施された後、メモリカード I /F部 117を介してメモリカード 118へ保存される。
[0091] 以上、説明してきたように、本実施形態に係る電子スチルカメラによれば、撮影条件 設定部 120にて、設定された撮像条件 (撮影パラメータ）に基づいて、連写判定部 12 1にて本撮影時における撮影画像の枚数が設定され、また、読み出し画素判定部 12 2にて画素混合読み出しを行った後における画素数が設定される。このように、撮影 条件に応じて、撮影画像のフレーム数ならびに画素混合読み出しにおける画素数が 設定されるので、これらの設定に基づいて撮影された撮影画像を高画質化の処理等 することにより、低ノイズ化された高画質な画像を取得することが可能となる。画素混 合読み出しによりノイズが低減される点、並びに、複数毎の撮像画像を加算平均して 画像を生成することにより、低ノイズの画像が得られる点については、上述の図 28及 び図 29に示したとおりである。
[0092] なお、上述した第 1の実施形態においては、第二画像処理部 202で高画質化の処 理を施した後に、圧縮部 116にて圧縮しているが、これは一例であり、例えば、圧縮 せずにメモリカード I/F部 117等へ出力して、第二画像処理部 202と同様の機能を 有する外部の装置で上述の高画質化の処理を行うこともできる。また、他の例として は、第二画像処理部 202にて処理をした後の画像を圧縮するのではなぐ先に圧縮 された画像に基づいて、第二画像処理部 202による高画質化処理が行われるような 構成としても良い。
また、第二画像処理部 202において行われる画像処理については、上述した処理 手順に限定されることなぐ公知の高画質化処理等を採用することが可能である。
[0093] また、上記実施形態においては、撮影モード設定処理において、露光量を算出し、 この露光量に基づいて撮影画像の枚数を設定していたが、以下のように撮影画像を 設定することが可能である。
例えば、撮影条件設定部 120により行われる撮影パラメータ設定処理では、図 4に 示されるように、絞り優先モードにおいては、図 4のステップ C02に示すように、使用 者により設定された絞り値、並びに被写体の照度に基づいてシャツタ速度が設定され る（ステップ C05)。
このとき、設定されたシャツタ速度が所定の速度よりも遅くなるような場合には、手ぶ れが発生しやすくなるため、シャツタ速度を所定の速度以上に設定し直すとともに、 設定し直したシャツタ速度に応じた複数のフレーム数に撮影画像の枚数を設定する 。このとき、設定し直したシャツタ速度が速いほど、撮影画像の枚数を多くする。 一方で、シャツタ速度優先モードでは、図 4ステップ C03に示すように、使用者によ り設定されたシャツタ速度、並びに被写体の照度に基づいて絞り値が設定される（ス テツプ C05)。この場合、絞りが開放端の状態に設定された場合には、露光量が少な レ、と推定することができる。このため、使用者によって設定されたシャツタ速度に応じ た複数のフレーム数に撮影画像の枚数を設定する。このとき、使用者によって設定さ れたシャツタ速度が速いほど、撮影画像の枚数を多くする。
[0094] このように、絞り優先モードにおいて設定し直したシャツタ速度に応じた複数のフレ ーム数に撮影画像の枚数を設定したり、シャツタ速度優先モードにぉレ、て設定された シャツタ速度に応じた複数のフレーム数に撮影画像の枚数を設定したりすると、露光 量に応じて枚数を調整することは不可能であるが、そのような調整を行うことなく撮影 枚数を設定できる点、また、露光量を算出する必要がない点において、処理の軽減 を図ることができる等のメリットがある。
[0095] 第 2の実施形態
次に、本発明の第 2の実施形態に係る撮像装置について図を参照して説明する。 上述した第 1の実施形態においては、撮影モード設定処理において、連写判定部 1 21によるフレーム数の設定と、読み出し画素判定部 122による読み出し画素数の設 定とが行われていたが、本実施形態における撮像装置では、連写判定部 121による フレーム数の設定のみを行レ、、読み出し画素判定部 122による画素数の設定処理を 省略する。これにより、処理の簡素化を図り、処理負担の軽減並びに処理時間の短 縮を実現する。
図 18及び図 19に本実施形態に係る連写判定部 121により実行される撮影モード 設定処理の一例を示す。図 18において、図 5及び図 6と同様の処理内容については 、同一のステップ番号を付している。図 19において、図 9及び図 10と同様の処理内 容については、同一のステップ番号を付している。
[0096] 第 3の実施形態
次に、本発明の第 3の実施形態に係る撮像装置について図を参照して説明する。 上述した第 1の実施形態においては、撮影モード設定処理において、連写判定部 1 21によるフレーム数の設定と、読み出し画素判定部 122による読み出し画素数の設 定とが行われていたが、本実施形態における撮像装置では、読み出し画素判定部 1 22による画素数の設定のみを行レ、、処理連写判定部 121によるフレーム数の設定を 省略する。これにより、処理の簡素化を図り、処理負担の軽減並びに処理時間の短 縮を実現する。
図 20及び図 21に本実施形態に係る読み出し画素判定部 122により実行される撮 影モード設定処理の一例を示す。図 20において、図 5及び図 6と同様の処理内容に ついては、同一のステップ番号を付している。図 21において、図 9及び図 10と同様 の処理内容については、同一のステップ番号を付している。
[0097] 第 4の実施形態
次に、本発明の第 4の実施形態に係る撮像装置について図を参照して説明する。 上述した第 1の実施形態においては、撮影モード設定処理において、まず、連写判 定部 121によるフレーム数の設定を行い、その後、読み出し画素判定部 122による 読み出し画素数の設定を行っていた。本実施形態における撮像装置では、まず先に 、読み出し画素判定部 122による読み出し画素の設定を行い、その後、連写判定部 121によるフレーム数の設定を行う。
図 22乃至図 25に本実施形態に係る連写判定部 121及び読み出し画素判定部 12 2により実行される撮影モード設定処理の一例を示す。図 22及び図 23において、図 5及び図 6と同様の処理内容については、同一のステップ番号を付している。図 24及 び図 25において、図 9及び図 10と同様の処理内容については、同一のステップ番 号を付している。
[0098] 第 5の実施形態
次に、本発明の第 5の実施形態に係る撮像装置について図を参照して説明する。 本実施形態に係る撮像装置は、上述した第 1の実施形態に係る撮像装置と構成を略 同様とする力 第 2の画像処理部 202により実行される高画質化の処理が異なる。 以下、本実施形態に係る高画質化の処理手順、具体的には、複数枚の画像を使 用して、高解像度の画像を復元する画像高画質化処理 (超解像）について図を参照 して説明する。
[0099] まず、図 26に示されるように、ステップ S11において、高解像度画像推定に用いる ための複数枚の低解像度画像 n (n≥l)枚を連写用バッファ 201から読み込む。続く 、 S 12において、ステップ S 11において読み込んだ複数枚の低解像度画像の中の任 意の一枚をターゲットフレームと仮定し、補完処理を行うことで初期の高解像度画像 を作成する。なお、このステップは場合により省略することができる。続いて、ステップ S13では、予め何らかのモーション推定法 (例えば、上述の第 1の実施形態で説明し たようにモーション推定部 202aで動き推定値を求める手法）で求められた、ターゲッ トフレームとその他のフレームとの画像間のモーションにより、画像間の位置関係を明 らカにする。
[0100] 続くステップ S14において、光学伝達関数（OTF : Optical Transfer Function) 、 CCDアパーチャ等の撮像特性を考慮した点広がり関数 (PSF : Point
Spreading Function)を求める。 PSFは例えばガウス（Gauss)関数を用いる。続く 、ステップ S15では、上記ステップ S13及び S14において得た情報を元に、評価関 数 f (z)の最小化を行う。ただし、 f (z)は以下の（7)式のような形となる。
[0101] [数 2]
Figure imgf000029_0001
上記（7)式において、 yは低解像度画像、 zは高解像度画像、 Aは画像間モーショ ン (例えば、図 1におけるモーション推定部 202aで求めた動き推定値）、 PSF等を含 めた撮像システムを表す画像変換行列である。 g (z)は、画像の滑らかさや色相関を 考慮した拘束項等が入る。 λは重み係数である。評価関数の最小化には、例えば、 最急降下法を用いる。
続いて、ステップ S16において、上記ステップ S15で求めた f (z)が最小化されたか 否かを判定する。この結果、まだ最小化されていない場合には、ステップ S 17へ移行 し、高解像度画像 zをアップデートして、ステップ S15に戻り、高解像度画像 zが最小 ィ匕されるまで、ステップ S15乃至 S17を繰り返し行う。そして、ステップ S16におレヽて、 上記ステップ S15で求めた f (z)が最小化されると、当該処理を終了し、高解像度画 像 zを得る。
[0103] 次に、図 27に、図 26に示した処理手順を実行するハードウェア構成の一例を示す 図 27に示すように、高解像度画像推定処理部は、初期画像記憶部 1201、畳込み 積分部 1202、 PSFデータ保持部 1203、画像比較部 1204、乗算部 1205、貼り合 せ加算部 1206、蓄積加算部 1207、更新画像生成部 1208、画像蓄積部 1209、反 復演算判定部 1210、反復判定値保持部 1211から構成される。
[0104] このような構成において、連写用バッファ 201 (図 1参照）からの補間拡大画像は、 初期画像記憶部 1201に与えられる。なお、この画像を初期画像とする。この初期画 像は、畳込み積分部 1202に与えられ、 PSFデータ保持部 1203より与えられる PSF データと畳込み積分される。ここでの PSFデータは各フレームのモーションも考慮し て与えられる。初期画像データは、同時に画像蓄積部 1209に送られ、ここに蓄積さ れる。畳込み積分部 1202にて畳込み演算された画像データは、画像比較部 1204 に送られ、モーション推定部 202a (図 1参照）で求められた各フレーム毎のモーショ ン (動き推定値)を元に適切な座標位置で連写用バッファ 201 (図 1参照）より与えら れる撮影画像と比較される。
[0105] 比較された残差は乗算部 1205に送られ、 PSFデータ保持部 1203より与えられる PSFデータの各画素毎の値に掛け合わされる。この演算結果は貼り合せ加算部 120 6に送られ、それぞれ対応する座標位置に置かれる。ここで乗算部 1205からの画像 データは、重なりを持ちながら少しずつ座標位置がずれて行くことになるので、重なる 部分にっレ、ては加算してレ、く。撮影画像 夂分のデータの貼り合せ加算が終了する と、データは蓄積加算部 1207に送られる。蓄積加算部 1207では、フレーム数分の 処理が終るまで順次送られてくるデータを蓄積し、推定されたモーションに合わせて 各フレーム分の画像データを順次加算してゆく。
[0106] 加算された画像データは、更新画像生成部 1208に送られる。更新画像生成部 12 08には、これと同時に画像蓄積部 1209に蓄積されていた画像データが与えられ、こ の 2つの画像データに重みをつけて加算して更新画像データを生成する。生成され た更新画像データは、反復演算判定部 1210に与えられ、反復判定値保持部 1211 から与えられる反復判定値を元に演算を反復するか否かを判断する。演算を反復す る場合には、データを畳込み積分部 1202に送り、前記の一連の処理を繰り返す。一 方、反復しない場合は、生成された画像データを高解像度画像として出力する。上 記一連の処理が行われることにより、反復演算判定部 1210から出力される画像は、 撮影画像よりも高解像度のものとなっている。
[0107] また前記 PSFデータ保持部 1203で保持される PSFデータには畳込み積分の際に 適切な座標位置での計算が必要となるのでモーション推定部より各フレーム毎のモ ーシヨンが与えられるようになってレ、る。
[0108] なお、上述した第 1乃至第 4の実施形態に係る撮像装置では、ハードウェアによる 処理を前提としていた力 このような構成に限定される必要はなレ、。例えば、 CCD10 5からの信号を未処理のままの Rawデータとして、別途ソフトウェアにて処理する構成 も可能である。

Claims

請求の範囲
[1] 被写体を撮影して、該被写体の像を電子的に記録する撮像装置において、
撮影の条件を定める撮影パラメータを設定する撮影パラメータ設定手段と、 撮影画像のフレーム数を、前記撮影パラメータに応じた数に設定するフレーム数設 定手段と、
前記被写体を連続的に撮影することにより、前記フレーム数の撮影画像を取得する 撮像手段と
を具備する撮像装置。
[2] 前記撮影パラメータから露光量を算出する露光量算出手段を備え、
前記フレーム数設定手段は、前記露光量が予め設定されてレ、る第 1閾値より小さレ、 場合に、前記露光量に応じたフレーム数を設定する請求項 1に記載の撮像装置。
[3] 前記撮影パラメータ設定手段は、シャツタ速度を優先的に設定するためのシャツタ 速優先モードを備え、
前記フレーム数設定手段は、前記シャツタ速優先モードにおいてシャツタ速度が優 先的に設定された結果、絞りが開放端の状態に設定された場合に、前記フレーム数 をシャツタ速度に応じた数に設定する請求項 1に記載の撮像装置。
[4] 前記撮影パラメータ設定手段は、絞り優先モードを備え、
前記フレーム数設定手段は、前記絞り優先モードにおいて絞りが優先的に設定さ れた結果、シャツタ速が所定の速度より遅く設定された場合に、シャツタ速度を前記 所定の速度以上に設定し直すとともに、当該設定し直した速度に応じた数に前記フ レーム数を設定する請求項 1に記載の撮像装置。
[5] 前記撮影パラメータ設定手段は、前記撮影パラメータとして感度値を設定する感度 値設定手段を備え、
前記フレーム数設定手段は、前記感度値が、予め設定されている第 1規定値以上 の場合に、前記感度値に応じた枚数のフレーム数を設定する請求項 1に記載の撮像 装置。
[6] 画素混合読み出し後における撮影画像の画素数を、前記撮影パラメータに応じた 数に設定する画素数設定手段と、 前記画素数設定手段により設定された画素数になるように、前記撮像手段からの 画像信号に対して画素混合読み出しを行う画素混合読み出し手段と
を具備する請求項 1から請求項 5のいずれかに記載の撮像装置。
[7] 前記撮影パラメータから露光量を算出する露光量算出手段を備え、
前記画素数設定手段は、前記露光量が予め設定されている第 2閾値より小さい場 合に、前記露光量に応じて、前記画素混合読み出し後における撮影画像の画素数 を設定する請求項 6に記載の撮像装置。
[8] 前記撮影パラメータ設定手段は、前記撮影パラメータとして感度値を設定する感度 値設定手段を備え、
前記画素数設定手段は、前記感度値が予め設定されている第 2規定値以上の場 合に、前記感度値に応じて、前記画素混合読み出し後における撮影画像の画素数 を設定する請求項 6に記載の撮像装置。
[9] 前記撮像手段により取得された複数のフレーム間における前記被写体の動きを推 定することによって、前記フレーム間の相対的な位置関係を補償する動き補償手段と 前記動き補償手段で補償された複数のフレームを合成した像を生成する画像合成 手段と
を更に備える請求項 1から請求項 8のいずれかに記載の撮像装置。
[10] 前記動き補償手段は、前記複数のフレーム間の近似度の評価関数を求め、該評価 関数に基づいて前記複数のフレーム間における前記被写体の動きを補償する請求 項 9に記載の撮像装置。
[11] 前記動き補償手段は、前記複数のフレームから任意の:!枚のフレームを基準画像と して選択し、該基準画像と該基準画像以外のフレームとの近似度の評価関数を求め 、該評価関数に基づいて前記複数のフレーム間における前記被写体の動きを補償 する請求項 9に記載の撮像装置。
[12] 被写体を撮影して、該被写体の像を電子的に記録する撮像装置において、
撮影の条件を定める撮影パラメータを設定する撮影パラメータ設定手段と、 画素混合読み出し後における撮影画像の画素数を、前記撮影パラメータに応じた 数に設定する画素数設定手段と、
前記被写体を撮影する撮像手段と、
前記画素数設定手段により設定された画素数になるように、前記撮像手段からの 画像信号に対して画素混合読み出しを行う画素混合読み出し手段と
を具備する撮像装置。
[13] 前記撮影パラメータから露光量を算出する露光量算出手段を備え、
前記画素数設定手段は、前記露光量が予め設定されている第 2閾値よりも小さい 場合に、前記露光量に応じて、前記画素混合読み出し後における撮影画像の画素 数を設定する請求項 12に記載の撮像装置。
[14] 前記撮影パラメータ設定手段は、前記撮影パラメータとして感度値を設定する感度 値設定手段を備え、
前記画素数設定手段は、前記感度値が予め設定されている第 2規定値以上の場 合に、前記感度値に応じて、前記画素混合読み出し後における撮影画像の画素数 を設定する請求項 12に記載の撮像装置。
PCT/JP2006/312040 2005-06-28 2006-06-15 撮像装置 WO2007000900A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005187904A JP2007013270A (ja) 2005-06-28 2005-06-28 撮像装置
JP2005-187903 2005-06-28
JP2005-187904 2005-06-28
JP2005187903A JP2007013269A (ja) 2005-06-28 2005-06-28 撮像装置

Publications (1)

Publication Number Publication Date
WO2007000900A1 true WO2007000900A1 (ja) 2007-01-04

Family

ID=37595154

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/312040 WO2007000900A1 (ja) 2005-06-28 2006-06-15 撮像装置

Country Status (1)

Country Link
WO (1) WO2007000900A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023140027A1 (ja) 2022-01-24 2023-07-27 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09247689A (ja) * 1996-03-11 1997-09-19 Olympus Optical Co Ltd カラー撮像装置
JP2000092378A (ja) * 1998-09-16 2000-03-31 Olympus Optical Co Ltd 撮像装置
JP2001008087A (ja) * 1999-06-18 2001-01-12 Olympus Optical Co Ltd 電子スチルカメラ
JP2002142151A (ja) * 2000-10-31 2002-05-17 Hitachi Ltd 撮像装置
JP2003052048A (ja) * 2001-08-07 2003-02-21 Olympus Optical Co Ltd 撮像素子、撮像装置および撮像方法
JP2004007298A (ja) * 2002-06-03 2004-01-08 Olympus Corp 撮像装置及び撮像方法
JP2005094407A (ja) * 2003-09-18 2005-04-07 Casio Comput Co Ltd 画像撮影装置およびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09247689A (ja) * 1996-03-11 1997-09-19 Olympus Optical Co Ltd カラー撮像装置
JP2000092378A (ja) * 1998-09-16 2000-03-31 Olympus Optical Co Ltd 撮像装置
JP2001008087A (ja) * 1999-06-18 2001-01-12 Olympus Optical Co Ltd 電子スチルカメラ
JP2002142151A (ja) * 2000-10-31 2002-05-17 Hitachi Ltd 撮像装置
JP2003052048A (ja) * 2001-08-07 2003-02-21 Olympus Optical Co Ltd 撮像素子、撮像装置および撮像方法
JP2004007298A (ja) * 2002-06-03 2004-01-08 Olympus Corp 撮像装置及び撮像方法
JP2005094407A (ja) * 2003-09-18 2005-04-07 Casio Comput Co Ltd 画像撮影装置およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023140027A1 (ja) 2022-01-24 2023-07-27 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム

Similar Documents

Publication Publication Date Title
JP4424292B2 (ja) 撮像装置、露出制御方法およびプログラム
JP4210021B2 (ja) 画像信号処理装置および画像信号処理方法
JP4987355B2 (ja) 撮像装置および撮像方法
JP5347707B2 (ja) 撮像装置および撮像方法
JP3530907B2 (ja) デジタルカメラ
KR100914090B1 (ko) 촬상 장치
US7940307B2 (en) Method of continuously capturing images in single lens reflex digital camera
US9699427B2 (en) Imaging device, imaging method, and image processing device
JP4964541B2 (ja) 撮像装置、画像処理装置、撮像システム及び画像処理プログラム
JP2001275029A (ja) デジタルカメラ、その画像信号処理方法及び記録媒体
JP2008077501A (ja) 画像処理装置及び画像処理制御プログラム
JPH10248068A (ja) 撮像装置及び画像処理装置
JP5223686B2 (ja) 撮像装置および撮像方法
EP2161938B1 (en) Imaging apparatus, imaging method and computer readable recording medium storing programs for executing the imaging method
JPWO2004017628A1 (ja) 撮像システム
US20050206750A1 (en) Digital still camera and image processing program, imaging device and method and program for same
JP2007013270A (ja) 撮像装置
JP2006345388A (ja) 撮像装置
JP2008109482A (ja) 撮像装置、画像記録処理方法及び画像記録処理プログラム
US7839435B2 (en) Image sensing apparatus and image sensing method
JP2007013269A (ja) 撮像装置
JP4687454B2 (ja) 画像処理装置および撮像装置
WO2015129479A1 (ja) 撮像装置および方法、並びにプログラム
JP4272566B2 (ja) 広ダイナミックレンジ固体撮像素子の色シェーディング補正方法および固体撮像装置
JP2001057645A (ja) 電子カメラ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06766774

Country of ref document: EP

Kind code of ref document: A1