WO2007119680A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2007119680A1
WO2007119680A1 PCT/JP2007/057634 JP2007057634W WO2007119680A1 WO 2007119680 A1 WO2007119680 A1 WO 2007119680A1 JP 2007057634 W JP2007057634 W JP 2007057634W WO 2007119680 A1 WO2007119680 A1 WO 2007119680A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera shake
unit
shake correction
short
Prior art date
Application number
PCT/JP2007/057634
Other languages
English (en)
French (fr)
Inventor
Toshiyuki Nakashima
Masato Nishizawa
Kazunaga Miyake
Original Assignee
Panasonic Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corporation filed Critical Panasonic Corporation
Priority to EP07741070A priority Critical patent/EP2007133A2/en
Priority to CN2007800011288A priority patent/CN101356802B/zh
Priority to JP2008510922A priority patent/JPWO2007119680A1/ja
Priority to US12/091,363 priority patent/US20090115860A1/en
Publication of WO2007119680A1 publication Critical patent/WO2007119680A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras

Definitions

  • the present invention relates to an imaging apparatus that corrects blurring of a subject image caused by camera shake when a subject is imaged using, for example, a solid-state imaging device.
  • Patent Document 1 Conventionally, as this type of imaging apparatus, for example, the one disclosed in Patent Document 1 is known.
  • the device disclosed in Patent Document 1 includes an image sensor that captures an image of a subject, a stage on which the image sensor is mounted, a voice coil motor that drives the stage, and an angular velocity sensor that detects the amount of camera shake that occurs in the subject image. According to the amount of camera shake detected by the angular velocity sensor, the stage on which the imaging element is mounted is driven by a voice coil motor, so that blurring of the subject image caused by camera shake can be suppressed.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2005-184122
  • the device disclosed in Patent Document 1 has a structure in which a dedicated device including an angular velocity sensor, a stage, a voice coil motor, and the like is built in the main body in order to detect the amount of camera shake.
  • a dedicated device including an angular velocity sensor, a stage, a voice coil motor, and the like is built in the main body in order to detect the amount of camera shake.
  • the technique disclosed in Patent Document 1 has been unable to be mounted on a digital still camera or a mobile phone camera that is desired to be cheaper, smaller and lighter.
  • the present invention has been made to solve the conventional problems, and an object of the present invention is to provide an imaging apparatus that can be reduced in size and cost as compared with the conventional one.
  • An image pickup apparatus detects an image blur based on an image pickup element that picks up an image formed on a light receiving surface and at least two images picked up by the image pickup element at different exposure times.
  • a camera shake correction unit for correcting and an output unit for outputting a camera shake correction image that is an image after camera shake correction are provided.
  • the present invention can provide an imaging apparatus having the effect of being able to achieve a reduction in size and cost as compared with the conventional one.
  • FIG. 1 is a block diagram of an imaging apparatus according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram showing a hardware configuration of the imaging apparatus according to the present invention.
  • FIG. 3 is a flowchart of a camera shake correction program executed by the CPU of the imaging apparatus according to the present invention.
  • FIG. 4 is a flowchart of a first camera shake correction routine executed by the CPU of the imaging apparatus according to the present invention.
  • FIG. 5 is a flowchart of a camera shake correction locus calculation routine executed by the CPU of the imaging apparatus according to the present invention.
  • FIG. 6 is a flowchart of a camera shake correction image generation routine executed by the CPU of the imaging apparatus according to the present invention.
  • FIG. 7 is a block diagram of an imaging apparatus according to a second embodiment of the present invention.
  • FIG. 8 is a flowchart of a second camera shake correction routine executed by the CPU of the imaging apparatus according to the present invention.
  • FIG. 9 is a block diagram of an imaging apparatus according to a third embodiment of the present invention.
  • FIG. 10 is a flowchart showing the operation of the imaging apparatus according to the third embodiment of the present invention.
  • FIG. 11 is a diagram showing an example of reading imaging data of a high frequency region and all pixel regions in the imaging device according to the third embodiment of the present invention.
  • FIG. 11 (a) shows a high frequency region.
  • FIG. 11B is a diagram showing an example of reading out the imaging data of FIG. 11, and
  • FIG. 11B is a diagram showing an example of reading out the imaging data of all pixel regions.
  • FIG. 12 is a block diagram of an imaging apparatus according to a fourth embodiment of the present invention.
  • FIG. 13 is a flowchart showing the operation of the imaging apparatus according to the fourth embodiment of the present invention.
  • FIG. 14 is a block diagram of an imaging apparatus according to a fifth embodiment of the present invention.
  • FIG. 15 is a conceptual diagram for explaining a camera shake trajectory fine wire part constituting an imaging apparatus according to a fifth embodiment of the present invention.
  • FIG. 16 is a flowchart showing the operation of the imaging apparatus according to the fifth embodiment of the present invention.
  • FIG. 17 is a flow chart showing a thin-line operation of the imaging apparatus according to the fifth embodiment of the present invention.
  • FIG. 18 is a block diagram of an imaging apparatus according to a sixth embodiment of the present invention.
  • FIG. 19 is a flowchart showing the operation of the imaging apparatus according to the sixth embodiment of the present invention.
  • FIG. 20 is a flowchart showing a camera shake amount calculation operation of the imaging apparatus according to the sixth embodiment of the present invention. Explanation of symbols
  • Imaging unit short exposure image acquisition unit, proper exposure image acquisition unit
  • Mode setting unit short-time exposure image acquisition unit, proper exposure image acquisition unit, pixel reset unit, 133 high-frequency region detection unit
  • Difference image calculation unit 98 Difference image enlargement and addition unit
  • camera shake correction locus is a general term for “frequency domain camera shake correction locus” and “time domain camera shake correction locus”.
  • the imaging device 1 with a camera shake correction function includes an imaging element 12 that images an image formed on a light receiving surface via a lens 11, and an imaging A camera shake correction unit 13 that corrects camera shake based on at least two images captured at different exposure times by the element 12 and an output unit 14 that outputs a camera shake correction image that is an image after camera shake correction are included.
  • the camera shake correction unit 13 exposes the image sensor 12 for an appropriate exposure time determined from an appropriate imaging condition to acquire a proper exposure image i, and an image sensor a
  • Short-time exposure to obtain a short-time exposure image i by exposing 12 to a time shorter than the appropriate exposure time s
  • the proper exposure image i Based on the image acquisition unit 22, the proper exposure image i, and the short exposure image i, the proper exposure image a s
  • Image stabilization image i based on a and image stabilization trajectory i
  • a camera shake correction image generation unit 24 for generating c.
  • FIG. 2 is a block diagram showing a hardware configuration of the imaging apparatus 1 with a camera shake correction function of the present invention, in which a lens 11 that forms an optical image of a subject OJ, and an imaging element on which the optical image is formed.
  • a child 12 a drive unit 31 for controlling the image pickup device 12, a recording unit 32 that records the captured image, a display unit 33 for displaying the captured image, the pointing unit 3 4 for inputting an operation command, And a microprocessor unit 35 that controls the image pickup apparatus 1.
  • the recording unit 32 or the display unit 33 constitutes an output unit of the present invention.
  • the microprocessor unit 35 includes an image signal reading interface (IZF) 41 that reads an image signal output from the image sensor 12, a control command output IZF 42 that outputs a control command to the drive unit 31, and CPU43 that executes processing, image signal output IZF44 that outputs image signals to recording unit 32 and display unit 33, memory 45 that stores processing programs, and operation command read IZF46 that reads operation commands from pointing unit 34
  • IZF image signal reading interface
  • FIG. 3 is a flowchart of a camera shake correction program.
  • the CPU 43 executes a camera shake correction routine (step S 11), and then outputs a camera shake correction image i to the recording unit 32 and the display unit 33 (step S 12 ) To exit this program.
  • FIG. 4 is a flowchart of the first camera shake correction routine executed in step S 11.
  • the CPU 43 acquires a short exposure image i that is shorter than the appropriate exposure time and is captured with the exposure time (step S 21
  • the CPU 43 obtains a proper exposure image i imaged with a proper exposure time (step S22).
  • the order of acquisition may be i, i.
  • the short-time exposure image i and the proper exposure image i are obtained by converting the short-time exposure image and the proper exposure image captured using a mechanical-shutter or an electronic shutter into an image signal by the image sensor 12.
  • Image signal reading It is read as digital data via IZF41.
  • the CPU 43 calculates a camera shake correction locus (step S23) and generates a camera shake correction image i (step S24), details of which will be described later.
  • FIG. 5 is a flowchart of a camera shake correction locus calculation routine executed by the CPU 43 in step S23.
  • the CPU 43 generates a frequency domain short exposure image I by Fourier transforming the short exposure image i (step S31). That is, the short exposure image i and the frequency range [Equation 1] holds between the short-time exposure image I and the area.
  • Equation 2 is established between the proper exposure image i and the frequency domain proper exposure image I.
  • step S33 the CPU 43 divides the frequency domain short exposure image I by the frequency domain appropriate exposure image I to calculate a frequency domain camera shake correction locus G (step S33). That is, the process of step S33 can be expressed by [Equation 3].
  • ⁇ Image without camera shake
  • / Image without frequency domain camera shake
  • the frequency domain camera shake correction locus G calculated in step S33 is the reciprocal of the frequency domain camera shake locus ⁇ .
  • FIG. 6 is a flowchart of the camera shake correction image generation routine executed by the CPU 43 in step S24.
  • the CPU 43 performs inverse Fourier transform on the frequency domain camera shake correction locus G.
  • step S41 the time domain image stabilization locus g is calculated (step S41).
  • Equation 7 is established between the frequency domain camera shake correction locus G and the time domain image stabilization locus g.
  • the CPU 43 convolves the time-domain image stabilization locus g with the appropriate exposure image i to obtain the hand a
  • a blur correction image i is generated (step S42).
  • step S42 can be expressed by [Equation 8].
  • camera-shake correction image i can also be generated by inverse Fourier transform.
  • the camera shake correction locus is calculated based on the appropriate exposure image and the short-time exposure image, and the camera Based on the exposure image and the camera shake correction locus, it is possible to remove the camera shake of the proper exposure image.
  • the short-time exposure image does not include camera shake! /, But noise is superimposed. Furthermore, noise is also superimposed on the properly exposed image.
  • the image pickup apparatus with a camera shake correction function according to the second embodiment is further provided with a function of removing image power noise in order to solve this problem.
  • FIG. 7 is a block diagram of the imaging apparatus 2 with a camera shake correction function according to the second embodiment of the present invention. Since the present embodiment is configured in substantially the same manner as the first embodiment described above, the same components are denoted by the same reference numerals and description thereof is omitted.
  • the imaging device 2 with a camera shake correction function includes a noise removal unit 51 that removes noise included in the proper exposure image and the short exposure image. Is provided.
  • FIG. 8 is a flowchart of a second camera shake correction routine that is installed in the microprocessor unit 35 in place of the first camera shake correction routine of FIG. 4, and includes steps S22 of the first camera shake correction routine. Step S51 and Step S52 are inserted between Step S23 and Step S23.
  • the CPU 43 first acquires the short-time exposure image i (step S51), and then continues with the appropriate exposure image s.
  • the noise included in the short-exposure image i is n
  • the CPU 43 converts the high frequency band sa, which is the noise removing unit 51, into the short exposure image i and the proper exposure image i.
  • the short-time exposure image after noise removal (hereinafter referred to as the short-time exposure image after noise removal) i
  • Proper exposure image after removal of sr and noise (hereinafter referred to as proper exposure image after noise removal) i
  • the CPU 43 calculates a camera shake correction locus (step S55).
  • the camera shake correction locus calculation routine is the same as that in the first embodiment, and the flowchart is the same as that in FIG.
  • the CPU 43 first performs Fourier transform on the short-time exposure image i after noise removal, and performs frequency domain noise sr
  • step S31 Generate short-exposure image I after sound removal (step S31), and then correct exposure image sr after noise removal
  • step S31 and step S32 are expressed by [Equation 12].
  • Noise is generated randomly, and most of the noise exists in the high frequency range and is removed by the high-frequency cutoff filter.
  • CPU 43 performs short-time exposure image I after removing frequency domain noise.
  • sr is divided by the appropriate exposure image I to calculate the frequency domain camera shake correction locus G (step S33).
  • step S31 and step S32 is expressed by [Equation 14].
  • the CPU 43 generates a camera shake correction image ⁇ (step S56).
  • the camera shake correction image generation routine is the same as that in the first embodiment, and the flowchart is the same as that in FIG.
  • the CPU 43 performs inverse Fourier transform on the frequency domain image stabilization trajectory G to calculate a time domain image stabilization trajectory g (step S41), and applies the time domain correction trajectory g a to the appropriate exposure image i.
  • step S42 Is generated to generate a camera shake correction image i (step S42).
  • the process of step S42 is expressed by [Equation 15].
  • N * g is the force that becomes the noise that convolves the image stabilization trajectory with the noise n.
  • the image stabilization image i is an image in which noise n * g is superimposed on the image i without camera shake, but c a
  • noise n * g also has a weak image quality.
  • frequency domain appropriate exposure image I and frequency domain hand a As in the first embodiment, frequency domain appropriate exposure image I and frequency domain hand a
  • the imaging apparatus 3 includes a lens 61 that collects light from the subject, an imaging unit 62 that images the subject, and a shirt tab that a user operates during imaging. , A recording device 64 that records data of the subject image, and a display device 65 that displays the subject image.
  • imaging data the data of the captured subject image is hereinafter simply referred to as “imaging data”.
  • the lens 61 collects light from the subject and emits it to the imaging unit 62. Shi When the user presses the shutter button 63 at the time of imaging, a signal indicating that is output to a mode setting unit 72 (described later).
  • the recording device 64 includes, for example, a semiconductor memory, and records imaging data.
  • the display device 65 includes a liquid crystal panel, for example, and displays a captured subject image. Note that the recording device 64 or the display device 65 constitutes an output unit of the present invention.
  • the imaging unit 62 includes an image sensor 62a that photoelectrically converts subject light collected by the lens 61 into an electrical signal, and an electronic shirter 62b that sets an exposure time of the image sensor 62a.
  • the imaging unit 62 constitutes a short-time exposure image acquisition unit and a proper exposure image acquisition unit of the present invention.
  • the image sensor 62a is configured by a solid-state imaging device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal-Oxide Semiconductor) sensor, and a predetermined number of the same. It has pixels.
  • the electronic shirt 62b sets the exposure time of the image sensor 62a based on the control signal from the mode setting unit 72. Note that the image sensor 62a constitutes an image sensor of the present invention.
  • the image processing device 70 sets the mode based on the state of the analog-to-digital converter (hereinafter referred to as "ADC") 71 that converts the analog signal output from the image sensor 62a into a digital signal, and the shortcut button 63.
  • ADC analog-to-digital converter
  • Mode setting unit 72 a high-frequency region detection unit 73 that detects a high-frequency region, a memory unit 74 that stores imaging data, a camera-trajectory calculation unit 75 that calculates a camera-shake trajectory, and a camera shake that performs camera shake correction processing.
  • a correction unit 76 and a signal processing unit 77 for performing predetermined signal processing are provided.
  • the image processing device 70 is constituted by, for example, a digital signal processor.
  • the ADC 71 converts the image data captured by the image sensor 62a from analog to digital and outputs it to the mode setting unit 72.
  • the mode setting unit 72 is set to either the monitor mode or the imaging mode. It is summer.
  • the monitor mode means that the user presses the shirt button 63. do it! In this state, it refers to a mode in which the subject image captured by the imaging unit 62 is displayed on the display device 65 as a moving image.
  • the imaging mode is a mode in which a subject is imaged when a user presses the shirt button 63 and a still image of the subject is acquired.
  • the mode setting unit 72 can control the electronic shirter 62b so that the image sensor 62a captures images in a predetermined short exposure time or a predetermined appropriate exposure time in the imaging mode.
  • the short exposure time is a time determined to be shorter than a normal imaging time by proper exposure so that camera shake does not occur and an imaging signal can be acquired without being buried in noise.
  • the appropriate exposure time is the time set to give the image sensor 62a the appropriate exposure according to the subject light! Uh.
  • the mode setting unit 72 controls the electronic shirt 62b so that the image sensor 62a captures a subject with an appropriate exposure time, and causes the display device 65 to display a moving image. It is summer.
  • the display device 65 is composed of a liquid crystal panel
  • the resolution of a commonly used liquid crystal panel is lower than the resolution of the image sensor 62a, so the mode setting unit 72 reads out the pixel data of the image sensor 62a and reads it out. It is preferable to display a moving image on a liquid crystal panel in order to improve the frame rate by mixing pixel data for multiple pixels.
  • the mode setting unit 72 can output a control signal for resetting a signal accumulated in each pixel of the image sensor 62a to the imaging unit 62.
  • the mode setting unit 72 can output a control signal for reading out imaging data in a predetermined pixel region out of all the pixel regions of the image sensor 62a from the image sensor 62a and outputting it to the ADC 71 to the imaging unit 62.
  • the mode setting unit 72 constitutes a short exposure image acquisition unit, a proper exposure image acquisition unit, and a pixel reset unit of the present invention.
  • the high frequency region detection unit 73 is configured by, for example, a high-pass filter that allows a signal component having a predetermined spatial frequency or higher to pass.
  • the pixel area (hereinafter referred to as “high-frequency area” t) is detected. That is, in the monitor mode, the high-frequency region detection unit 73 can detect a region in which the motion of the subject image appears relatively large among the pixel regions of the image sensor 62a.
  • the high frequency region detection unit 73 detects A memory (not shown) for storing high frequency region information indicating the high frequency region is provided.
  • the memory unit 74 captures a subject image (hereinafter referred to as “short-time exposure image” t) captured in a short exposure time.
  • the camera shake trajectory calculation unit 75 stores the imaging data in the high-frequency region of the short-exposure image and the appropriate exposure image in the short exposure memory 74a and the appropriate exposure memory 74b, respectively.
  • the camera shake trajectory is calculated by comparing the captured image data. For example, the camera shake trajectory calculation unit 75 divides the data after the Fourier transform for the data of the proper exposure image by the data after the Fourier transform for the data of the short exposure image, and performs the inverse Fourier transform on the data obtained by the division. By doing so, the camera shake trajectory is calculated.
  • the camera shake trajectory calculation unit 75 constitutes a camera shake correction trajectory calculation unit of the present invention.
  • the camera shake correction unit 76 corrects camera shake based on the camera shake trajectory calculated by the camera shake trajectory calculation unit 75 and corrects the subject image captured in the appropriate exposure time. For example, the camera shake correction unit 76 performs camera shake correction on the subject image by an arithmetic process that convolves the camera shake correction locus obtained from the inverse matrix of the camera shake locus calculated by the camera shake locus calculation unit 75 with the data of the appropriate exposure image. It has become. Note that the camera shake correction unit 76 constitutes a camera shake correction locus calculation unit and a camera shake correction image generation unit of the present invention.
  • the signal processing unit 77 performs signal processing for displaying the captured subject image on the display device 65. In addition, the signal processing unit 77 performs signal processing for recording the camera shake-corrected imaging data in the recording device 64 and displays the image of the subject subjected to camera shake correction on the display device 65 in the imaging mode. Signal processing for the purpose.
  • the short-exposure image data is, the proper exposure image data is il, and the camera shake locus of the proper exposure image is h. If i is the ideal object image data without camera shake, il is i is h Since the image data is blurred with a PSF (Point Spread Function), it can be expressed by the following equation. The symbol “*” indicates a convolution operator.
  • H _1 represents the inverse matrix of H, the following equation to represent the inverse matrix of h at h _1.
  • the imaging device 3 can acquire a subject image in which camera shake is corrected.
  • a camera shake correction matrix is generated from the camera shake locus data, and a signal for performing camera shake correction is generated from the generated camera shake correction matrix and the camera shake image. Correction can also be performed.
  • the mode setting unit 72 is set to the monitor mode (step S61).
  • the imaging data from the imaging unit 62 is AD converted by the ADC 71 and input to the high frequency region detection unit 73 and the signal processing unit 77 via the mode setting unit 72.
  • the high-frequency region detection unit 73 For the imaging data input to the high frequency region detection unit 73, processing for detecting the high frequency region is executed (step S62). Specifically, for example, as shown in FIG. 11 (a), the high-frequency region detection unit 73 includes a high-frequency region 81 and a space lower than the high-frequency region 81 from all the pixel regions 80 that are regions where the subject is imaged. Low frequency regions 82 and 83 of the frequency are detected, and high frequency region information indicating the range of the high frequency region 81 is stored in the memory.
  • image processing that is converted into image data of a predetermined format is performed on the imaging data input to the signal processing unit 77 and is displayed on the display device 65 as a moving image.
  • the mode setting unit 72 determines whether or not the force of pressing the shirt button 63 is determined (step S63). If it is determined that the shirt button 63 has not been pressed, the operation of the imaging device 3 returns to step S62.
  • step S63 If it is determined in step S63 that the shirt button 63 has been pressed, the mode setting unit 72 is set to the imaging mode (step S64).
  • the electronic shirter 62b is controlled by the mode setting unit 72 so that the image sensor 62a is exposed in a short exposure time, and the subject is detected in a short exposure time by the image sensor 62a.
  • An image is captured (step S65).
  • the mode setting unit 72 reads out the high-frequency region information stored in the memory of the high-frequency region detection unit 73, and among the imaging data captured in a short exposure time, the imaging data corresponding to the high-frequency region is detected.
  • the imaging unit 62 is controlled so as to be output.
  • the imaging data corresponding to the high frequency region is output from the image sensor 62a to the ADC 71, AD converted by the ADC 71, and output to the camera shake trajectory calculation unit 75 via the mode setting unit 72, and the camera shake trajectory calculation unit 75.
  • the mode setting unit 72 controls the electronic shirt 62b so that the image sensor 62a is exposed with an appropriate exposure time, and the image sensor 62a captures an image of the subject with the appropriate exposure time (step S68).
  • the mode setting unit 72 is configured to output the imaging data corresponding to the high frequency region out of the imaging data captured in the appropriate exposure time based on the already acquired high frequency region information. Control 62.
  • the imaging data corresponding to the high frequency region is output from the image sensor 62a to the ADC 71, AD converted by the ADC 71, output to the camera shake trajectory calculation unit 75 via the mode setting unit 72, and the camera shake trajectory calculation unit 75. It is stored in the appropriate exposure memory 74b (step S69).
  • the camera shake trajectory calculation unit 75 performs imaging data for the short exposure time stored in the short exposure memory 74a, and imaging data for the appropriate exposure time stored in the appropriate exposure memory 74b. Based on the above, a camera shake trajectory is calculated (step S70).
  • the time from when image data corresponding to the high frequency region of short exposure time is read from the image sensor 62a to when imaging is started with the appropriate exposure time after reset processing of all pixel signals is It is preferable to set it as short as possible (for example, about 10 to 20 milliseconds). With this configuration, since there is no imaging time difference between the short-time exposure image and the appropriate exposure image, image comparison by the camera shake trajectory calculation unit 75 is facilitated, and the time for capturing a still image can be reduced. Can do.
  • the data of all pixels captured by the mode setting unit 72 with the appropriate exposure time is controlled to output the image data, and the data of all the pixels is output to the camera shake correction unit 76 via the ADC 71 and the mode setting unit 72.
  • the camera shake correction unit 76 as shown in FIG. 11 (b), pixel data corresponding to, for example, a pixel corresponding to the camera shake trajectory is read based on the camera shake trajectory calculated by the camera shake trajectory calculating unit 75 while reading all pixel data.
  • the camera shake correction process is performed by the process of moving (step S71), and the blur of the subject image caused by the camera shake is corrected.
  • the camera shake correction processing of the image in the high frequency region is executed on the imaging data stored in the appropriate exposure memory 74b.
  • the imaging data of the both are used.
  • the level difference between the two can be reduced by adding or multiplying a correction value corresponding to the level difference.
  • the image data subjected to the camera shake correction processing is output to the signal processing unit 77, converted into image data of a predetermined format by the signal processing unit 77, and output to the recording device 64 and the display device 65. Is done.
  • step S72 the image data subjected to the camera shake correction process is stored by the recording device 64, and the subject image subjected to the camera shake correction process is displayed by the display device 65 (step S72). Note that when the imaging is continued, the operation of the imaging device 3 returns to step S61.
  • the camera shake trajectory calculation unit 75 is based on the comparison result between the short-time exposure image and the appropriate exposure image! Therefore, unlike the conventional device, a dedicated device for detecting the camera shake trajectory is not required, and the size and cost can be reduced as compared with the conventional device.
  • the data of the short-time exposure image and the appropriate exposure image in the high-frequency region detected by the high-frequency region detection unit 73 is stored in the memory unit 74.
  • the memory capacity can be greatly reduced as compared with the storage of image data for one frame, and the memory can be downsized.
  • the imaging device 3 can be reduced in size, weight, and cost as compared with the conventional device.
  • the exposure time of the image sensor 62a is set as an electronic shirt.
  • the configuration controlled by 62b has been described as an example.
  • the present invention is not limited to this, and the same effect can be obtained when the exposure time is controlled by a mechanical shirter instead of the electronic shirter 62b.
  • the configuration of the imaging apparatus according to the fourth embodiment of the present invention will be described. Note that in this embodiment, the same components as those of the imaging device 3 of the third embodiment of the present invention are denoted by the same reference numerals, and description thereof is omitted.
  • the imaging device 4 includes an image processing device 90 instead of the image processing device 70 as compared with the imaging device 3 of the third embodiment of the present invention. ing.
  • the image processing apparatus 90 includes an ADC 71 that converts an analog signal output from the image sensor 62a into a digital signal, a mode setting unit 72 in which a mode is set based on the state of the shirt button 63, and a high-frequency region.
  • a high-frequency region detection unit 73 for detecting a memory unit 74 for storing imaging data, an image reduction unit 95 for reducing an image represented by the imaging data, a camera shake locus calculating unit 75 for calculating a camera shake locus, and an image reduction unit 95
  • a reduced image correcting unit 96 that corrects camera shake of the reduced image and a difference image calculating unit 97 that calculates a difference image between the image reduced by the image reducing unit 95 and the image corrected by the reduced image correcting unit 96
  • a difference image enlargement / addition unit 98 for enlarging the difference image and adding it to an image including camera shake represented by the imaging data
  • a signal processing unit 77 for performing predetermined signal processing.
  • the image reduction unit 95 reduces each image represented by the imaging data at a predetermined reduction rate by performing spatial resolution conversion on the imaging data corresponding to the high-frequency region of the short-time exposure image and the appropriate exposure image in the imaging mode. It becomes like this.
  • the camera shake trajectory calculation unit 75 stores the imaging data subjected to the spatial resolution conversion by the image reduction unit 95 in the short exposure memory 74a and the appropriate exposure memory 74b, respectively.
  • the camera shake trajectory is calculated by comparing the captured image data.
  • an image represented by the imaging data stored in the appropriate exposure memory 74b is referred to as a “reduced appropriate exposure image”.
  • the reduced image correcting unit 96 corrects the camera shake of the reduced appropriate exposure image based on the camera shake locus calculated by the camera shake locus calculating unit 75.
  • the reduced image correction unit 96 performs an appropriate reduction process by an operation that convolves the camera shake correction trajectory obtained from the inverse matrix of the camera shake trajectory calculated by the camera shake trajectory calculation unit 75 with the data of the reduction appropriate exposure image. Comes with camera shake correction for exposed images!
  • the difference image calculation unit 97 obtains the difference between the reduced appropriate exposure image whose camera shake has been corrected by the reduced image correction unit 96 and the reduced appropriate exposure image represented by the imaging data stored in the appropriate exposure memory 74b. To calculate the difference image to be obtained! / Speak.
  • the image reduction unit 95, the reduced image correction unit 96, and the difference image calculation unit 97 constitute the camera shake correction locus calculation unit of the present invention.
  • the difference image enlargement / addition unit 98 enlarges the difference image calculated by the difference image calculation unit 97 and adds it to the image data captured at the appropriate exposure time, thereby correcting camera shake of the subject image.
  • the enlargement rate when the difference image enlargement / addition unit 98 enlarges the difference image is the reciprocal of the reduction rate when the image reduction unit 95 reduces the image.
  • difference image enlargement / addition unit 98 constitutes a camera shake correction image generation unit of the present invention.
  • the mode setting unit 72 is set to the monitor mode (step S81).
  • the imaging data from the imaging unit 62 is saved in the ADC7.
  • the signal is AD converted by 1 and input to the high frequency region detection unit 73 and the signal processing unit 77 via the mode setting unit 72.
  • a process for detecting the high frequency region is performed on the imaging data input to the high frequency region detection unit 73 (step S82), and the high frequency region information indicating the range of the detected high frequency region is detected as the high frequency region detection. Stored in the memory by the unit 73.
  • image processing that is converted into image data of a predetermined format is performed on the imaging data input to the signal processing unit 77 and is displayed on the display device 65 as a moving image.
  • the mode setting unit 72 determines whether or not the force of pressing the shirt button 63 is determined (step S83). If it is determined that the shirt button 63 has not been pressed, the operation of the imaging device 4 returns to step S82. If it is determined in step S83 that the shirt button 63 has been pressed, the mode setting unit 72 is set to the imaging mode (step S84).
  • the mode setting unit 72 controls the electronic shirter 62b so that the image sensor 62a exposes in a short exposure time, and the subject is imaged in a short exposure time by the image sensor 62a (step S85).
  • the mode setting unit 72 reads the high-frequency region information stored in the memory of the high-frequency region detection unit 73, and among the imaging data captured in a short exposure time, the imaging data corresponding to the high-frequency region is detected.
  • the imaging unit 62 is controlled so as to be output (step S86).
  • the imaging data corresponding to the high frequency region is output from the image sensor 62 & to the output 80, 71, AD converted by the ADC 71, and output to the image reduction unit 95 via the mode setting unit 72.
  • Spatial resolution conversion is performed by the image reduction unit 95 to represent the high-frequency region of the short-exposure image reduced at the reduction rate (step S87), and the imaging data force subjected to the spatial resolution conversion is subjected to short exposure by the camera shake trajectory calculation unit 75. Is stored in the memory 74a (step S88).
  • step S89 all the pixel signals accumulated in the image sensor 62a are reset by the mode setting unit 72 (step S89).
  • the electronic shutter 62b is controlled by the mode setting unit 72 so that the image sensor 62a is exposed with the appropriate exposure time, and the subject is imaged with the appropriate exposure time by the image sensor 62a (step S90).
  • the mode setting unit 72 is configured to output the imaging data corresponding to the high frequency region out of the imaging data captured in the appropriate exposure time based on the already acquired high frequency region information. 62 is controlled (step S91).
  • the imaging data corresponding to the high frequency region is output from the image sensor 62 & to the output 80, 71, AD converted by the ADC 71, output to the image reduction unit 95 via the mode setting unit 72, Spatial resolution conversion is performed by the image reduction unit 95 so as to represent the high-frequency region of the appropriate time-exposure image reduced at the reduction rate (step S92), and the imaging data subjected to the spatial resolution conversion is converted into the camera shake locus calculation unit 75.
  • the image data of the short exposure time stored in the short exposure memory 74a and the image data of the appropriate exposure time stored in the appropriate exposure memory 74b are obtained by the camera shake locus calculating unit 75. Based on the above, a camera shake trajectory is calculated (step S94).
  • the camera shake correction locus is calculated from the inverse matrix of the camera shake locus by the reduced image correction unit 96 (step S95), and the calculated camera shake correction locus and the reduced appropriate exposure stored in the appropriate exposure memory 74b.
  • the camera shake of the reduced appropriate exposure image is corrected by the reduced image correcting unit 96 by the arithmetic processing that convolves the image data (step S96).
  • the difference image obtained from the difference between the reduced appropriate exposure image whose camera shake has been corrected by the reduced image correction unit 96 and the reduced appropriate exposure image represented by the imaging data stored in the appropriate exposure memory 74b is a difference. It is calculated by the image calculation unit 97 (step S97).
  • the image setting unit 62 is controlled by the mode setting unit 72 so as to output the data of all the pixels imaged at the appropriate exposure time, and the data of all the pixels is converted into a differential image via the ADC 71 and the mode setting unit 72. The result is output to the enlargement / addition unit 98.
  • the difference image calculated by the difference image calculation unit 97 is enlarged by the difference image enlargement / addition unit 98, and calorie-calculated to all pixels represented by the data input to the difference image enlargement / addition unit 98. Then, camera shake correction processing is performed on the imaging data of the subject image (step S98).
  • the image data subjected to the camera shake correction processing is output to the signal processing unit 77, converted into image data of a predetermined format by the signal processing unit 77, and output to the recording device 64 and the display device 65. Is done.
  • step S99 the image data subjected to the camera shake correction process is stored by the recording device 64, and the subject image subjected to the camera shake correction process is displayed by the display device 65 (step S99). Note that when the imaging is continued, the operation of the imaging device 4 returns to step S81.
  • the imaging device 4 calculates the camera shake correction locus based on the imaging data representing the reduced short-time exposure image and the appropriate exposure image, respectively.
  • the amount of calculation required to calculate the image stabilization trajectory can be reduced, and the scale of the arithmetic circuit can be reduced, resulting in lower power consumption, smaller size, and lower cost. wear.
  • the configuration of the imaging device according to the fifth embodiment of the present invention will be described. Note that in this embodiment, the same components as those of the imaging device 3 of the third embodiment of the present invention are denoted by the same reference numerals, and description thereof is omitted.
  • the imaging device 5 includes an image processing device 110 in place of the image processing device 70 as compared with the imaging device 3 of the third embodiment of the present invention.
  • the image processing device 110 includes an ADC 71 that converts an analog signal output from the image sensor 62a into a digital signal, a mode setting unit 72 that sets a mode based on the state of the shirt button 63, and a high-frequency region.
  • a high-frequency region detection unit 73 for detecting a memory unit 74 for storing imaging data, a camera shake trajectory calculation unit 75 for calculating a camera shake trajectory, a camera shake trajectory thinning unit 115 for thinning the camera shake trajectory, and a camera shake correction process
  • a camera shake correction unit 76 that performs the signal processing
  • a signal processing unit 77 that performs predetermined signal processing.
  • the camera shake trajectory thinning unit 115 performs right, left, upper, and lower (hereinafter referred to as “neighboring pixels”) for each pixel of the calculated camera shake trajectory (hereinafter referred to as "target pixel"). If any pixel is not on the camera shake trajectory, for example, if the pixel value power of the adjacent pixel is ⁇ , the calculated camera shake trajectory is thinned!
  • the camera shake trajectory thin line portion 115 calculates a weighted average value of pixel values of pixels on the symmetric side of the pixel of interest (hereinafter referred to as "adjacent symmetric side") with respect to each adjacent pixel. If the ratio of any of the calculated weighted average values to the pixel value of the target pixel is equal to or greater than a predetermined threshold, this target pixel is excluded from the camera shake locus, for example, the pixel value is set to 0. It has become.
  • the camera-shake trajectory fine line ridge portion 115 uses each pixel of the image 121 as a pixel of interest 122 for the image 121 including the calculated camera-shake trajectory region 120.
  • the pixel value c of the adjacent pixel on the right side of the target pixel is not 0, the pixel values on the left side of the adjacent symmetry side are al, a2, and a3, respectively.
  • the weighted average value of three pixels a (al + 2 X a2 + a3) Z4 is calculated!
  • the camera shake trajectory thin line portion 115 is arranged such that when the pixel value c of the adjacent pixel is not 0,
  • the ratio R of each of the lower and upper weighted average values a to the pixel value b of the target pixel is calculated. If the calculated ratio R is equal to or greater than a predetermined threshold, the target pixel is excluded from the camera shake locus. Yes. Accordingly, as shown in FIG. 15A, the hand movement locus area 120 is thinned like a hand movement locus area 123.
  • the camera shake trajectory fine line section 115 stores the converted imaging data in the short exposure memory 74a and the appropriate exposure memory 74b, respectively, and compares the imaging data of both.
  • the camera shake trajectory is calculated.
  • the camera shake trajectory thin line portion 115 constitutes a camera shake correction trajectory calculation unit of the present invention.
  • the mode setting unit 72 is set to the monitor mode (step S101).
  • the imaging data from the imaging unit 62 is saved in the ADC7.
  • the signal is AD converted by 1 and input to the high frequency region detection unit 73 and the signal processing unit 77 via the mode setting unit 72.
  • the processing for detecting the high frequency region is performed on the imaging data input to the high frequency region detection unit 73 (step S102), and the high frequency region information indicating the range of the detected high frequency region is displayed in the high frequency region.
  • the data is stored in the memory by the detection unit 73.
  • image processing that is converted into image data of a predetermined format is performed on the imaging data input to the signal processing unit 77 and is displayed on the display device 65 as a moving image.
  • the mode setting unit 72 determines whether or not the force of pressing the shirt button 63 is determined (step S103). If it is determined that the shirt button 63 has not been pressed, the operation of the imaging device 5 returns to step S102. [0159] If it is determined in step S103 that the shirt button 63 has been pressed, the mode setting unit 72 is set to the imaging mode (step S104).
  • the electronic shirter 62b is controlled by the mode setting unit 72 so that the image sensor 62a is exposed in a short exposure time, and the subject is imaged in a short exposure time by the image sensor 62a (step S105).
  • the mode setting unit 72 reads out the high-frequency region information stored in the memory of the high-frequency region detection unit 73, and among the imaging data captured in a short exposure time, the imaging data corresponding to the high-frequency region is detected.
  • the imaging unit 62 is controlled so as to be output.
  • the imaging data corresponding to the high-frequency region is output from the image sensor 62a to the ADC 71, AD-converted by the ADC 71, and output to the camera shake trajectory calculation unit 75 via the mode setting unit 72.
  • the mode setting unit 72 resets all pixel signals accumulated in the image sensor 62a (step S107).
  • the electronic shutter 62b is controlled by the mode setting unit 72 so that the image sensor 62a is exposed with the appropriate exposure time, and the subject is imaged with the appropriate exposure time by the image sensor 62a (step S108).
  • the mode setting unit 72 is configured to output the imaging data corresponding to the high frequency region out of the imaging data captured in the appropriate exposure time based on the already acquired high frequency region information. Control 62.
  • the imaging data corresponding to the high-frequency region is output from the image sensor 62a to the ADC 71, AD-converted by the ADC 71, output to the camera shake trajectory calculation unit 75 via the mode setting unit 72, and is then output by the camera shake trajectory calculation unit 75.
  • the appropriate exposure memory 74b step S109.
  • the camera shake trajectory calculation unit 75 captures the imaging data at the short exposure time stored in the short exposure memory 74a and the imaging data at the appropriate exposure time stored in the appropriate exposure memory 74b. Based on the above, a camera shake trajectory is calculated (step S110), and the calculated camera shake trajectory is thinned by the camera shake trajectory fine line section 115 as described later (S111).
  • the image setting unit 62 is controlled by the mode setting unit 72 so as to output data of all pixels picked up at an appropriate exposure time, and the entire image is transmitted via the ADC 71 and the mode setting unit 72.
  • the raw data is output to the camera shake correction unit 76.
  • the camera shake correction unit 76 reads out all pixel data, and based on the camera shake trajectory thinned by the camera shake trajectory thinning unit 115, for example, the camera shake correction is performed by moving pixel data by a pixel corresponding to the camera shake trajectory. Processing is performed (step S112), and blurring of the subject image caused by camera shake is corrected.
  • the camera shake correction processing of the image in the high frequency region is performed on the imaging data stored in the appropriate exposure memory 74b.
  • the imaging data of the both are used.
  • the level difference between the two can be reduced by adding or multiplying a correction value corresponding to the level difference.
  • the image data subjected to the camera shake correction process is output to the signal processing unit 77, converted into image data of a predetermined format by the signal processing unit 77, and output to the recording device 64 and the display device 65. Is done.
  • step S113 the image data that has been subjected to the camera shake correction process is stored by the recording device 64, and the subject image that has been subjected to the camera shake correction process is displayed by the display device 65 (step S113).
  • movement of the imaging device 5 returns to step S101.
  • step S111 of the operation of the imaging device 5 will be described in detail with reference to FIG.
  • each pixel of the image including the region of the camera shake trajectory calculated by the camera shake trajectory thinning unit 115 is set as a target pixel, and each adjacent pixel (step S120 to S129) of each target pixel (step S120).
  • the following processing is executed for 121 to S128).
  • the power blur power at which the pixel of interest is on the hand movement locus for example, whether or not the pixel value b of the pixel of interest is 0 is determined by the hand movement locus thin line section 115 (step S 122).
  • processing for the next adjacent pixel is executed.
  • the process for the next pixel of interest is executed.
  • the adjacent pixel is shaken. Whether or not it is on the trajectory, for example, whether or not the pixel value c of the adjacent pixel is 0 is determined by the hand tremor trajectory thin line portion 115 (step S123). Here, if it is determined that the pixel value c of the adjacent pixel is not 0, processing for the next adjacent pixel is executed.
  • the weighted average value a of the pixel values of the pixels on the adjacent symmetry side is calculated by the camera shake trajectory thin line section 115 (In step S124), the ratio R of the calculated weighted average value a to the pixel value b of the pixel of interest is calculated by the camera shake track thinning unit 115 (step S125).
  • step S126 whether or not the calculated ratio R is greater than or equal to the predetermined threshold TH is determined by the camera-shake trajectory thinning unit 115 (step S126), and it is determined that the ratio R is not greater than or equal to the threshold TH. In the case, the process for the next adjacent pixel is executed.
  • the pixel of interest is excluded from the camera shake trajectory, that is, the pixel value b of the pixel of interest is set to 0 by the camera shake trajectory thin line area 115. (Step S127).
  • step S127 the next adjacent pixel is determined by the determination in step S122 for the next adjacent pixel.
  • the processing for the target pixel is performed.
  • the imaging device 5 generates a corrected image obtained by correcting the appropriate exposure image by V based on the thinned hand movement locus, so that the short-time exposure image and the appropriate exposure image are generated. Pseudo contours and blurs that occur in the corrected image due to the effects of noise contained in the exposure image and the effects of errors during Fourier transformation can be suppressed.
  • the imaging device 6 according to the present embodiment includes an image processing device 130 that replaces the image processing device 70 of the imaging device 3 according to the third embodiment of the present invention. Yes. Therefore, components other than the image processing device 130 are denoted by the same reference numerals as those of the imaging device 3 according to the third embodiment of the present invention, and detailed description thereof is omitted.
  • the image processing apparatus 130 includes an ADC 131 that converts an analog signal output from the image sensor 62a into a digital signal, and a shortcut button 63.
  • a mode setting unit 132 in which a mode is set based on a state, a high-frequency region detection unit 133 that detects a high-frequency region, a memory unit 134 that stores imaging data, a motion vector detection unit 135 that detects a motion vector, It includes a camera shake trajectory calculation unit 136 that calculates a camera shake trajectory, a camera shake correction unit 137 that performs camera shake correction processing, and a signal processing unit 138 that performs predetermined signal processing.
  • the image processing device 130 is configured by, for example, a digital signal processor.
  • the ADC 131, the high frequency region detection unit 133, and the signal processing unit 138 have the same configurations as the ADC 71, the high frequency region detection unit 73, and the signal processing unit 77 according to the third embodiment, respectively. Description is omitted.
  • the mode setting unit 132 is set to either the monitor mode or the imaging mode when receiving a signal that also outputs the force of the shot button 63 when the user presses the shot button 63. It is summer.
  • the monitor mode the user presses the button 63!
  • the subject image captured by the imaging unit 62 is displayed on the display device 65 as a moving image.
  • the imaging mode is a process of capturing a subject and acquiring a still image of the subject when the user presses the shirt button 63.
  • the mode setting unit 132 controls the electronic shirter 62b so that the image sensor 62a is exposed a plurality of times in a short exposure time in the imaging mode.
  • the mode setting unit 132 controls the electronic shirt 62b so that the image sensor 62a captures an image with an appropriate exposure time, and displays a moving image on the display device 65.
  • the mode setting unit 132 controls the imaging unit 62 to read out the pixel signal of the region based on the high frequency region information output from the high frequency region detection unit 133 from the image sensor 62a and output the signal to the ADC 131. It has become.
  • the mode setting unit 132 constitutes a short-time exposure image acquisition unit of the present invention.
  • the memory unit 134 includes a first memory 134a and a second memory 134b that sequentially store imaging data corresponding to a high-frequency region among images captured by being exposed multiple times with a short exposure time, and a first memory.
  • An accumulation memory 134c is provided for adding and accumulating the imaging data stored in 134a and the imaging data stored in the second memory 134b.
  • the first memory 134a and the second memory 134b are respectively in the first and second times.
  • the imaging data is stored, and the accumulation memory 134c adds and accumulates the first imaging data and the second imaging data.
  • the first memory 134a stores the third imaging data
  • the accumulation memory 134c adds and accumulates the second imaging data and the third imaging data.
  • the motion vector detection unit 135 detects the motion vector by comparing the imaging data stored in the first memory 134a with the imaging data stored in the second memory 134b, and detects the motion vector from the detected motion vector.
  • the motion vector value including the direction and the magnitude of the motion vector is acquired.
  • the motion vector value is acquired every time the imaging data stored in the first memory 134a or the second memory 134b is updated, and is sequentially added and stored in the memory (not shown) of the motion vector detection unit 135. It becomes like this.
  • the camera shake trajectory calculation unit 136 calculates a camera shake trajectory based on the motion vector value acquired by the motion vector detection unit 135. Note that the camera shake trajectory calculation unit 136 constitutes a camera shake correction trajectory calculation unit of the present invention.
  • the camera shake correction unit 137 corrects the camera shake of the subject image captured by the imaging unit 62 based on the camera shake locus calculated by the camera shake locus calculation unit 136.
  • the camera shake correction unit 137 constitutes a camera shake correction locus calculation unit and a camera shake correction image generation unit of the present invention.
  • steps S131 to S134 are steps S61 to 6 4 in the operation of the imaging device 3 according to the third embodiment. Since it is the same as (see FIG. 10), the description is omitted.
  • step S135 a camera shake trajectory calculation process is executed.
  • This camera shake locus calculation process will be described with reference to FIG. In order to easily explain the operation, here, a case where imaging with a short exposure time is performed three times will be described as an example, but the present invention is not limited to this and is based on a short exposure time. What is necessary is just to perform imaging several times.
  • the mode setting unit 132 controls the electronic shirter 62b so that the image sensor 62a is exposed with a short exposure time, and the first imaging with the short exposure time is executed (step S 141). .
  • the mode setting unit 132 reads out the high-frequency region information stored in the memory of the high-frequency region detection unit 133, and in the first imaging data captured in a short exposure time, the mode setting unit 132 sets the high-frequency region information.
  • the imaging unit 62 is controlled to output corresponding imaging data.
  • the first imaged imaged image is output from the image sensor 62a to the ADC 131, AD converted by the ADC 131, and output to the camera shake trajectory calculating unit 136 via the mode setting unit 132.
  • 136 is stored in the first memory 134a (step S142).
  • step S141 the second imaging with a short exposure time is executed (step S143).
  • step S142 out of the second imaging data imaged in the short exposure time, imaging data corresponding to the high frequency region is stored in the second memory 134b by the camera shake locus calculation unit 136. (Step S 144).
  • the motion vector detection unit 135 compares the first imaging data stored in the first memory 134a with the second imaging data stored in the second memory 134b, and the motion vector is determined.
  • the motion vector value is detected (step S145).
  • the motion vector value data is stored in the memory of the motion vector detection unit 135.
  • the camera shake trajectory calculation unit 136 adds the first imaging data stored in the first memory 134a and the second imaging data stored in the second memory 134b, and adds them.
  • the captured image data is stored in the storage memory 134c (step S146).
  • step S141 the third imaging with a short exposure time is executed (step S147).
  • imaging data corresponding to the high frequency region is stored in the first memory 134a by the camera shake locus calculation unit 136. (Step S148).
  • step S145 the motion vector detection unit 135 causes the first memory 13 to The third imaging data stored in 4a and the second imaging data stored in the second memory 134b are compared, a motion vector is detected, and a motion vector value is obtained (step S149). ).
  • the motion vector detection unit 135 adds the motion vector value data acquired in Step S145 and the motion vector value data acquired in Step S149 (Step S150), and motion vector detection is performed. Stored in the memory of section 135. The motion vector value data after the addition is output by the motion vector detection unit 135 to the hand movement trajectory calculation unit 136 as hand movement trajectory data.
  • the camera shake trajectory calculation unit 136 generates the third imaging data stored in the first memory 134a and the second imaging data stored in the second memory 134b.
  • the added imaging data is stored in the storage memory 134c (step S151).
  • three times of image data corresponding to the high frequency region imaged in the short exposure time are accumulated in the accumulation memory 134c.
  • the camera shake locus calculation process is thus completed, and the operation of the imaging device 6 proceeds to step S136 in FIG.
  • the image setting unit 62 is controlled by the mode setting unit 132 so as to output data of all captured pixels, and the data of all pixels is output to the camera-trajectory calculation unit 136 via the ADC 131 and the mode setting unit 132. Is done.
  • the camera shake correction unit 137 as shown in FIG. 11 (b), pixel data corresponding to, for example, a pixel corresponding to the camera shake trajectory is obtained based on the camera shake trajectory acquired by the camera shake trajectory calculating unit 136 while reading all pixel data.
  • the camera shake correction process is performed by the process of moving (step S136), and the blur of the subject image caused by the camera shake is corrected.
  • the camera shake correction processing of the image in the high frequency region is executed on the imaging data stored in the storage memory 134c.
  • step S137 the image data subjected to the camera shake correction process is recorded by the recording device 64, and the subject image subjected to the camera shake correction process is displayed by the display device 65 (step S137). Note that when the imaging is continued, the operation of the imaging device 6 returns to step S131.
  • the camera shake correction unit 137 is based on the camera shake trajectory between a plurality of short-time exposure images! Since the correction is made, a dedicated device for detecting a camera shake trajectory is not required unlike the conventional one, and the size and cost can be reduced as compared with the conventional one.
  • the short-time exposure image data in the high-frequency region detected by the high-frequency region detection unit 133 is stored in the memory unit 134.
  • the memory capacity can be significantly reduced compared to the storage of image data for frames, and the memory can be downsized. As a result, the imaging device 6 can be made smaller, lighter and less expensive than the conventional one.
  • the imaging device of the present invention may be configured by combining the functions of the embodiments. It should be noted that an aspect in which the functions of the respective embodiments are combined can be easily conceived based on the first to sixth embodiments of the present invention, and thus the description thereof is omitted.
  • the imaging apparatus according to the present invention has an effect that it is possible to achieve a reduction in size and cost as compared with the conventional one, and when imaging a subject using a solid-state imaging device. This is useful as an imaging device that corrects blurring of a subject image caused by camera shake.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

　本発明は、従来のものよりも小型化および低コスト化を図ることができる撮像装置を提供することを課題とする。 　撮像装置３は、レンズ１１を介して受光面に結像した画像を撮像する撮像素子１２と、撮像素子１２により異なる露光時間で撮像した少なくとも２枚の画像に基づいて画像の手ぶれを補正する手ぶれ補正部１３と、手ぶれ補正後の画像である手ぶれ補正画像を出力する出力部１４を含み、手ぶれ補正部１３は、撮像素子１２を適正露光時間だけ露光して適正露光画像ｉaを取得する適正露光画像取得部２１と、撮像素子１２を適正露光時間より短い時間露光して短時間露光画像ｉsを取得する短時間露光画像取得部２２と、適正露光画像ｉaに対する手ぶれ補正軌跡を算出する手ぶれ補正軌跡算出部２３と、適正露光画像ｉaと手ぶれ補正軌跡とに基づいて、手ぶれ補正画像ｉcを生成する手ぶれ補正画像生成部２４とを含む。

Description

明 細 書
撮像装置
技術分野
[0001] 本発明は、例えば固体撮像素子を用いて被写体を撮像する際に手ぶれにより生じ る被写体像のぼけを補正する撮像装置に関する。
背景技術
[0002] 従来、この種の撮像装置としては、例えば特許文献 1に示されたものが知られてい る。特許文献 1に示されたものは、被写体を撮像する撮像素子と、撮像素子を搭載す るステージと、ステージを駆動するボイスコイルモータと、被写体像に生じる手ぶれ量 を検出する角速度センサとを備え、角速度センサが検出した手ぶれ量に応じて、撮 像素子が搭載されたステージをボイスコイルモータにより駆動することによって、手ぶ れにより生じる被写体像のぼけを抑えることができるようになつている。
[0003] 特許文献 1 :特開 2005— 184122号公報
発明の開示
発明が解決しょうとする課題
[0004] し力しながら、特許文献 1に示されたものは、手ぶれ量を検出するため、角速度セン サ、ステージおよびボイスコイルモータ等を含む専用装置を本体に内蔵させる構成な ので、小型化および低コストィ匕を図ることが困難であるという課題があった。したがつ て、特許文献 1に示されたものは、より安価で小型軽量ィヒが望まれるデジタルスチル カメラや携帯電話用カメラに搭載できるものではな力つた。
[0005] 本発明は、従来の課題を解決するためになされたものであり、従来のものよりも小型 化および低コストィ匕を図ることができる撮像装置を提供することを目的とする。
課題を解決するための手段
[0006] 本発明の撮像装置は、受光面に結像した画像を撮像する撮像素子と、前記撮像素 子により異なる露光時間で撮像された少なくとも 2枚の画像に基づいて画像の手ぶ れを補正する手ぶれ補正部と、手ぶれ補正後の画像である手ぶれ補正画像を出力 する出力部とを備えている。 発明の効果
[0007] 本発明は、従来のものよりも小型化および低コストィ匕を図ることができるという効果を 有する撮像装置を提供することができるものである。
図面の簡単な説明
[0008] [図 1]図 1は、本発明の第 1の実施の形態に係る撮像装置のブロック図である。
[図 2]図 2は、本発明に係る撮像装置のハードウェア構成を示すブロック図である。
[図 3]図 3は、本発明に係る撮像装置の CPUが実行する手ぶれ補正プログラムのフロ 一チャートである。
[図 4]図 4は、本発明に係る撮像装置の CPUが実行する第 1の手ぶれ補正ルーチン のフローチャートである。
[図 5]図 5は、本発明に係る撮像装置の CPUが実行する手ぶれ補正軌跡算出ルー チンのフローチャートである。
[図 6]図 6は、本発明に係る撮像装置の CPUが実行する手ぶれ補正画像生成ルー チンのフローチャートである。
[図 7]図 7は、本発明の第 2の実施の形態に係る撮像装置のブロック図である。
[図 8]図 8は、本発明に係る撮像装置の CPUが実行する第 2の手ぶれ補正ルーチン のフローチャートである。
[図 9]図 9は、本発明の第 3の実施の形態に係る撮像装置のブロック図である。
[図 10]図 10は、本発明の第 3の実施の形態に係る撮像装置の動作を示すフローチヤ ートである。
[図 11]図 11は、本発明の第 3の実施の形態に係る撮像装置において、高周波領域 および全画素領域の撮像データを読み出す例を示す図であり、図 11 (a)は、高周波 領域の撮像データを読み出す一例を示す図であり、図 11 (b)は、全画素領域の撮 像データを読み出す一例を示す図である。
[図 12]図 12は、本発明の第 4の実施の形態に係る撮像装置のブロック図である。
[図 13]図 13は、本発明の第 4の実施の形態に係る撮像装置の動作を示すフローチヤ ートである。
[図 14]図 14は、本発明の第 5の実施の形態に係る撮像装置のブロック図である。 [図 15]図 15は、本発明の第 5の実施の形態に係る撮像装置を構成する手ぶれ軌跡 細線ィ匕部を説明するための概念図である。
[図 16]図 16は、本発明の第 5の実施の形態に係る撮像装置の動作を示すフローチヤ ートである。
[図 17]図 17は、本発明の第 5の実施の形態に係る撮像装置の細線ィ匕動作を示すフ ローチャートである。
[図 18]図 18は、本発明の第 6の実施の形態に係る撮像装置のブロック図である。
[図 19]図 19は、本発明の第 6の実施の形態に係る撮像装置の動作を示すフローチヤ ートである。
[図 20]図 20は、本発明の第 6の実施の形態に係る撮像装置の手ぶれ量算出動作を 示すフローチャートである。 符号の説明
1、 2、 3、 4、 5、 6 撮像装置
11、 61 レンズ
12 撮像素子
13 手ぶれ補正部
14 出力部
21 適正露光画像取得部
22 短時間露光画像取得部
23 手ぶれ補正軌跡算出部
24 手ぶれ補正画像生成部
31 駆動部
32 記録部
33 表示部
34 ポインティング咅
35 マイクロプロセッサ部
41 画像信号読み込み IZF
42 制御指令出力 IZF CPU
画像信号出力 IZF
メモリ
操作指令読み込み IZF
雑音除去部
撮像部 (短時間露光画像取得部、適正露光画像取得部）
a イメージセンサ (撮像素子）
b 電子シャツタ
シャツタボタン
記録装置（出力部）
表示装置（出力部）
、 90、 110、 130 画像処理装置
、 131 ADC
モード設定部（短時間露光画像取得部、適正露光画像取得部、画素リセット部 、 133 高周波領域検出部
、 134 メモリ部
a 短露光用メモリ
b 適正露光用メモリ
、 136 手ぶれ軌跡算出部
、 137 手ぶれ補正部
、 138 信号処理部
全画素領域
高周波領域
、 83 低周波領域
画像縮小部
縮小画像補正部
差分画像算出部 98 差分画像拡大加算部
115 手ぶれ軌跡細線化部
132 モード設定部 (短時間露光画像取得部）
134a 第 1メモリ
134b 第 2メモリ
134c 蓄積用メモリ
135 ベクトル検出部
138 信号処理部
発明を実施するための最良の形態
[0010] 以下、本発明の実施の形態の手ぶれ補正機能付き撮像装置について、図面を用 いて説明する。
[0011] なお、本明細書において、「手ぶれ補正軌跡」は「周波数領域手ぶれ補正軌跡」と「 時間領域手ぶれ補正軌跡」の総称である。
[0012] (第 1の実施の形態）
本発明の第 1の実施の形態の手ぶれ補正機能付き撮像装置 1は、図 1のブロック図 に示すように、レンズ 11を介して受光面に結像した画像を撮像する撮像素子 12と、 撮像素子 12により異なる露光時間で撮像した少なくとも 2枚の画像に基づいて画像 の手ぶれを補正する手ぶれ補正部 13と、手ぶれ補正後の画像である手ぶれ補正画 像を出力する出力部 14を含む。
[0013] そして、手ぶれ補正部 13は、撮像素子 12を適正な撮像条件から定まる適正露光 時間だけ露光して適正露光画像 iを取得する適正露光画像取得部 21と、撮像素子 a
12を適正露光時間より短 、時間露光して短時間露光画像 iを取得する短時間露光 s
画像取得部 22と、適正露光画像 iおよび短時間露光画像 iに基づいて適正露光画 a s
像 iに対する手ぶれ補正軌跡を算出する手ぶれ補正軌跡算出部 23と、適正露光画 a
像 i
aと手ぶれ補正軌跡とに基づいて、手ぶれ補正画像 i
cを生成する手ぶれ補正画像 生成部 24とを含む。
[0014] 図 2は本発明の手ぶれ補正機能付き撮像装置 1のハードウェア構成を示すブロック 図であって、被写体 OJの光学像を形成するレンズ 11と、光学像が結像する撮像素 子 12と、撮像素子 12を制御する駆動部 31と、撮像された画像を記録する記録部 32 と、撮像された画像を表示する表示部 33と、操作指令を入力するポインティング部3 4と、撮像装置 1を制御するマイクロプロセッサ部 35とから構成される。なお、記録部 3 2または表示部 33は、本発明の出力部を構成している。
[0015] そして、マイクロプロセッサ部 35は、撮像素子 12から出力される画像信号を読み込 む画像信号読み込みインターフェイス (IZF) 41と、駆動部 31に制御指令を出力す る制御指令出力 IZF42と、処理を実行する CPU43と、記録部 32および表示部 33 に画像信号を出力する画像信号出力 IZF44と、処理プログラムを記憶するメモリ 45 と、ポインティング部 34から操作指令を読み込む操作指令読み込み IZF46とを含む
[0016] 即ち、マイクロプロセッサ部 35のメモリ 45に手ぶれ補正プログラムをインストールす ることにより撮像装置 1に手ぶれ補正機能を組み込むことが可能となる。
[0017] 図 3は手ぶれ補正プログラムのフローチャートであって、まず CPU43は手ぶれ補正 ルーチンを実行 (ステップ S 11)し、次に手ぶれ補正画像 iを記録部 32および表示部 33に出力（ステップ S 12)してこのプログラムを終了する。
[0018] 図 4はステップ S 11で実行される第 1の手ぶれ補正ルーチンのフローチャートであ つて、まず CPU43は適正露光時間より短 、露光時間で撮像された短時間露光画像 iを取得 (ステップ S21)し、次に CPU43は適正露光時間で撮像された適正露光画 像 iを取得 (ステップ S 22)する。取得順は、 i、 iの順でも良い。
[0019] なお、短時間露光画像 iおよび適正露光画像 iは、メカ-カルシャツタまたは電子シ ャッタを使用して撮像された短時間露光画像および適正露光画像が撮像素子 12で 画像信号に変換され、画像信号読み込み IZF41を介してデジタルデータとして読 み込まれるものである。
[0020] その後、 CPU43は手ぶれ補正軌跡を算出（ステップ S23)し、手ぶれ補正画像 iを 生成 (ステップ S24)するが、詳細は後述する。
[0021] 図 5は、 CPU43がステップ S23で実行する手ぶれ補正軌跡算出ルーチンのフロー チャートであって、まず CPU43は短時間露光画像 iをフーリエ変換して周波数領域 短時間露光画像 Iを生成 (ステップ S31)する。即ち、短時間露光画像 iと周波数領 域短時間露光画像 Iとの間には [数 1]が成立する。
[数 1] ただし、 FO)は: cのフーリェ変換 [0022] 次に、 CPU43は適正露光画像 iをフーリエ変換して周波数領域適正露光画像 Iを a a 生成 (ステップ S32)する。
[0023] 即ち、適正露光画像 iと周波数領域適正露光画像 Iとの間には [数 2]が成立する。
a a
[数 2]
[0024] そして、 CPU43は周波数領域短時間露光画像 Iを周波数領域適正露光画像 Iで s a 除算して、周波数領域手ぶれ補正軌跡 Gを算出 (ステップ S33)する。即ち、ステップ S33の処理は [数 3]により表すことができる。
[数 3]
Figure imgf000009_0001
[0025] ここで、適正露光画像 iに含まれる手ぶれ軌跡を hとすると [数 4]が成立する。
a
画 i。 = i * h
In = F( * h) = Ix H
H = ¥(h)
ただし、 ί =手ぶれ無し画像、 / =周波数領域手ぶれ無し画像
Η =周波数領域手ぶれ軌跡
*は畳み込み演算子
[0026] また、適正露光時間よりも短!、露光時間で撮像された短時間露光画像 iには手ぶ s れが含まれないものとみなすと、 [数 5]が成立する。
[数 5] is = Ί
Is = F(is) = F(i) = I
[0027] [数 4]および [数 5]を [数 3]に代入すると、 [数 6]が成立する。
[数 6]
G = -^— = H 1
[0028] 即ち、ステップ S33で算出された周波数領域手ぶれ補正軌跡 Gは、周波数領域手 ぶれ軌跡 Ηの逆数となる。
[0029] 図 6は、 CPU43がステップ S24で実行する手ぶれ補正画像生成ルーチンのフロー チャートであって、まず CPU43は周波数領域手ぶれ補正軌跡 Gを逆フーリエ変換し
、時間領域手ぶれ補正軌跡 gを算出 (ステップ S41)する。
[0030] 即ち、周波数領域手ぶれ補正軌跡 Gと時間領域手ぶれ補正軌跡 gの間には [数 7] が成立する。
[数 7] g = F-1(G) = F-1(H-1) = /i-1
ここで、 F— は の逆フーリエ変換
[0031] 次に、 CPU43は、適正露光画像 iに時間領域手ぶれ補正軌跡 gを畳み込んで、手 a
ぶれ補正画像 iを生成 (ステップ S42)する。
[0032] ここで、ステップ S42の処理は [数 8]で表すことができる。
[数 8] ic ~ ia ^ g - i ^ h ^ —1 = i [0033] 従って、手ぶれ補正画像 iは手ぶれ無し画像 iとなり、適正露光画像 iから手ぶれを c a
除去できることとなる。 [0034] なお、周波数領域適正露光画像 Iと周波数領域手ぶれ補正軌跡 Gとの乗算結果を
a
逆フーリエ変換することによつても手ぶれ補正画像 iを生成できることは、 [数 9]から 明らかである。
[数 9] ic = F一1 (/。 x G) = F-1 ( ) * F-' (G) = ia * g
[0035] 以上説明したように、第 1の実施の形態に係る手ぶれ補正機能付き撮像装置 1によ れば、適正露光画像と短時間露光画像とに基づいて手ぶれ補正軌跡を算出し、適 正露光画像と手ぶれ補正軌跡とに基づいて適正露光画像の手ぶれを除去すること が可能となる。
[0036] (第 2の実施の形態）
上記の第 1の実施の形態にあっては、短時間露光画像には手ぶれが含まれて!/、な いと仮定しているが、雑音は重畳する。さらに、適正露光画像にも雑音は重畳する。
[0037] 短時間露光画像の撮像時には、露光不足を補うために電子回路の感度が増加す るため雑音の強度は大きくなり、短時間露光画像の画質は大きく劣化する。
[0038] また、適正露光画像の撮像時には、強度は小さ!、ものの適正露光画像に雑音が重 畳することを回避できない。
[0039] 第 2の実施の形態に係る手ぶれ補正機能付き撮像装置は、この課題を解決するた めに画像力 雑音を除去する機能をさらに備えている。
[0040] 図 7は、本発明の第 2の実施の形態の手ぶれ補正機能付き撮像装置 2のブロック図 である。なお、本実施の形態は、上述の第 1の実施の形態と略同様に構成されている ので、同一の構成要素には同一の符号を付して説明を省略する。
[0041] 図 7において、手ぶれ補正機能付き撮像装置 2は、第 1の実施の形態で示した構成 に加えて、適正露光画像および短時間露光画像に含まれる雑音を除去する雑音除 去部 51を備える。
[0042] なお、第 2の実施の形態に係る手ぶれ補正機能付き撮像装置 2のハードウェア構 成は、第 1の実施の形態と同一であり、マイクロプロセッサ部 35にインストールするプ ログラムの一部だけが相違する。 [0043] 図 8は図 4の第 1の手ぶれ補正ルーチンに代えてマイクロプロセッサ部 35にインスト ールする第 2の手ぶれ補正ルーチンのフローチャートであって、第 1の手ぶれ補正ル 一チンのステップ S22とステップ S23の間にステップ S51およびステップ S52が挿入 される。
[0044] CPU43は、まず短時間露光画像 iを取得 (ステップ S51)し、続 、て適正露光画像 s
iを取得 (ステップ S52)する。
a
[0045] ここで、短時間露光画像 iに含まれる雑音を nとし、適正露光画像 iに含まれる雑音 s s a
を nとすると、 [数 10]が成立する。
a
[数 10]
'»
ia =i*h + na
[0046] CPU43は、短時間露光画像 iおよび適正露光画像 iに雑音除去部 51である高域 s a
遮断フィルタをかけ、雑音を除去 (ステップ S53およびステップ S54)する。
[0047] 高域遮断フィルタの特性を rとすると、雑音除去後の短時間露光画像 (以下、雑音 除去後短時間露光画像という。 )i
srおよび雑音除去後の適正露光画像 (以下、雑音 除去後適正露光画像という。） i
arは [数 11]で表される。
[数 11] isr = is *r = i*r + ns *r
iar =ia *r =i*h*r + na *r
[0048] 次に、 CPU43は手ぶれ補正軌跡を算出（ステップ S55)するが、手ぶれ補正軌跡 算出ルーチンは第 1の実施の形態と同一であり、そのフローチャートは図 5と同様で ある。
[0049] CPU43は、まず雑音除去後短時間露光画像 iをフーリエ変換して周波数領域雑 sr
音除去後短時間露光画像 Iを生成 (ステップ S31)し、次に雑音除去後適正露光画 sr
像 i
arをフーリエ変換して周波数領域雑音除去後適正露光画像 I
arを生成 (ステップ S3
2)する。
[0050] 即ち、ステップ S31およびステップ S32の処理は [数 12]により表される。 Isr=¥(isr) = I R + NsxR
Iar =F(iar) = Ix xR + NaxR
ただし、 ? = F(r)
Να =Έ(ηα)
[0051] 雑音はランダムに発生し大部分が高周波域に存在し、高域遮断フィルタにより除去 されるので、 [数 12]は [数 13]で近似できる。
[数 13]
[0052] なお、高域遮断フィルタの遮断周波数を 5〜20ヘルツとすれば、周波数領域手ぶ れ軌跡 Hを除去することなぐ雑音を除去することができるので好ましい。
[0053] CPU43は、周波数領域雑音除去後短時間露光画像 I
srを周波数領域雑音除去後 適正露光画像 Iで除して周波数領域手ぶれ補正軌跡 Gを算出 (ステップ S33)する。
ar
即ち、ステップ S31およびステップ S32の処理は [数 14]により表される。
[数 14]
G = ^= ΙΧΛ =Η~'
Iar IxHxR
[0054] 最後に、 CPU43は手ぶれ補正画像 ^を生成 (ステップ S56)するが、手ぶれ補正画 像生成ルーチンは第 1の実施の形態と同一であり、そのフローチャートは図 6と同様 である。
[0055] 即ち、 CPU43は、周波数領域手ぶれ補正軌跡 Gを逆フーリエ変換して時間領域 手ぶれ補正軌跡 gを算出 (ステップ S41)し、適正露光画像 iに時間領域補正軌跡 g a
を畳み込んで手ぶれ補正画像 iを生成 (ステップ S42)する。なお、ステップ S42の処 理は [数 15]で表される。 [数 15] ic =ia *g = (i* + na)*g = i*h*h +na *h =i + na *h =i + na *g [0056] ここで、 n *gは、ノイズ nに手ぶれ補正軌跡を畳み込んだノイズとなる力 その大き a a
さは [数 16]とみなしても良 、。
[数 16]
[0057] 従って、手ぶれ補正画像 iは手ぶれ無し画像 iに雑音 n *gが重畳した画像となるが c a
、前述したように、雑音 nの強度は弱いため、雑音 n *gもその強度は弱ぐ画質を大 a a
きく劣化させることはない。
[0058] なお、第 1の実施の形態と同様に、周波数領域適正露光画像 Iと周波数領域手ぶ a
れ補正軌跡 Gとの乗算結果を逆フーリエ変換することによつても手ぶれ補正画像 iを 生成できることは、 [数 17]から明らかである。
[数 17] ic
Figure imgf000014_0001
[0059] 以上説明したように、第 2の実施の形態によれば、短時間露光画像に含まれる雑音 の影響を排除して手ぶれを補正することが可能となる。
[0060] (第 3の実施の形態）
まず、本発明の第 3の実施の形態に係る撮像装置の構成について説明する。
[0061] 図 9に示すように、本実施の形態に係る撮像装置 3は、被写体からの光を集光する レンズ 61と、被写体を撮像する撮像部 62と、利用者が撮像時に操作するシャツタボ タン 63と、撮像された被写体像を画像処理する画像処理装置 70と、被写体像のデ ータを記録する記録装置 64と、被写体像を表示する表示装置 65とを備えている。な お、以下の記載において、撮像された被写体像のデータを以下、単に「撮像データ」 という。
[0062] レンズ 61は、被写体からの光を集光し、撮像部 62に出射するようになっている。シ ャッタボタン 63は、利用者が撮像時に押下したとき、その旨を示す信号をモード設定 部 72 (後述）に出力するようになって 、る。
[0063] 記録装置 64は、例えば半導体メモリを備え、撮像データを記録するようになって!/、 る。表示装置 65は、例えば液晶パネルを備え、撮像された被写体像を表示するよう になっている。なお、記録装置 64または表示装置 65は、本発明の出力部を構成して いる。
[0064] 撮像部 62は、レンズ 61が集光した被写体光を電気信号に光電変換するイメージセ ンサ 62aと、イメージセンサ 62aの露光時間を設定する電子シャツタ 62bとを備えてい る。なお、撮像部 62は、本発明の短時間露光画像取得部および適正露光画像取得 部を構成している。
[0065] イメージセンサ 62aは、例えば CCD (Charge Coupled Device：電荷結合素子） や CMOS (Complementary Metal -Oxide Semiconductor：相ネ甫型金属酸 化物半導体)センサ等の固体撮像素子で構成され、所定数の画素を備えている。電 子シャツタ 62bは、モード設定部 72からの制御信号に基づき、イメージセンサ 62aの 露光時間を設定するようになっている。なお、イメージセンサ 62aは、本発明の撮像 素子を構成している。
[0066] 画像処理装置 70は、イメージセンサ 62aが出力するアナログ信号をデジタル信号 に変換するアナログデジタルコンバータ（以下「ADC」という。） 71と、シャツタボタン 6 3の状態に基づいてモードが設定されるモード設定部 72と、高周波領域を検出する 高周波領域検出部 73と、撮像データを格納するメモリ部 74と、手ぶれ軌跡を算出す る手ぶれ軌跡算出部 75と、手ぶれの補正処理を行う手ぶれ補正部 76と、所定の信 号処理を行う信号処理部 77とを備えている。なお、画像処理装置 70は、例えばデジ タル信号プロセッサで構成される。
[0067] ADC71は、イメージセンサ 62aが撮像した撮像データを AD変換してモード設定 部 72に出力するようになって 、る。
[0068] モード設定部 72は、利用者がシャツタボタン 63を押下した際にシャツタボタン 63か ら出力される信号を受信したとき、モニタモードおよび撮像モードのいずれかに設定 されるようになつている。ここで、モニタモードとは、利用者がシャツタボタン 63を押下 して！/、な 、状態にぉ 、て、撮像部 62が撮像した被写体像を動画像として表示装置 6 5に表示するモードをいう。また、撮像モードとは、利用者がシャツタボタン 63を押下 した際に被写体を撮像し、被写体の静止画像を取得するモードを!、う。
[0069] また、モード設定部 72は、撮像モードにぉ 、て、所定の短露光時間または所定の 適正露光時間でイメージセンサ 62aが撮像するよう電子シャツタ 62bを制御すること ができるようになつている。ここで、短露光時間とは、手ぶれが発生せず、かつ、撮像 信号がノイズに埋もれず取得できるよう、適正露出による通常の撮像時間よりも短く定 められた時間をいう。また、適正露光時間とは、被写体光に応じた適正露出をィメー ジセンサ 62aに与えるために定められた時間を！、う。
[0070] 一方、モード設定部 72は、モニタモードにお 、て、イメージセンサ 62aが適正露光 時間で被写体を撮像するよう電子シャツタ 62bを制御し、動画像を表示装置 65に表 示させるようになつている。なお、表示装置 65が液晶パネルで構成されている場合、 一般に用いられる液晶パネルの解像度はイメージセンサ 62aの解像度よりも低いの で、モード設定部 72は、イメージセンサ 62aの画素データを間引いて読み出したり、 画素データを複数の画素毎に混合したりすることによりフレームレートの向上を図つ て動画を液晶パネルに表示させるのが好まし 、。
[0071] また、モード設定部 72は、イメージセンサ 62aの各画素に蓄積された信号をリセット するための制御信号を撮像部 62に出力できるようになつている。また、モード設定部 72は、イメージセンサ 62aの全画素領域のうち所定の画素領域における撮像データ をイメージセンサ 62aから読み出して ADC71に出力するための制御信号を撮像部 6 2に出力できるようになつている。なお、モード設定部 72は、本発明の短時間露光画 像取得部、適正露光画像取得部および画素リセット部を構成して 、る。
[0072] 高周波領域検出部 73は、例えば所定の空間周波数以上の信号成分を通過させる ハイパスフィルタで構成されており、モニタモードにおいて、被写体が撮像される全画 素領域のうち所定の空間周波数以上の画素領域 (以下「高周波領域」 t 、う。 )を検 出するようになっている。すなわち、高周波領域検出部 73は、モニタモードにおいて 、イメージセンサ 62aが有する画素領域のうち被写体像の動きが比較的大きく表れる 領域を検出することができるようになつている。また、高周波領域検出部 73は、検出 した高周波領域を示す高周波領域情報を格納するメモリ（図示省略)を備えて 、る。
[0073] メモリ部 74は、短露光時間で撮像された被写体像 (以下「短時間露光画像」 t 、う。
)のデータを格納する短露光用メモリ 74aと、適正露光時間で撮像された被写体像（ 以下「適正露光画像」 t 、う。）のデータを格納する適正露光用メモリ 74bとを備えて いる。
[0074] 手ぶれ軌跡算出部 75は、撮像モードにぉ 、て、短時間露光画像および適正露光 画像の高周波領域における撮像データをそれぞれ短露光用メモリ 74aおよび適正露 光用メモリ 74bに格納し、両者の撮像データを比較して手ぶれ軌跡を算出するように なっている。例えば、手ぶれ軌跡算出部 75は、適正露光画像のデータに対するフー リエ変換後のデータを、短時間露光画像のデータに対するフーリエ変換後のデータ で除算し、除算して得られたデータを逆フーリエ変換することにより、手ぶれ軌跡を算 出するようになっている。なお、手ぶれ軌跡算出部 75は、本発明の手ぶれ補正軌跡 算出部を構成している。
[0075] 手ぶれ補正部 76は、手ぶれ軌跡算出部 75によって算出された手ぶれ軌跡に基づ V、て適正露光時間で撮像された被写体像を手ぶれ補正するようになって!/ヽる。例え ば、手ぶれ補正部 76は、手ぶれ軌跡算出部 75によって算出された手ぶれ軌跡の逆 行列から得られる手ぶれ補正軌跡と、適正露光画像のデータとを畳み込む演算処理 によって、被写体像を手ぶれ補正するようになっている。なお、手ぶれ補正部 76は、 本発明の手ぶれ補正軌跡算出部および手ぶれ補正画像生成部を構成している。
[0076] 信号処理部 77は、モニタモードにおいて、撮像された被写体像を表示装置 65〖こ 表示するための信号処理を行うようになっている。また、信号処理部 77は、撮像モー ドにお 、て、手ぶれ補正された撮像データを記録装置 64に記録するための信号処 理と、手ぶれ補正された被写体の画像を表示装置 65に表示するための信号処理と を行うようになっている。
[0077] 次に、手ぶれ軌跡算出部 75および手ぶれ補正部 76による手ぶれ補正の一例につ いて、数式を用いて具体的に説明する。
[0078] 短時間露光画像のデータを is、適正露光画像のデータを il、適正露光画像の手ぶ れ軌跡を hとする。手ぶれのない理想的な被写体像のデータを iとすると、 ilは iが hと いう PSF (Point Spread Function:点像分布関数）を持ったぶれ方をしている画 像データなので、次式で表すことができる。なお、記号「*」は畳み込み演算子を示 す。
[0079] il = i*h (1)
[0080] 次に、 i、 is、 il、 hのフーリエ変換を、それぞれ、 I、 IS、 IL、 Hと表すと次式の関係と なる。ここで、 Fはフーリエ変換を表し、 F_ 1は逆フーリエ変換を表す。
[0081] F(i) = I (2)
F(is) = IS (3)
F(il) = IL (4)
F(h) = H (5)
F" "(I) = i (6)
F" _1(is) = is (7)
F" _ 1(IL) = il (8)
F" _ 1(H) = h (9)
[0082] 短時間露光画像のデータ isに対するフーリエ変換後のデータ F(is)を、適正露光画 像のデータ ilに対するフーリエ変換後のデータ F(il)で除算すると、次式が得られる。
[0083] F(is)/F(il) = F(is)/F(i*h) = IS/(I X H) (10)
[0084] 短時間露光画像が、手ぶれのな!、理想的な被写体像と同じ画像となって 、ると仮 定すると、 is=iであるから IS=Iとなり、これを式（10)に代入すると次式が得られる。
[0085] F(is)/F(il) = F(i)/F(i*h) = 1/(1 X H) = 1/H = H"1 (11)
[0086] ここで、 H_1は Hの逆行列を示し、 hの逆行列を h_1で表すと次式となる。
[0087] F(l/h) = F(h_ 1) = 1/H = H"1 (12)
F_ 1(l/H) = F_1(H_1) = 1/h = h"1 (13)
[0088] 次に、短時間露光画像のデータ isに対するフーリエ変換後のデータ F(is)を、適正 露光画像のデータ ilに対するフーリエ変換後のデータ F(il)で除算したとき、除算して 得られたデータの逆フーリエ変換後のデータを補正軌跡 gとすると、補正軌跡 gは式 ( 11)の逆フーリエ変換であるので、次式が得られる。
[0089] g = F_ 1(H_1) = h"1 (14) [0090] したがって、補正軌跡 gと短時間露光画像のデータ ilとの畳み込みは次式で表され
、手ぶれのな 、理想的な被写体像のデータ iを算出することができる。
[0091] g*il = h_1*i*h = i*(h_1*h) = i (15)
[0092] 以上のように、本実施の形態に係る撮像装置 3は、手ぶれを補正した被写体像を取 得することができる。なお、前述の方法で PSFを求めた後に、例えば、手ぶれ軌跡デ ータから手ぶれ補正行列を生成し、生成された手ぶれ補正行列と手ぶれ画像とから 手ぶれ補正を行うための信号を生成して手ぶれ補正を行うこともできる。
[0093] 次に、本実施の形態に係る撮像装置 3の動作について図 9〜11を用いて説明する
[0094] まず、モード設定部 72は、モニタモードに設定される (ステップ S61)。モード設定 部 72がモニタモードに設定されることにより、撮像部 62からの撮像データは、 ADC7 1によって AD変換され、モード設定部 72を介し、高周波領域検出部 73および信号 処理部 77に入力される。
[0095] 高周波領域検出部 73に入力された撮像データに対しては、高周波領域を検出す る処理が実行される (ステップ S62)。具体的には、例えば図 11 (a)に示すように、高 周波領域検出部 73は、被写体が撮像される領域である全画素領域 80から、高周波 領域 81と、高周波領域 81よりも低い空間周波数の低周波領域 82および 83とを検出 し、高周波領域 81の範囲を示す高周波領域情報をメモリに格納する。
[0096] 一方、信号処理部 77に入力された撮像データに対しては、例えば所定のフォーマ ットの画像データに変換される画像処理が実行され、表示装置 65に動画像として表 示される。
[0097] 続いて、モード設定部 72によって、シャツタボタン 63が押下された力否かが判断さ れる (ステップ S63)。ここで、シャツタボタン 63が押下されたと判断されな力つた場合 は、撮像装置 3の動作は、ステップ S62に戻る。
[0098] ステップ S63において、シャツタボタン 63が押下されたと判断された場合は、モード 設定部 72は、撮像モードに設定される (ステップ S64)。
[0099] さらに、モード設定部 72によって、イメージセンサ 62aが短露光時間で露光するよう 電子シャツタ 62bが制御され、イメージセンサ 62aによって、被写体が短露光時間で 撮像される (ステップ S65)。
[0100] ここで、モード設定部 72は、高周波領域検出部 73のメモリに格納された高周波領 域情報を読み出し、短露光時間で撮像された撮像データのうち、高周波領域に該当 する撮像データが出力されるよう撮像部 62を制御する。その結果、高周波領域に該 当する撮像データは、イメージセンサ 62aから ADC71に出力され、 ADC71によって AD変換され、モード設定部 72を介し、手ぶれ軌跡算出部 75に出力され、手ぶれ軌 跡算出部 75によって短露光用メモリ 74aに格納される (ステップ S66)。
[0101] 引き続き、モード設定部 72によって、イメージセンサ 62aに蓄積された全ての画素 信号がリセットされる (ステップ S67)。
[0102] さらに、モード設定部 72によって、イメージセンサ 62aが適正露光時間で露光する よう電子シャツタ 62bが制御され、イメージセンサ 62aによって、被写体が適正露光時 間で撮像される (ステップ S68)。
[0103] ここで、モード設定部 72は、既に取得済みの高周波領域情報に基づいて、適正露 光時間で撮像された撮像データのうち、高周波領域に該当する撮像データが出力さ れるよう撮像部 62を制御する。その結果、高周波領域に該当する撮像データは、ィメ ージセンサ 62aから ADC71に出力され、 ADC71によって AD変換され、モード設定 部 72を介し、手ぶれ軌跡算出部 75に出力され、手ぶれ軌跡算出部 75によって適正 露光用メモリ 74bに格納される (ステップ S69)。
[0104] さらに、手ぶれ軌跡算出部 75によって、短露光用メモリ 74aに格納された短露光時 間での撮像データと、適正露光用メモリ 74bに格納された適正露光時間での撮像デ ータとに基づ 、て手ぶれ軌跡が算出される (ステップ S 70)。
[0105] なお、短露光時間の高周波領域に該当する撮像データをイメージセンサ 62aより読 み出してから、全ての画素信号のリセット処理を経て適正露光時間で撮像を開始す るまでの時間は、できるだけ短時間（例えば 10〜20ミリ秒程度）に設定するのが好ま しい。この構成により、短時間露光画像と適正露光画像との間の撮像時間差がない ため、手ぶれ軌跡算出部 75による画像比較が容易になり、かつ、静止画像の撮像時 間の短縮ィ匕を図ることができる。
[0106] 引き続き、モード設定部 72によって、適正露光時間で撮像された全画素のデータ を出力するよう撮像部 62が制御され、 ADC71およびモード設定部 72を介し、全画 素のデータが手ぶれ補正部 76に出力される。手ぶれ補正部 76においては、図 11 ( b)に示すように、全画素のデータを読み出しながら、手ぶれ軌跡算出部 75が算出し た手ぶれ軌跡に基づき、例えば手ぶれ軌跡に相当する画素分だけ画素データを移 動する処理により手ぶれ補正処理が行われ (ステップ S71)、手ぶれにより生じた被 写体像のぼけが補正される。ここで、高周波領域における画像の手ぶれ補正処理は 、適正露光用メモリ 74bに格納された撮像データに対して実行される。
[0107] なお、手ぶれ補正処理において、例えばイメージセンサ 62a内で生じる暗電流の影 響により、高周波領域の画像とその他の領域の画像とでレベル差が生じている場合 は、両者の撮像データを加算、またはレベル差に応じた補正値を乗算することにより 、両者のレベル差を低減することができる。
[0108] 次いで、手ぶれ補正処理が行われた撮像データが信号処理部 77に出力され、信 号処理部 77によって所定のフォーマットの画像データに変換されて記録装置 64およ び表示装置 65に出力される。
[0109] そして、記録装置 64によって、手ぶれ補正処理が行われた撮像データが格納され 、表示装置 65によって、手ぶれ補正処理が行われた被写体像が表示される (ステツ プ S72)。なお、引き続き撮像を行う場合は、撮像装置 3の動作は、ステップ S61に戻 る。
[0110] 以上のように、本実施の形態に係る撮像装置 3によれば、手ぶれ軌跡算出部 75は 、短時間露光画像と適正露光画像との比較結果に基づ!、て被写体像の手ぶれを補 正する構成としたので、従来のもののように、手ぶれ軌跡を検出するための専用装置 を必要とせず、従来のものよりも小型化および低コストィ匕を図ることができる。
[0111] また、本実施の形態に係る撮像装置 3によれば、高周波領域検出部 73が検出した 高周波領域における短時間露光画像および適正露光画像のデータをメモリ部 74に 格納する構成としたので、例えば 1フレーム分の撮像データを格納するものよりもメモ リ容量を大幅に低減でき、メモリを小型化することができる。その結果、撮像装置 3は 、従来の装置よりも小型化、軽量ィ匕および低コストィ匕を図ることができる。
[0112] なお、前述の実施の形態において、イメージセンサ 62aの露光時間を電子シャツタ 62bが制御する構成を例に挙げて説明したが、本発明はこれに限定されるものでは なぐ電子シャツタ 62bに代えてメカシャツタで露光時間を制御する構成としても同様 の効果が得られる。
[0113] (第 4の実施の形態）
まず、本発明の第 4の実施の形態に係る撮像装置の構成について説明する。なお 、本実施の形態においては、本発明の第 3の実施形態の撮像装置 3の各構成要素と 同一な構成要素については、同一の符号を付して説明を省略する。
[0114] 図 12に示すように、本実施の形態に係る撮像装置 4は、本発明の第 3の実施形態 の撮像装置 3に対して、画像処理装置 70の代わりに画像処理装置 90を備えている。
[0115] 画像処理装置 90は、イメージセンサ 62aが出力するアナログ信号をデジタル信号 に変換する ADC71と、シャツタボタン 63の状態に基づいてモードが設定されるモー ド設定部 72と、高周波領域を検出する高周波領域検出部 73と、撮像データを格納 するメモリ部 74と、撮像データが表す画像を縮小する画像縮小部 95と、手ぶれ軌跡 を算出する手ぶれ軌跡算出部 75と、画像縮小部 95によって縮小された画像の手ぶ れを補正する縮小画像補正部 96と、画像縮小部 95によって縮小された画像と縮小 画像補正部 96によって補正された画像との差分画像を算出する差分画像算出部 97 と、差分画像を拡大して撮像データが表す手ぶれを含む画像に加算する差分画像 拡大加算部 98と、所定の信号処理を行う信号処理部 77とを備えている。
[0116] 画像縮小部 95は、撮像モードにおいて、短時間露光画像および適正露光画像の 高周波領域にあたる撮像データに空間解像度変換を施すことによって、撮像データ が表す各画像を所定の縮小率で縮小するようになって 、る。
[0117] なお、本実施形態において、手ぶれ軌跡算出部 75は、画像縮小部 95によって空 間解像度変換が施された撮像データをそれぞれ短露光用メモリ 74aおよび適正露光 用メモリ 74bに格納し、両者の撮像データを比較して手ぶれ軌跡を算出するようにな つている。また、以下の説明においては、適正露光用メモリ 74bに格納された撮像デ ータが表す画像を「縮小適正露光画像」という。
[0118] 縮小画像補正部 96は、手ぶれ軌跡算出部 75で算出された手ぶれ軌跡に基づい て、縮小適正露光画像を手ぶれ補正するようになって ヽる。 [0119] 例えば、縮小画像補正部 96は、手ぶれ軌跡算出部 75で算出された手ぶれ軌跡の 逆行列から得られる手ぶれ補正軌跡と、縮小適正露光画像のデータとを畳み込む演 算処理によって、縮小適正露光画像の手ぶれ補正を行うようになって!/、る。
[0120] 差分画像算出部 97は、縮小画像補正部 96によって手ぶれが補正された縮小適正 露光画像と、適正露光用メモリ 74bに格納された撮像データが表す縮小適正露光画 像との差分から得られる差分画像を算出するようになって！/ヽる。
[0121] なお、画像縮小部 95、縮小画像補正部 96および差分画像算出部 97は、本発明 の手ぶれ補正軌跡算出部を構成している。
[0122] 差分画像拡大加算部 98は、差分画像算出部 97で算出された差分画像を拡大して 、適正露光時間で撮像された撮像データに加算することによって、被写体像の手ぶ れ補正を行うようになっている。ここで、差分画像拡大加算部 98が差分画像を拡大 する際の拡大率は画像縮小部 95が画像を縮小するときの縮小率の逆数である。
[0123] なお、差分画像拡大加算部 98は、本発明の手ぶれ補正画像生成部を構成してい る。
[0124] 次に、本実施の形態に係る撮像装置 4の動作について図 13を用いて説明する。
[0125] まず、モード設定部 72は、モニタモードに設定される (ステップ S81)。モード設定 部 72がモニタモードに設定されることにより、撮像部 62からの撮像データは、 ADC7
1によって AD変換され、モード設定部 72を介し、高周波領域検出部 73および信号 処理部 77に入力される。
[0126] 高周波領域検出部 73に入力された撮像データに対しては、高周波領域を検出す る処理が実行され (ステップ S82)、検出された高周波領域の範囲を示す高周波領域 情報が高周波領域検出部 73によってメモリに格納される。
[0127] 一方、信号処理部 77に入力された撮像データに対しては、例えば所定のフォーマ ットの画像データに変換される画像処理が実行され、表示装置 65に動画像として表 示される。
[0128] 続いて、モード設定部 72によって、シャツタボタン 63が押下された力否かが判断さ れる (ステップ S83)。ここで、シャツタボタン 63が押下されたと判断されな力つた場合 は、撮像装置 4の動作は、ステップ S82に戻る。 [0129] ステップ S83において、シャツタボタン 63が押下されたと判断された場合は、モード 設定部 72は、撮像モードに設定される (ステップ S84)。
[0130] さらに、モード設定部 72によって、イメージセンサ 62aが短露光時間で露光するよう 電子シャツタ 62bが制御され、イメージセンサ 62aによって、被写体が短露光時間で 撮像される (ステップ S85)。
[0131] ここで、モード設定部 72は、高周波領域検出部 73のメモリに格納された高周波領 域情報を読み出し、短露光時間で撮像された撮像データのうち、高周波領域に該当 する撮像データが出力されるよう撮像部 62を制御する (ステップ S86)。
[0132] その結果、高周波領域に該当する撮像データは、イメージセンサ 62&から八0じ71 に出力され、 ADC71によって AD変換され、モード設定部 72を介し、画像縮小部 95 に出力され、所定の縮小率で縮小された短時間露光画像の高周波領域を表すよう 画像縮小部 95によって空間解像度変換が施され (ステップ S87)、空間解像度変換 が施された撮像データ力 手ぶれ軌跡算出部 75によって短露光用メモリ 74aに格納 される（ステップ S88)。
[0133] 引き続き、モード設定部 72によって、イメージセンサ 62aに蓄積された全ての画素 信号がリセットされる (ステップ S89)。
[0134] さらに、モード設定部 72によって、イメージセンサ 62aが適正露光時間で露光する よう電子シャツタ 62bが制御され、イメージセンサ 62aによって、被写体が適正露光時 間で撮像される (ステップ S 90)。
[0135] ここで、モード設定部 72は、既に取得済みの高周波領域情報に基づいて、適正露 光時間で撮像された撮像データのうち、高周波領域に該当する撮像データが出力さ れるよう撮像部 62を制御する (ステップ S91)。
[0136] その結果、高周波領域に該当する撮像データは、イメージセンサ 62&から八0じ71 に出力され、 ADC71によって AD変換され、モード設定部 72を介し、画像縮小部 95 に出力され、所定の縮小率で縮小された適正時間露光画像の高周波領域を表すよ う画像縮小部 95によって空間解像度変換が施され (ステップ S92)、空間解像度変 換が施された撮像データが、手ぶれ軌跡算出部 75によって適正露光用メモリ 74bに 格納される（ステップ S93)。 [0137] さらに、手ぶれ軌跡算出部 75によって、短露光用メモリ 74aに格納された短露光時 間での撮像データと、適正露光用メモリ 74bに格納された適正露光時間での撮像デ ータとに基づ 、て手ぶれ軌跡が算出される (ステップ S94)。
[0138] ここで、手ぶれ補正軌跡が縮小画像補正部 96によって手ぶれ軌跡の逆行列から 算出され (ステップ S95)、算出された手ぶれ補正軌跡と、適正露光用メモリ 74bに格 納された縮小適正露光画像のデータとを畳み込む演算処理によって、縮小適正露 光画像の手ぶれが縮小画像補正部 96によって補正される (ステップ S96)。
[0139] そして、縮小画像補正部 96によって手ぶれが補正された縮小適正露光画像と、適 正露光用メモリ 74bに格納された撮像データが表す縮小適正露光画像との差分から 得られる差分画像が差分画像算出部 97によって算出される (ステップ S97)。
[0140] 引き続き、モード設定部 72によって、適正露光時間で撮像された全画素のデータ を出力するよう撮像部 62が制御され、 ADC71およびモード設定部 72を介し、全画 素のデータが差分画像拡大加算部 98に出力される。
[0141] 次に、差分画像算出部 97によって算出された差分画像が差分画像拡大加算部 98 によって拡大され、差分画像拡大加算部 98に入力されたデータが表す全画素にカロ 算されることにより、被写体像の撮像データに手ぶれ補正処理が施される (ステップ S 98)。
[0142] 次いで、手ぶれ補正処理が施された撮像データが信号処理部 77に出力され、信 号処理部 77によって所定のフォーマットの画像データに変換されて記録装置 64およ び表示装置 65に出力される。
[0143] そして、記録装置 64によって、手ぶれ補正処理が行われた撮像データが格納され 、表示装置 65によって、手ぶれ補正処理が行われた被写体像が表示される (ステツ プ S99)。なお、引き続き撮像を行う場合は、撮像装置 4の動作は、ステップ S81に戻 る。
[0144] 以上のように、本実施の形態に係る撮像装置 4は、それぞれ縮小された短時間露 光画像と適正露光画像とを表す撮像データに基づいて、手ぶれ補正軌跡を算出す るため、手ぶれ補正軌跡を算出するのにかかる計算量を削減することができ、演算 回路規模が小さくなることで、低消費電力化、小型化および低コストィ匕を図ることがで きる。
[0145] (第 5の実施の形態）
まず、本発明の第 5の実施の形態に係る撮像装置の構成について説明する。なお 、本実施の形態においては、本発明の第 3の実施形態の撮像装置 3の各構成要素と 同一な構成要素については、同一の符号を付して説明を省略する。
[0146] 図 14に示すように、本実施の形態に係る撮像装置 5は、本発明の第 3の実施形態 の撮像装置 3に対して、画像処理装置 70の代わりに画像処理装置 110を備えて 、る
[0147] 画像処理装置 110は、イメージセンサ 62aが出力するアナログ信号をデジタル信号 に変換する ADC71と、シャツタボタン 63の状態に基づいてモードが設定されるモー ド設定部 72と、高周波領域を検出する高周波領域検出部 73と、撮像データを格納 するメモリ部 74と、手ぶれ軌跡を算出する手ぶれ軌跡算出部 75と、手ぶれ軌跡を細 線化する手ぶれ軌跡細線化部 115と、手ぶれの補正処理を行う手ぶれ補正部 76、 所定の信号処理を行う信号処理部 77とを備えて ヽる。
[0148] 手ぶれ軌跡細線化部 115は、算出した手ぶれ軌跡の各画素（以下、「着目画素」と いう。）に対して右、左、上および下（以下、「隣接画素」という。）の何れかの画素が手 ぶれ軌跡上にない場合、例えば、隣接画素の画素値力^である場合には、算出した 手ぶれ軌跡を細線化するようになって!/ヽる。
[0149] ここで、手ぶれ軌跡細線ィ匕部 115は、各隣接画素に対して着目画素の対称側（以 下、「隣接対称側」という。）にある画素の画素値の加重平均値をそれぞれ算出し、算 出した何れかの加重平均値の着目画素の画素値に対する比率が所定の閾値以上 である場合は、この着目画素を手ぶれ軌跡から除外する、例えば、画素値を 0にする ようになっている。
[0150] 例えば、図 15 (a)に示すように、手ぶれ軌跡細線ィ匕部 115は、算出した手ぶれ軌 跡の領域 120を含む画像 121に対して、画像 121の各画素を着目画素 122として、 図 15 (b)に示すように、着目画素の右隣にある隣接画素の画素値 cが 0でない場合 には、隣接対称側である左方にある画素値がそれぞれ al、 a2、 a3の 3つの画素の加 重平均値 a = (al + 2 X a2 + a3) Z4を算出するようになって!/、る。 [0151] ここで、手ぶれ軌跡細線ィ匕部 115は、着目画素の画素値 bに対する加重平均値 a の比率 R=aZbを算出し、算出した比率 Rが所定の閾値以上である場合は、この着 目画素を手ぶれ軌跡から除外するようになって！/ヽる。
[0152] 同様に、手ぶれ軌跡細線ィ匕部 115は、図 15 (b)ないし (d)に示すように、隣接画素 の画素値 cが 0でない場合には、隣接対称側である右方、下方、上方の各加重平均 値 aの着目画素の画素値 bに対する比率 Rを算出し、算出した比率 Rが所定の閾値 以上である場合は、この着目画素を手ぶれ軌跡から除外するようになっている。した がって、図 15 (a)に示すように、手ぶれ軌跡の領域 120は、手ぶれ軌跡の領域 123 のように細線化される。
[0153] また、図 14において、手ぶれ軌跡細線ィ匕部 115は、変換した撮像データをそれぞ れ短露光用メモリ 74aおよび適正露光用メモリ 74bに格納し、両者の撮像データを比 較して手ぶれ軌跡を算出するようになっている。なお、手ぶれ軌跡細線ィ匕部 115は、 本発明の手ぶれ補正軌跡算出部を構成している。
[0154] 次に、本実施の形態に係る撮像装置 5の動作について図 16および図 17を用いて 説明する。
[0155] まず、モード設定部 72は、モニタモードに設定される (ステップ S101)。モード設定 部 72がモニタモードに設定されることにより、撮像部 62からの撮像データは、 ADC7
1によって AD変換され、モード設定部 72を介し、高周波領域検出部 73および信号 処理部 77に入力される。
[0156] 高周波領域検出部 73に入力された撮像データに対しては、高周波領域を検出す る処理が実行され (ステップ S102)、検出された高周波領域の範囲を示す高周波領 域情報が高周波領域検出部 73によってメモリに格納される。
[0157] 一方、信号処理部 77に入力された撮像データに対しては、例えば所定のフォーマ ットの画像データに変換される画像処理が実行され、表示装置 65に動画像として表 示される。
[0158] 続いて、モード設定部 72によって、シャツタボタン 63が押下された力否かが判断さ れる (ステップ S103)。ここで、シャツタボタン 63が押下されたと判断されな力つた場 合は、撮像装置 5の動作は、ステップ S 102〖こ戻る。 [0159] ステップ S 103において、シャツタボタン 63が押下されたと判断された場合は、モー ド設定部 72は、撮像モードに設定される (ステップ S104)。
[0160] さらに、モード設定部 72によって、イメージセンサ 62aが短露光時間で露光するよう 電子シャツタ 62bが制御され、イメージセンサ 62aによって、被写体が短露光時間で 撮像される (ステップ S 105)。
[0161] ここで、モード設定部 72は、高周波領域検出部 73のメモリに格納された高周波領 域情報を読み出し、短露光時間で撮像された撮像データのうち、高周波領域に該当 する撮像データが出力されるよう撮像部 62を制御する。その結果、高周波領域に該 当する撮像データは、イメージセンサ 62aから ADC71に出力され、 ADC71によって AD変換され、モード設定部 72を介し、手ぶれ軌跡算出部 75に出力され、手ぶれ軌 跡算出部 75によって短露光用メモリ 74aに格納される (ステップ S 106)。
[0162] 引き続き、モード設定部 72によって、イメージセンサ 62aに蓄積された全ての画素 信号がリセットされる (ステップ S 107)。
[0163] さらに、モード設定部 72によって、イメージセンサ 62aが適正露光時間で露光する よう電子シャツタ 62bが制御され、イメージセンサ 62aによって、被写体が適正露光時 間で撮像される (ステップ S 108)。
[0164] ここで、モード設定部 72は、既に取得済みの高周波領域情報に基づいて、適正露 光時間で撮像された撮像データのうち、高周波領域に該当する撮像データが出力さ れるよう撮像部 62を制御する。その結果、高周波領域に該当する撮像データは、ィメ ージセンサ 62aから ADC71に出力され、 ADC71によって AD変換され、モード設定 部 72を介し、手ぶれ軌跡算出部 75に出力され、手ぶれ軌跡算出部 75によって適正 露光用メモリ 74bに格納される (ステップ S 109)。
[0165] さらに、手ぶれ軌跡算出部 75によって、短露光用メモリ 74aに格納された短露光時 間での撮像データと、適正露光用メモリ 74bに格納された適正露光時間での撮像デ ータとに基づいて手ぶれ軌跡が算出され (ステップ S110)、算出された手ぶれ軌跡 が手ぶれ軌跡細線ィ匕部 115によって後述するように細線化される（S 111)。
[0166] 引き続き、モード設定部 72によって、適正露光時間で撮像された全画素のデータ を出力するよう撮像部 62が制御され、 ADC71およびモード設定部 72を介し、全画 素のデータが手ぶれ補正部 76に出力される。手ぶれ補正部 76においては、全画素 のデータを読み出しながら、手ぶれ軌跡細線化部 115によって細線化された手ぶれ 軌跡に基づき、例えば手ぶれ軌跡に相当する画素分だけ画素データを移動する処 理により手ぶれ補正処理が行われ (ステップ S112)、手ぶれにより生じた被写体像の ぼけが補正される。ここで、高周波領域における画像の手ぶれ補正処理は、適正露 光用メモリ 74bに格納された撮像データに対して実行される。
[0167] なお、手ぶれ補正処理において、例えばイメージセンサ 62a内で生じる暗電流の影 響により、高周波領域の画像とその他の領域の画像とでレベル差が生じている場合 は、両者の撮像データを加算、またはレベル差に応じた補正値を乗算することにより 、両者のレベル差を低減することができる。
[0168] 次いで、手ぶれ補正処理が行われた撮像データが信号処理部 77に出力され、信 号処理部 77によって所定のフォーマットの画像データに変換されて記録装置 64およ び表示装置 65に出力される。
[0169] そして、記録装置 64によって、手ぶれ補正処理が行われた撮像データが格納され 、表示装置 65によって、手ぶれ補正処理が行われた被写体像が表示される (ステツ プ S113)。なお、引き続き撮像を行う場合は、撮像装置 5の動作は、ステップ S101 に戻る。
[0170] ここで、撮像装置 5の動作のステップ S111を図 17を用いて詳細に説明する。ステツ プ S 111では、手ぶれ軌跡細線化部 115によって算出された手ぶれ軌跡の領域を含 む画像の各画素を着目画素とし、各着目画素 (ステップ S120〜S 129)の各隣接画 素 (ステップ S 121〜S 128)に対して以下の処理が実行される。
[0171] まず、着目画素が手ぶれ軌跡上にある力否力 例えば、着目画素の画素値 bが 0で ある力否かが手ぶれ軌跡細線ィ匕部 115によって判断される（ステップ S 122)。ここで 、着目画素の画素値 bが 0であると判断された場合には、次の隣接画素に対する処 理が実行される。なお、この場合には、ステップ S122における判断の結果が他の隣 接画素に対しても同じになるため、次の着目画素に対する処理が実行されることにな る。
[0172] 一方、着目画素の画素値 bが 0でないと判断された場合には、隣接画素が手ぶれ 軌跡上にあるか否か、例えば、隣接画素の画素値 cが 0であるカゝ否かが手ぶれ軌跡 細線ィ匕部 115によって判断される (ステップ S123)。ここで、隣接画素の画素値 cが 0 でないと判断された場合には、次の隣接画素に対する処理が実行される。
[0173] 一方、隣接画素の画素値 cが 0であると判断された場合には、隣接対称側にある画 素の画素値の加重平均値 aが手ぶれ軌跡細線ィ匕部 115によって算出され (ステップ S124)、算出された加重平均値 aの着目画素の画素値 bに対する比率 Rが手ぶれ軌 跡細線化部 115によって算出される (ステップ S 125)。
[0174] ここで、算出された比率 Rが所定の閾値 TH以上である力否かが手ぶれ軌跡細線 化部 115によって判断され (ステップ S 126)、比率 Rが閾値 TH以上でないと判断さ れた場合には、次の隣接画素に対する処理が実行される。
[0175] 一方、比率 Rが閾値 TH以上であると判断された場合には、着目画素が手ぶれ軌 跡から除外、すなわち、着目画素の画素値 bが手ぶれ軌跡細線ィ匕部 115によって 0 に設定される (ステップ S 127)。
[0176] なお、次いで、次の隣接画素に対する処理が実行される力 ステップ S127で着目 画素の画素値 bが 0に設定された場合には、他の隣接画素に対するステップ S122に おける判断により、次の着目画素に対する処理が実行されることになる。
[0177] 以上のように、本実施の形態に係る撮像装置 5は、細線化した手ぶれ軌跡に基づ Vヽて適正露光画像を補正した補正画像を生成するため、短時間露光画像および適 正露光画像に含まれるノイズの影響ならびにフーリエ変換時の誤差の影響によって 補正画像に生じる擬似輪郭やぼけを抑制することができる。
[0178] (第 6の実施の形態）
まず、本発明の第 6の実施の形態に係る撮像装置の構成について説明する。
[0179] 図 18に示すように、本実施の形態に係る撮像装置 6は、本発明の第 3の実施の形 態に係る撮像装置 3の画像処理装置 70に代わる画像処理装置 130を備えている。し たがって、画像処理装置 130以外の構成要素については、本発明の第 3の実施の 形態に係る撮像装置 3のものと同一の符号を付して詳細な説明を省略する。
[0180] 図 18において、本実施の形態に係る画像処理装置 130は、イメージセンサ 62aが 出力するアナログ信号をデジタル信号に変換する ADC 131と、シャツタボタン 63の 状態に基づいてモードが設定されるモード設定部 132と、高周波領域を検出する高 周波領域検出部 133と、撮像データを格納するメモリ部 134と、動きベクトルを検出 する動きベクトル検出部 135と、手ぶれ軌跡を算出する手ぶれ軌跡算出部 136と、 手ぶれの補正処理を行う手ぶれ補正部 137と、所定の信号処理を行う信号処理部 1 38とを備えている。なお、画像処理装置 130は、例えばデジタル信号プロセッサで構 成される。
[0181] ここで、 ADC131、高周波領域検出部 133および信号処理部 138は、それぞれ、 第 3の実施の形態に係る ADC71、高周波領域検出部 73および信号処理部 77と同 様な構成なので詳細な説明を省略する。
[0182] モード設定部 132は、利用者がシャツタボタン 63を押下した際にシャツタボタン 63 力も出力される信号を受信したとき、モニタモードおよび撮像モードのいずれかに設 定されるようになつている。ここで、モニタモードは、利用者がシャツタボタン 63を押下 して！/、な 、状態にぉ 、て、撮像部 62が撮像した被写体像を動画像として表示装置 6 5に表示する処理である。一方、撮像モードは、利用者がシャツタボタン 63を押下し た際に被写体を撮像し、被写体の静止画像を取得する処理である。
[0183] また、モード設定部 132は、撮像モードにおいて、イメージセンサ 62aを短露光時 間で複数回露光させるよう電子シャツタ 62bを制御するようになっている。一方、モー ド設定部 132は、モニタモードにおいて、イメージセンサ 62aが適正露光時間で撮像 するよう電子シャツタ 62bを制御し、動画像を表示装置 65に表示させるようになって いる。
[0184] また、モード設定部 132は、高周波領域検出部 133が出力する高周波領域情報に 基づいた領域の画素の信号をイメージセンサ 62aから読み出して ADC131に出力 するよう撮像部 62を制御するようになっている。なお、モード設定部 132は、本発明 の短時間露光画像取得部を構成して 、る。
[0185] メモリ部 134は、短露光時間で複数回露光されて撮像された画像のうち、高周波領 域に該当する撮像データを順次格納する第 1メモリ 134aおよび第 2メモリ 134bと、第 1メモリ 134aに格納された撮像データと第 2メモリ 134bに格納された撮像データとを 加算して蓄積する蓄積用メモリ 134cを備えて 、る。 [0186] 具体的には、イメージセンサ 62aによって、例えば、短露光時間による 3回の撮像が 行われた場合、第 1メモリ 134aおよび第 2メモリ 134bは、それぞれ、第 1回目および 第 2回目の撮像データを格納し、蓄積用メモリ 134cは、第 1回目の撮像データと第 2 回目の撮像データとを加算して蓄積する。次に、第 1メモリ 134aは、第 3回目の撮像 データを格納し、蓄積用メモリ 134cは、第 2回目の撮像データと第 3回目の撮像デー タとを加算して蓄積する。
[0187] 動きベクトル検出部 135は、第 1メモリ 134aに格納された撮像データと第 2メモリ 13 4bに格納された撮像データとを比較して動きベクトルを検出し、検出した動きべタト ルから、動きベクトルの方向および大きさを含む動きベクトル値を取得するようになつ ている。動きベクトル値は、第 1メモリ 134aまたは第 2メモリ 134bに格納される撮像デ ータが更新される毎に取得され、動きベクトル検出部 135のメモリ（図示省略）に順次 加算されて格納されるようになって 、る。
[0188] 手ぶれ軌跡算出部 136は、動きベクトル検出部 135が取得した動きベクトル値に基 づいて手ぶれ軌跡を算出するようになっている。なお、手ぶれ軌跡算出部 136は、本 発明の手ぶれ補正軌跡算出部を構成している。
[0189] 手ぶれ補正部 137は、手ぶれ軌跡算出部 136によって算出された手ぶれ軌跡に 基づき、撮像部 62が撮像した被写体像を手ぶれ補正するようになっている。なお、手 ぶれ補正部 137は、本発明の手ぶれ補正軌跡算出部および手ぶれ補正画像生成 部を構成している。
[0190] 次に、本実施の形態に係る撮像装置 6の動作について図 19を用いて説明する。な お、図 19に示すように、本実施の形態に係る撮像装置 6のステップのうち、ステップ S 131〜134は、第 3の実施の形態に係る撮像装置 3の動作におけるステップ S61〜6 4 (図 10参照）と同様であるので説明を省略する。
[0191] ステップ S134においてモード設定部 132が撮像モードに設定された後、手ぶれ軌 跡算出処理が実行される (ステップ S 135)。この手ぶれ軌跡算出処理について図 20 を用いて説明する。なお、動作を分力り易く説明するため、ここでは短露光時間によ る撮像を 3回行う場合を例に挙げて説明するが、本発明はこれに限定されるものでは なぐ短露光時間による撮像を複数回行うものであればよい。 [0192] まず、モード設定部 132によって、イメージセンサ 62aを短露光時間で露光させるよ う電子シャツタ 62bが制御され、短露光時間による第 1回目の撮像が実行される (ステ ップ S 141)。
[0193] 次いで、モード設定部 132によって、高周波領域検出部 133のメモリに格納された 高周波領域情報が読み出され、短露光時間で撮像された第 1回目の撮像データのう ち、高周波領域に該当する撮像データを出力するよう撮像部 62が制御される。その 結果、撮像された第 1回目の撮像データは、イメージセンサ 62aから ADC131に出 力され、 ADC131によって AD変換され、モード設定部 132を介し、手ぶれ軌跡算出 部 136に出力され、手ぶれ軌跡算出部 136によって第 1メモリ 134aに格納される (ス テツプ S 142)。
[0194] 続いて、ステップ S141と同様に、短露光時間による第 2回目の撮像が実行される ( ステップ S 143)。
[0195] さらに、ステップ S142と同様に、短露光時間で撮像された第 2回目の撮像データの うち、高周波領域に該当する撮像データが、手ぶれ軌跡算出部 136によって第 2メモ リ 134bに格納される（ステップ S 144)。
[0196] 引き続き、動きベクトル検出部 135によって、第 1メモリ 134aに格納された第 1回目 の撮像データと、第 2メモリ 134bに格納された第 2回目の撮像データとが比較され、 動きベクトルが検出され、動きベクトル値が取得される（ステップ S145)。この動きべク トル値のデータは、動きベクトル検出部 135のメモリに格納される。
[0197] 次いで、手ぶれ軌跡算出部 136によって、第 1メモリ 134aに格納された第 1回目の 撮像データと、第 2メモリ 134bに格納された第 2回目の撮像データとが加算され、加 算された撮像データが蓄積用メモリ 134cに格納される (ステップ S 146)。
[0198] 続いて、ステップ S141と同様に、短露光時間による第 3回目の撮像が実行される ( ステップ S 147)。
[0199] さらに、ステップ S142と同様に、短露光時間で撮像された第 3回目の撮像データの うち、高周波領域に該当する撮像データが、手ぶれ軌跡算出部 136によって第 1メモ リ 134aに格納される（ステップ S 148)。
[0200] 引き続き、ステップ S145と同様に、動きベクトル検出部 135によって、第 1メモリ 13 4aに格納された第 3回目の撮像データと、第 2メモリ 134bに格納された第 2回目の撮 像データとが比較され、動きベクトルが検出され、動きベクトル値が取得される (ステツ プ S149)。
[0201] 次いで、動きベクトル検出部 135によって、ステップ S 145において取得された動き ベクトル値のデータと、ステップ S 149において取得された動きベクトル値のデータと が加算され (ステップ S150)、動きベクトル検出部 135のメモリに格納される。加算後 の動きベクトル値のデータは、動きベクトル検出部 135によって、手ぶれ軌跡のデー タとして手ぶれ軌跡算出部 136に出力される。
[0202] そして、ステップ S146と同様に、手ぶれ軌跡算出部 136によって、第 1メモリ 134a に格納された第 3回目の撮像データと、第 2メモリ 134bに格納された第 2回目の撮像 データとが加算され、加算された撮像データが蓄積用メモリ 134cに格納される (ステ ップ S 151)。この結果、蓄積用メモリ 134cには、短露光時間で撮像された高周波領 域に該当する 3回分の撮像データが蓄積されたこととなる。以上で手ぶれ軌跡算出 処理が終了し、撮像装置 6の動作は、図 19のステップ S 136に進む。
[0203] 引き続き、モード設定部 132によって、撮像された全画素のデータを出力するよう 撮像部 62が制御され、 ADC131およびモード設定部 132を介し、全画素のデータ が手ぶれ軌跡算出部 136に出力される。手ぶれ補正部 137においては、図 11 (b) に示すように、全画素のデータを読み出しながら、手ぶれ軌跡算出部 136が取得し た手ぶれ軌跡に基づき、例えば手ぶれ軌跡に相当する画素分だけ画素データを移 動する処理により手ぶれ補正処理が行われ (ステップ S136)、手ぶれにより生じた被 写体像のぼけが補正される。ここで、高周波領域における画像の手ぶれ補正処理は 、蓄積用メモリ 134cに格納された撮像データに対して実行される。
[0204] なお、短露光時間で撮像した撮像データから高周波領域に該当する撮像データを イメージセンサ 62aから読み出す際には、高周波領域に該当する画素領域において 被写体の光信号の蓄積が行われな 、ので、高周波領域の画像とその他の領域の画 像とでレベル差が生じることがある。その場合は、例えば、レベル差に応じた補正値 を高周波領域に該当する撮像データに乗算することにより、両者のレベル差を低減 することができる。 [0205] 次いで、手ぶれ補正処理が行われた撮像データが信号処理部 138に出力され、信 号処理部 138によって所定のフォーマットの画像データに変換されて記録装置 64お よび表示装置 65に出力される。
[0206] そして、記録装置 64によって、手ぶれ補正処理が行われた撮像データが記録され 、表示装置 65によって、手ぶれ補正処理が行われた被写体像が表示される (ステツ プ S137)。なお、引き続き撮像を行う場合は、撮像装置 6の動作は、ステップ S131 に戻る。
[0207] 以上のように、本実施の形態に係る撮像装置 6によれば、手ぶれ補正部 137は、複 数の短時間露光画像間における手ぶれ軌跡に基づ!/ヽて被写体像の手ぶれを補正 する構成としたので、従来のもののように、手ぶれ軌跡を検出するための専用装置を 必要とせず、従来のものよりも小型化および低コストィ匕を図ることができる。
[0208] また、本実施の形態に係る撮像装置 6によれば、高周波領域検出部 133が検出し た高周波領域における短時間露光画像のデータをメモリ部 134に格納する構成とし たので、例えば 1フレーム分の撮像データを格納するものよりもメモリ容量を大幅に低 減でき、メモリを小型化することができる。その結果、撮像装置 6は、従来のものよりも 小型化、軽量ィ匕および低コストィ匕を図ることができる。
[0209] 以上に説明した本発明の第 1ないし第 6の実施の形態において、各実施の形態の 機能を組み合わせて本発明の撮像装置を構成してもよい。なお、各実施の形態の機 能を組み合わせた態様については、本発明の第 1ないし第 6の実施の形態に基づい て容易に想到できるため、説明を省略する。
産業上の利用可能性
[0210] 以上のように、本発明に係る撮像装置は、従来のものよりも小型化および低コストィ匕 を図ることができるという効果を有し、固体撮像素子を用いて被写体を撮像する際に 手ぶれにより生じる被写体像のぼけを補正する撮像装置等として有用である。

Claims

請求の範囲
[1] 受光面に結像した画像を撮像する撮像素子と、
前記撮像素子により異なる露光時間で撮像された少なくとも 2枚の画像に基づいて 画像の手ぶれを補正する手ぶれ補正部と、
手ぶれ補正後の画像である手ぶれ補正画像を出力する出力部とを備えた撮像装 置。
[2] 前記手ぶれ補正部は、
前記撮像素子を適正露光時間露光して適正露光画像を取得する適正露光画像取 得部と、
前記撮像素子を前記適正露光時間より短い時間露光して短時間露光画像を取得 する短時間露光画像取得部と、
前記適正露光画像および前記短時間露光画像に基づ 、て、前記適正露光画像に 対する手ぶれ補正軌跡を算出する手ぶれ補正軌跡算出部と、
前記適正露光画像と前記手ぶれ補正軌跡とに基づ ヽて、手ぶれ補正画像を生成 する手ぶれ補正画像生成部とを有することを特徴とする請求項 1に記載の撮像装置
[3] 前記撮像素子は、複数の画素力 なる画素領域を含み、
前記適正露光画像取得部および前記短時間露光画像取得部は、前記画素領域 の一部をなす特定領域から前記適正露光画像および前記短時間露光画像をそれぞ れ取得することを特徴とする請求項 2に記載の撮像装置。
[4] 前記適正露光画像取得部および前記短時間露光画像取得部は、前記特定領域 のデータだけを前記撮像素子から読み出すことによって、前記適正露光画像および 前記短時間露光画像をそれぞれ取得することを特徴とする請求項 3に記載の撮像装 置。
[5] 前記画素領域のうち所定の空間周波数以上の高周波領域を前記特定領域として 検出する高周波領域検出部を備えたことを特徴とする請求項 3に記載の撮像装置。
[6] 前記短時間露光画像が取得されて力 所定の短時間後に前記画素領域の全ての 画素をリセットする画素リセット部を備えたことを特徴とする請求項 2に記載の撮像装 置。
[7] 前記手ぶれ補正軌跡算出部は、
前記適正露光画像および前記短時間露光画像をフーリエ変換し、前記フーリエ変 換後の短時間露光画像を前記フーリエ変換後の適正露光画像で除することによって 、周波数領域における前記手ぶれ補正軌跡を算出することを特徴とする請求項 2に 記載の撮像装置。
[8] 前記手ぶれ補正軌跡算出部は、
前記適正露光画像および前記短時間露光画像をフーリエ変換し、前記フーリエ変 換後の適正露光画像を前記フーリエ変換後の短時間露光画像で除して手ぶれ軌跡 を算出し、算出した手ぶれ軌跡を細線ィ匕し、細線ィ匕した手ぶれ軌跡に基づいて、周 波数領域における前記手ぶれ補正軌跡を算出することを特徴とする請求項 2に記載 の撮像装置。
[9] 前記手ぶれ補正画像生成部は、前記周波数領域における手ぶれ補正軌跡を逆フ 一リエ変換して、前記逆フーリエ変換後の手ぶれ補正軌跡と前記適正露光画像取得 部によって取得された適正露光画像とを畳み込み積分することによって、前記手ぶ れ補正画像を生成することを特徴とする請求項 7に記載の撮像装置。
[10] 前記手ぶれ補正画像生成部は、前記手ぶれ補正軌跡算出部によってフーリエ変 換された適正露光画像と前記周波数領域における手ぶれ補正軌跡とを乗算し、乗 算した結果を逆フーリエ変換することによって、前記手ぶれ補正画像を生成すること を特徴とする請求項 7に記載の撮像装置。
[11] 前記手ぶれ補正軌跡算出部は、
前記適正露光画像および前記短時間露光画像に空間解像度変換を施して縮小す る画像縮小部と、
前記画像縮小部によってそれぞれ縮小された適正露光画像および短時間露光画 像に基づ!、て、該適正露光画像を手ぶれ補正する縮小画像補正部と、
前記画像縮小部によって縮小された適正露光画像と前記縮小画像補正部によつ て補正された適正露光画像との差分から得られる差分画像を算出する差分画像算 出部とを有し、 前記手ぶれ補正画像生成部は、
前記差分画像を拡大し、拡大した差分画像を前記適正露光画像取得部に取得さ れた適正露光画像に加算する差分画像拡大加算部を有することを特徴とする請求 項 2に記載の撮像装置。
[12] 前記手ぶれ補正部は、前記適正露光画像および前記短時間露光画像に含まれる 雑音を除去する雑音除去部を有し、
前記手ぶれ補正軌跡算出部は、雑音除去後の前記適正露光画像および前記短 時間露光画像に基づいて前記手ぶれ補正軌跡を算出することを特徴とする請求項 2 に記載の撮像装置。
[13] 前記雑音除去部は、遮断周波数が 5〜20ヘルツである高域遮断フィルタによって 構成されることを特徴とする請求項 12に記載の撮像装置。
[14] 前記手ぶれ補正部は、
前記撮像素子を所定の短い時間露光して複数の短時間露光画像を取得する短時 間露光画像取得部と、
前記複数の短時間露光画像に基づ!ヽて、何れかの短時間露光画像を対象とした 手ぶれ補正軌跡を算出する手ぶれ補正軌跡算出部と、
前記対象とした短時間露光画像と前記手ぶれ補正軌跡とに基づいて、手ぶれ補正 画像を生成する手ぶれ補正画像生成部とを有することを特徴とする請求項 1に記載 の撮像装置。
PCT/JP2007/057634 2006-04-11 2007-04-05 撮像装置 WO2007119680A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP07741070A EP2007133A2 (en) 2006-04-11 2007-04-05 Image pickup device
CN2007800011288A CN101356802B (zh) 2006-04-11 2007-04-05 摄像装置
JP2008510922A JPWO2007119680A1 (ja) 2006-04-11 2007-04-05 撮像装置
US12/091,363 US20090115860A1 (en) 2006-04-11 2007-04-05 Image pickup device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006-108949 2006-04-11
JP2006108949 2006-04-11
JP2006-108948 2006-04-11
JP2006108948 2006-04-11

Publications (1)

Publication Number Publication Date
WO2007119680A1 true WO2007119680A1 (ja) 2007-10-25

Family

ID=38609439

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/057634 WO2007119680A1 (ja) 2006-04-11 2007-04-05 撮像装置

Country Status (6)

Country Link
US (1) US20090115860A1 (ja)
EP (1) EP2007133A2 (ja)
JP (1) JPWO2007119680A1 (ja)
KR (1) KR20080108964A (ja)
CN (1) CN101356802B (ja)
WO (1) WO2007119680A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009089228A (ja) * 2007-10-02 2009-04-23 Sanyo Electric Co Ltd 撮像装置
JP2010062785A (ja) * 2008-09-03 2010-03-18 Sony Corp 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
CN101742123A (zh) * 2008-11-19 2010-06-16 三星电子株式会社 图像处理设备和方法
JP2010191587A (ja) * 2009-02-17 2010-09-02 Sobal Kk 画像処理装置、画像処理方法、記録媒体

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7952612B2 (en) * 2006-06-22 2011-05-31 Nokia Corporation Method and system for image construction using multiple exposures
KR100793284B1 (ko) * 2007-05-11 2008-01-10 주식회사 코아로직 디지털 영상의 손떨림 보정 장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체
US8063942B2 (en) * 2007-10-19 2011-11-22 Qualcomm Incorporated Motion assisted image sensor configuration
KR101614914B1 (ko) * 2009-07-23 2016-04-25 삼성전자주식회사 모션 적응적 고대비 영상 획득 장치 및 방법
KR101605129B1 (ko) * 2009-11-26 2016-03-21 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법 및 이를 기록한 기록 매체
JP5843454B2 (ja) * 2011-03-15 2016-01-13 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2012222529A (ja) * 2011-04-06 2012-11-12 Sony Corp 固体撮像素子および駆動方法、並びに電子機器
US9131172B2 (en) * 2012-11-30 2015-09-08 Hanwha Techwin Co., Ltd. Image processing apparatus and method for detecting motion using long exposures images and then performing infinite impulse response filtering on short exposure image
AU2012258467A1 (en) * 2012-12-03 2014-06-19 Canon Kabushiki Kaisha Bokeh amplification
KR102649220B1 (ko) * 2017-02-06 2024-03-20 삼성전자주식회사 이미지의 떨림을 보정하는 전자 장치 및 전자 장치의 제어 방법
CN107370941B (zh) * 2017-06-29 2020-06-23 联想(北京)有限公司 一种信息处理方法及电子设备
KR102650217B1 (ko) * 2017-12-07 2024-03-21 삼성전자주식회사 이미지를 제공하기 위한 방법 및 이를 지원하는 전자 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001346096A (ja) * 2000-05-31 2001-12-14 Matsushita Electric Ind Co Ltd ダイナミックレンジ拡大カメラ
JP2002258351A (ja) * 2001-03-01 2002-09-11 Nikon Corp 電子カメラおよび画像処理システム
JP2002305682A (ja) * 2001-04-05 2002-10-18 Nikon Corp 電子カメラおよび画像処理システム
JP2005184122A (ja) 2003-12-16 2005-07-07 Nikon Corp 手ぶれ補正機能付きカメラ

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0455444B1 (en) * 1990-04-29 1997-10-08 Canon Kabushiki Kaisha Movement detection device and focus detection apparatus using such device
US7176962B2 (en) * 2001-03-01 2007-02-13 Nikon Corporation Digital camera and digital processing system for correcting motion blur using spatial frequency
US7636486B2 (en) * 2004-11-10 2009-12-22 Fotonation Ireland Ltd. Method of determining PSF using multiple instances of a nominally similar scene
US8208017B2 (en) * 2003-12-26 2012-06-26 Panasonic Corporation Imaging device, product package, and semiconductor integrated circuit
US8654201B2 (en) * 2005-02-23 2014-02-18 Hewlett-Packard Development Company, L.P. Method for deblurring an image
EP1944732A3 (en) * 2007-01-12 2010-01-27 Sanyo Electric Co., Ltd. Apparatus and method for blur detection, and apparatus and method for blur correction
US7848541B2 (en) * 2007-03-05 2010-12-07 Science Applications International Corporation Differential phase correlation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001346096A (ja) * 2000-05-31 2001-12-14 Matsushita Electric Ind Co Ltd ダイナミックレンジ拡大カメラ
JP2002258351A (ja) * 2001-03-01 2002-09-11 Nikon Corp 電子カメラおよび画像処理システム
JP2002305682A (ja) * 2001-04-05 2002-10-18 Nikon Corp 電子カメラおよび画像処理システム
JP2005184122A (ja) 2003-12-16 2005-07-07 Nikon Corp 手ぶれ補正機能付きカメラ

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009089228A (ja) * 2007-10-02 2009-04-23 Sanyo Electric Co Ltd 撮像装置
JP2010062785A (ja) * 2008-09-03 2010-03-18 Sony Corp 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
US8749646B2 (en) 2008-09-03 2014-06-10 Sony Corporation Image processing apparatus, imaging apparatus, solid-state imaging device, image processing method and program
US9325918B2 (en) 2008-09-03 2016-04-26 Sony Corporation Image processing apparatus, imaging apparatus, solid-state imaging device, image processing method and program
CN101742123A (zh) * 2008-11-19 2010-06-16 三星电子株式会社 图像处理设备和方法
CN101742123B (zh) * 2008-11-19 2013-11-27 三星电子株式会社 图像处理设备和方法
JP2010191587A (ja) * 2009-02-17 2010-09-02 Sobal Kk 画像処理装置、画像処理方法、記録媒体

Also Published As

Publication number Publication date
US20090115860A1 (en) 2009-05-07
JPWO2007119680A1 (ja) 2009-08-27
CN101356802A (zh) 2009-01-28
KR20080108964A (ko) 2008-12-16
CN101356802B (zh) 2010-09-08
EP2007133A2 (en) 2008-12-24

Similar Documents

Publication Publication Date Title
WO2007119680A1 (ja) 撮像装置
JP5909540B2 (ja) 画像処理表示装置
JP5756099B2 (ja) 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム
JP5414405B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP5237978B2 (ja) 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
US20110033132A1 (en) Image correction apparatus and image correction method
JP2005252626A (ja) 撮像装置および画像処理方法
JP2010166558A (ja) 撮像装置
JP5184574B2 (ja) 撮像装置、画像処理装置、および画像処理方法
JP2022180569A (ja) ぶれ補正装置、撮像装置、監視システム、及びプログラム
JP2009088935A (ja) 画像記録装置、画像補正装置及び撮像装置
JP2008099260A (ja) 画像処理装置、電子カメラ、および画像処理プログラム
JP2023174740A (ja) 撮像装置
JP2009171341A (ja) ぶれ補正装置及び撮像装置
JP2012085205A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
US8125527B2 (en) Motion detection apparatus
JP4606976B2 (ja) 画像処理装置
JP2008172309A (ja) 電子式手振れ補正方法及びその装置並びに電子式手振れ補正プログラムと撮像装置
JP5012805B2 (ja) 画像処理装置、電子カメラおよび画像処理プログラム
JP2011078132A (ja) 撮像装置、撮像方法、画像処理装置、画像処理方法、プログラム及び記録媒体
JP4853746B2 (ja) 撮像装置、画像処理装置および方法、記録媒体、並びにプログラム
JP2021044653A (ja) 動きベクトル検出装置及び動きベクトル検出方法
JP2009089228A (ja) 撮像装置
JP2017027463A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200780001128.8

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2008510922

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07741070

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2007741070

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020087007634

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 12091363

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE