WO2012017662A1 - 画像復元装置および画像復元方法 - Google Patents

画像復元装置および画像復元方法 Download PDF

Info

Publication number
WO2012017662A1
WO2012017662A1 PCT/JP2011/004426 JP2011004426W WO2012017662A1 WO 2012017662 A1 WO2012017662 A1 WO 2012017662A1 JP 2011004426 W JP2011004426 W JP 2011004426W WO 2012017662 A1 WO2012017662 A1 WO 2012017662A1
Authority
WO
WIPO (PCT)
Prior art keywords
psf
image
frequency
images
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2011/004426
Other languages
English (en)
French (fr)
Inventor
育規 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to US13/499,733 priority Critical patent/US8600187B2/en
Priority to CN201180004125.6A priority patent/CN102687500B/zh
Publication of WO2012017662A1 publication Critical patent/WO2012017662A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H04N1/4092—Edge or detail enhancement
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present invention relates to an image restoration apparatus and an image restoration method that reduce blurring that occurs in an image obtained by combining a plurality of input images that are continuously shot.
  • noise may be added to the image depending on the characteristics of the readout circuit of the CCD (Charge-Coupled Device) sensor or CMOS (Complementary Metal Oxide Semiconductor) sensor and the characteristics of the transmission path.
  • CCD Charge-Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • image blur due to out of focus (out-of-focus) at the time of shooting or blur due to hand shake (camera shake) may occur.
  • an image photographed with a digital camera is deteriorated by adding blur caused by an artificial operation at the time of photographing to noise caused by characteristics unique to the imaging apparatus.
  • blurring due to camera movement during shooting (exposure) is referred to as “motion blur”, and blur due to out-of-focus (out-of-focus). Blur).
  • the exposure time is lengthened, a lot of light incident from the subject is accumulated and an image with less noise can be obtained. Therefore, the signal is not buried with noise.
  • the method of extending the exposure time has a problem that the image is blurred due to camera shake during the exposure time.
  • optical camera shake correction which is a method of shifting the lens
  • Another method is to obtain the direction and size of blur from the obtained image, and to restore the image by signal processing based on the obtained direction and size of blur (restoration method by signal processing).
  • Patent Documents 2 to 4 and Non-Patent Documents 1 to 7 For example, see Patent Documents 2 to 4 and Non-Patent Documents 1 to 7).
  • a function that represents the luminance of each pixel in the degraded image is obtained by convolution of a function that represents the luminance of each pixel in the ideal image and a point spread function (PSF) that represents image blurring.
  • PSF point spread function
  • deconvolution of the degraded image and the PSF may be performed.
  • the convolution operation corresponds to multiplication in the frequency domain. Therefore, a restored image can be obtained by dividing the degraded image by the PSF in the frequency domain.
  • Non-Patent Document 1 For PSF estimation, for example, a sparse coding method disclosed in Non-Patent Document 1 is known. In this method, a first restoration result is first obtained from an initial PSF and a deteriorated image given manually. Subsequently, a PSF that is considered to be closer to the true PSF is estimated using the first restoration result and the deteriorated image, and the initial PSF is corrected with the estimated PSF. A second restoration result is obtained from the degraded image using the corrected PSF. Thereafter, by repeating the operation of obtaining the Nth restored image from the (N ⁇ 1) th PSF and the degraded image and estimating the Nth PSF from the Nth restored image and the degraded image, the PSF is repeated. Estimation and degraded image restoration at the same time.
  • FIG. 1A is a diagram showing an image (ideal image in the vicinity of an edge) in which the luminance changes stepwise.
  • FIG. 1B is a graph schematically showing the luminance distribution of the ideal image.
  • FIG. 2A is a diagram illustrating a deteriorated image (blurred image) in the vicinity of an edge obtained by photographing the image of FIG. 1A with a camera.
  • FIG. 2B is a graph schematically showing the luminance distribution of the deteriorated image.
  • FIG. 3A is a diagram showing a restored image obtained by restoring the deteriorated image of FIG. 2A by signal processing.
  • FIG. 3B is a graph schematically showing the luminance distribution of the restored image.
  • the restored image of FIG. 3A there is a portion where the luminance changes periodically.
  • Such a luminance change is noise called “ringing”. Ringing occurs due to the presence of a frequency (hereinafter referred to as “zero point”) in which the amplitude value of the PSF is 0 or close to 0 in the frequency domain.
  • Patent Documents 3 and 4 and Non-Patent Documents 6 and 7. According to these techniques, the amplitude value of the PSF is 0 in the frequency domain by blocking light according to a predetermined time pattern (encoding pattern) instead of keeping the shutter open during the exposure state. Frequency can be reduced. Therefore, ringing noise can be prevented from occurring.
  • the methods disclosed in Patent Documents 3 and 4 and Non-Patent Documents 6 and 7 are called “Coded Exposure Photography”.
  • Non-Patent Document 6 the occurrence of ringing in the restored image can be suppressed by performing exposure encoding.
  • the encoding pattern is expressed as a binary binary pattern, and a binary pattern optimum for image restoration is searched from among a plurality of binary patterns.
  • a binary pattern optimum for image restoration is searched from among a plurality of binary patterns.
  • Non-Patent Document 7 in order to determine an optimal coding pattern for image restoration, restoration is performed while changing the coding pattern, the noise amount of the restored image is measured, and the optimum pattern is restored. It is determined whether or not restoration is possible.
  • Non-Patent Document 7 searches for an optimum pattern within a range of some patterns instead of all patterns. Therefore, there is a problem that it is not always possible to search for an optimum one in terms of performance.
  • the present invention solves the above-described conventional problems, and provides an image restoration apparatus and an image restoration method capable of stably suppressing the occurrence of ringing while suppressing an increase in processing load. With the goal.
  • an image restoration apparatus is an image restoration apparatus that reduces blurring that occurs in an image obtained by combining a plurality of continuously captured input images.
  • a PSF acquisition unit that acquires a first PSF (Point Spread Function) indicating a blur occurring over a plurality of input images
  • a PSF conversion unit that generates a second PSF
  • an image conversion unit that generates a plurality of converted images by converting each of the plurality of input images using a portion corresponding to each input image of the second PSF
  • By performing a restoration process using the second PSF on the degraded image obtained by combining the plurality of converted images a restored image is obtained.
  • an image restoring unit which generates.
  • a second PSF having an amplitude value of each frequency equal to or greater than a threshold value in the frequency domain is generated.
  • each input image is converted using each part of the second PSF.
  • An image obtained by synthesizing a plurality of input images converted in this way is a degraded image (hereinafter referred to as “encoded degraded image”) obtained when the PSF is encoded so that no zero point is generated. Equivalent to. That is, according to this configuration, it is possible to generate a deteriorated image that is encoded so that no zero point is generated in the PSF, while adapting to blurring that occurs over a plurality of input images.
  • the PSF conversion unit identifies a frequency in which an amplitude value of the first PSF is less than the threshold value in a frequency domain, and changes the amplitude value to a predetermined value equal to or greater than the threshold value in the identified frequency. It is preferable to process 1PSF.
  • the second PSF is generated by changing the amplitude value at a frequency at which the amplitude value of the first PSF is less than the threshold value. Therefore, it is possible to generate an encoded deteriorated image adapted to blurring occurring over a plurality of input images. That is, a restored image with less blur can be generated.
  • the predetermined value used when changing the amplitude value of the first frequency is larger than the predetermined value used when changing the amplitude value of the second frequency, which is a higher frequency than the first frequency. Is preferred.
  • the amplitude value of the low frequency can be made larger than the amplitude value of the high frequency at the frequency where the amplitude value is changed, ringing noise that is noise generated in the low frequency region is efficiently reduced. It becomes possible to make it.
  • the predetermined value is a value determined so as to decrease as the noise generated in the input image increases.
  • the threshold value used when specifying the first frequency is larger than the threshold value used when specifying the second frequency that is higher than the first frequency.
  • the threshold value is a value determined so as to decrease as the noise generated in the input image increases.
  • the image conversion unit is a portion of the second PSF that corresponds to each input image in time based on the time when the blur indicated by the second PSF is detected and the time when each input image is captured. It is preferable that each of the plurality of input images is converted using the determined portion.
  • This configuration makes it possible to more appropriately determine the portion of the second PSF corresponding to each input image.
  • the PSF conversion unit identifies a frequency in which an amplitude value of the first PSF is less than the threshold in a frequency domain, generates an offset PSF in which the amplitude value of the identified frequency is equal to or greater than the threshold, and the offset PSF It is preferable that the second PSF is generated by adding the first PSF to the first PSF.
  • the second PSF can be generated by adding the offset PSF.
  • the present invention can be realized not only as an image restoration apparatus including such a characteristic processing unit, but also as an image restoration method using the characteristic processing unit included in the image restoration apparatus as a step. . It can also be realized as a computer program that causes a computer to execute the characteristic steps included in the image restoration method. Needless to say, such a computer program can be distributed via a computer-readable recording medium such as a CD-ROM (Compact Disc Only Memory) or a communication network such as the Internet.
  • a computer-readable recording medium such as a CD-ROM (Compact Disc Only Memory) or a communication network such as the Internet.
  • the present invention can also be realized as an integrated circuit having a characteristic processing unit included in the image restoration apparatus.
  • a deteriorated image encoded so that a zero point does not occur in the PSF is applied to a blur generated over a plurality of input images by using a plurality of input images continuously captured. Can be generated. Therefore, it is possible to stably suppress the occurrence of ringing while suppressing an increase in processing load.
  • FIG. 1A is a diagram illustrating an ideal image near an edge.
  • FIG. 1B is a graph schematically showing the luminance distribution of the ideal image.
  • FIG. 2A is a diagram showing a deteriorated image near the edge.
  • FIG. 2B is a graph schematically showing the luminance distribution of the deteriorated image.
  • FIG. 3A is a diagram illustrating a restored image obtained by restoring a deteriorated image by signal processing.
  • FIG. 3B is a graph schematically showing the luminance distribution of the restored image.
  • FIG. 4 is an explanatory diagram of exposure encoding.
  • FIG. 5 is a schematic diagram of the PSF in the spatial domain.
  • FIG. 6 is a schematic diagram of the PSF converted into the frequency domain.
  • FIG. 5 is a schematic diagram of the PSF in the spatial domain.
  • FIG. 7 is a block diagram illustrating a functional configuration of the imaging apparatus according to the embodiment of the present invention.
  • FIG. 8 is a block diagram showing a functional configuration of the signal processing unit according to the embodiment of the present invention.
  • FIG. 9 is a flowchart showing a flow of a degraded image restoration process in the signal processing unit according to the embodiment of the present invention.
  • FIG. 10 is a flowchart showing a flow of PSF conversion processing in the PSF conversion unit according to the embodiment of the present invention.
  • FIG. 11 is a flowchart showing a flow of image conversion processing in the image conversion unit according to the embodiment of the present invention.
  • FIG. 12 is a diagram illustrating an example of an ideal image.
  • FIG. 13 is a diagram illustrating an example of frequency characteristics of an ideal image.
  • FIG. 14 is a diagram illustrating an example of the first PSF.
  • FIG. 15 is a diagram illustrating an example of frequency characteristics of the first PSF.
  • FIG. 16 is a diagram illustrating an example of a deteriorated image.
  • FIG. 17 is a diagram illustrating an example of frequency characteristics of a deteriorated image.
  • FIG. 18 is a diagram illustrating an example of a restored image obtained by a conventional image restoration method.
  • FIG. 19 is a diagram illustrating an example of the second PSF.
  • FIG. 20 is a diagram illustrating an example of frequency characteristics of the second PSF.
  • FIG. 21 is a diagram showing an example of a restored image obtained by the image restoration method according to the embodiment of the present invention.
  • FIG. 22 is a block diagram illustrating a functional configuration of the image restoration device according to one aspect of the present invention.
  • the luminance distribution of an image formed on the imaging surface is represented by m (x, y).
  • the coordinates (x, y) are two-dimensional coordinates indicating the position of the pixel (photosensitive cell) on the imaging surface.
  • x and y are integers that satisfy the relationship of 0 ⁇ x ⁇ M ⁇ 1 and 0 ⁇ y ⁇ N ⁇ 1, respectively.
  • the position of each pixel constituting the image can be specified by coordinates (x, y).
  • the luminance at the coordinates (x, y) on the image is appropriately referred to as “pixel value”.
  • the origin of coordinates (0, 0) is set at the upper left corner of the image.
  • the x axis is set as an axis extending in the horizontal direction
  • the y axis is set as an axis extending in the vertical direction.
  • the coordinates are not necessarily set in this way, and may be set arbitrarily.
  • the blurring of the blur is obtained by performing a deconvolution operation (deconvolution) on the image m (x, y) obtained by the camera photographing. A missing image s (x, y) can be restored. If the point spread function f (x, y) is not known, it is necessary to estimate f (x, y) from the image m (x, y) and obtain an image s (x, y) without blur. is there.
  • This (Expression 5) is obtained by converting a Fourier transform M (u, v) of an image m (x, y) obtained by camera shooting into a Fourier transform F (u, v) of a point spread function f (x, y). It shows that the function obtained by the division corresponds to the Fourier transform S (u, v) of the ideal image s (x, y). That is, if M (u, v) and F (u, v) are obtained, S (u, v) can be determined.
  • M (u, v) is a Fourier transform of an image (degraded image) obtained by camera shooting
  • a Fourier transform F (u, v) of a hand spread point spread function f (x, y) is obtained. Then, it becomes possible to restore the image from the degraded image (close to the true image) by signal processing.
  • the camera shake point spread function f (x, y) depends on the camera shake trajectory during shooting (exposure). In other words, since the hand movement trajectory differs for each camera shot, f (x, y) also changes for each camera shot. Although f (x, y) can be estimated from one or a plurality of images obtained by camera shooting, the camera movement (camera shake trajectory) during shooting (exposure) is detected by a sensor. It is also possible to estimate. However, f (x, y) is only obtained by estimation or measurement and includes some error. For this reason, it is difficult to completely restore the ideal image s (x, y).
  • Non-Patent Document 2 discloses that the Fourier transform of the point spread function is approximated by a sinc function by assuming that the hand movement trajectory during a short exposure time is “constant linear motion”.
  • F (u, v) which is the denominator of (Expression 5) is expressed by the following (Expression 6).
  • Equation 6 The right side of (Equation 6) is a sinc function, and its amplitude becomes zero (0) every fixed period. This period is the reciprocal (1 / W) of the width W of camera shake.
  • F (u, v) is obtained by rotating the function of (Equation 6) by an angle ⁇ .
  • the assumption of “constant linear motion” may not be sufficiently established.
  • Non-Patent Documents 6 and 7 an optimal encoding pattern for a specific PSF is searched for by restoring an image while changing the encoding pattern in various ways with respect to a previously known PSF. .
  • an encoding pattern obtained for a specific PSF is used for shooting various scenes. Therefore, a zero point may occur in F (u, v) in which a PSF different from the PSF for which the coding pattern is determined is converted into the frequency domain.
  • F (u, v) in which a PSF different from the PSF for which the coding pattern is determined is converted into the frequency domain.
  • the imaging device continuously captures a plurality of images during the exposure time. And an imaging device acquires 1st PSF which shows blurring in a plurality of pictures photoed continuously. Furthermore, the imaging apparatus analyzes the amplitude value of the first PSF converted into the frequency domain, thereby converting the first PSF into a second PSF that does not have a zero point in the frequency domain. The imaging apparatus performs a conversion process on each image using the second PSF obtained in this way, and synthesizes the images after the conversion process, thereby obtaining a deteriorated image encoded with an encoding pattern adapted to blurring. be able to.
  • an imaging device performs the decompression
  • the imaging apparatus according to the embodiment of the present invention generates a deteriorated image that is encoded so that a zero point does not occur in the PSF in accordance with blurring that occurs over a plurality of input images. Can do. Therefore, it is possible to stably suppress the occurrence of ringing while suppressing an increase in processing load.
  • exposure time indicates the time from the start to the end of continuous shooting.
  • a plurality of images taken continuously are referred to as continuous shot images as appropriate.
  • Encoding is a process of converting exposure information of an image with a specific pattern (encoding pattern), and is called exposure encoding.
  • Exposure coding is to convert incident light into a temporally discontinuous optical signal by creating two states, a state in which light passes during the exposure time and a state in which light does not pass. At this time, a pattern formed by a state where light is transmitted and a state where light is not transmitted is referred to as an encoded pattern.
  • the codes of the respective sections during the exposure time are all “1” (ON state), and the encoding pattern is ⁇ 111111111 ⁇ .
  • the image sensor receives light during the entire exposure time T.
  • the code of each section during the exposure time is switched between “1” and “0”.
  • the image sensor receives light only in the section of the exposure time T indicated by the symbol “1”.
  • the encoding pattern is ⁇ 101101110 ⁇ , as shown in FIG. 4B, the ON state and the OFF state are switched during the exposure time.
  • FIG. 5 is a schematic diagram of the PSF in the spatial domain. Specifically, FIG. 5A is a diagram illustrating an example of a PSF in the spatial domain when encoding is not performed.
  • FIG. 5B is a diagram illustrating an example of a PSF in the spatial domain when encoding is performed.
  • FIG. 5 illustrates the PSF in one section cut in the x-axis direction.
  • the PSF is converted from FIG. 5A to FIG. 5B by performing encoding.
  • FIG. 6 is a schematic diagram of the PSF converted into the frequency domain.
  • FIG. 6A is a schematic diagram showing amplitude characteristics when the PSF of FIG. 5A is converted from the spatial domain to the frequency domain.
  • FIG. 6B is a schematic diagram showing amplitude characteristics when the PSF of FIG. 5B is converted from the spatial domain to the frequency domain.
  • FIG. 6 illustrates the PSF for one section cut in the u-axis direction.
  • the PSF obtained by the encoding of FIG. 5B when the PSF obtained by the encoding of FIG. 5B is converted into the frequency domain, the PSF has an amplitude value of 0 unlike the sinc function. not exist. In this way, a PSF whose amplitude value does not become zero at each frequency can be obtained by encoding. By performing the restoration process using the PSF thus obtained, a restored image free from ringing noise can be obtained.
  • a PSF whose amplitude value does not become zero in the frequency domain can be obtained by encoding exposure.
  • exposure encoding is not performed by blocking light during shooting, but pixel values are changed in each of a plurality of continuously shot input images, and a plurality of changed input images are synthesized. By doing so, exposure encoding is performed. Specifically, encoding is performed by multiplying each input image by L times (where L is a real number from 0 to 1). As described above, in the present embodiment, since it is not necessary to perform shooting that blocks exposure during shooting, various encoding patterns can be selected after shooting.
  • FIG. 7 is a block diagram showing a functional configuration of the imaging apparatus 100 according to the embodiment of the present invention.
  • Imaging device 100 in the present embodiment is a digital electronic camera.
  • the imaging apparatus 100 does not necessarily need to be a digital electronic camera.
  • the imaging apparatus 100 includes an imaging unit 300, a signal processing unit 200 that performs various signal processing and image restoration processing, a display unit 600 that displays an image, and a recording unit that records image data. 500 and a system control unit 400 that controls each unit.
  • the imaging unit 300 continuously captures a plurality of images.
  • the imaging unit 300 includes an imaging element (image sensor) 310 including a plurality of photosensitive cells (photodiodes) arranged on the imaging surface, a shutter 325 having a diaphragm function, and imaging of the imaging element 310. And a taking lens 320 for forming an image on the surface.
  • the imaging unit 300 includes an internal memory 350 that temporarily stores continuous image data when images are continuously captured (continuous shooting).
  • the image sensor 310 is typically a CCD sensor or a CMOS sensor.
  • the photographing lens 320 has a known configuration and is generally a lens unit composed of a plurality of lenses.
  • the shutter 325 and the photographing lens 320 are driven by a driving mechanism (not shown), and operations necessary for optical zooming, automatic exposure (AE), or autofocus (AF) are executed.
  • AE automatic exposure
  • AF autofocus
  • the imaging unit 300 further includes an imaging element driving unit 330 that drives the imaging element 310.
  • the imaging element driving unit 330 is configured by a semiconductor integrated circuit such as a CCD driver, for example.
  • the image sensor driving unit 330 drives the image sensor 310 to read out analog signals (photoelectric conversion signals) from the image sensor 310 and convert them into digital signals.
  • the imaging unit 300 further includes a camera shake detection unit 345 that detects a camera shake during shooting.
  • the camera shake detection unit 345 is, for example, a known gyroscope or acceleration sensor.
  • the camera shake detection unit 345 detects the movement of the imaging apparatus 100 during the exposure time, and generates information (camera shake information) indicating the locus of camera shake.
  • the generated camera shake information is input to the signal processing unit 200, and is used for the process of acquiring the first PSF used in the image restoration process.
  • the signal processing unit 200 performs a degraded image restoration process. That is, the signal processing unit 200 reduces blurring that occurs in an image obtained by combining a plurality of continuously captured input images.
  • the signal processing unit 200 may perform various signal processing such as color tone correction, resolution change, or data compression. Details of the degraded image restoration processing in the signal processing unit 200 will be described later with reference to FIG.
  • the signal processing unit 200 is preferably realized by a combination of hardware such as a known digital signal processor (DSP) and software for executing image processing.
  • DSP digital signal processor
  • the memory 240 is configured by DRAM (Dynamic Random Access Memory) or the like.
  • the memory 240 records the image data obtained from the imaging unit 300 and temporarily stores the image data subjected to various image processing by the signal processing unit 200 and the compressed image data.
  • the image data is converted into an analog signal and then displayed on the display unit 600 or recorded in the recording unit 500 as a digital signal.
  • the image data may be transmitted to another device (not shown) wirelessly or via a communication device (not shown).
  • the system control unit 400 controls the imaging unit 300, the signal processing unit 200, the memory 240, the recording unit 500, and the display unit 600.
  • the system control unit 400 includes a central processing unit (CPU: Central Processing Unit) (not shown) and a flash memory.
  • CPU Central Processing Unit
  • the imaging apparatus of the present embodiment may include known components such as an optical finder, a power source (battery), and a flashlight, but a description thereof is omitted because it is not particularly necessary for understanding the present invention.
  • FIG. 8 is a block diagram showing a functional configuration of the signal processing unit 200 according to the embodiment of the present invention.
  • the signal processing unit 200 includes an image input unit 1100, a PSF acquisition unit 1200, a PSF conversion unit 1300, an image conversion unit 1400, an image restoration unit 1500, and an image output unit 1600.
  • the image input unit 1100 acquires a plurality of input images continuously captured by the imaging unit 300.
  • the PSF acquisition unit 1200 acquires a first PSF indicating blurring occurring over a plurality of input images acquired by the image input unit 1100 based on sensor information such as a gyro sensor and an acceleration sensor. Specifically, the PSF acquisition unit 1200 calculates the first PSF using, for example, camera shake information detected by the camera shake detection unit 345 when a plurality of input images are captured.
  • the PSF conversion unit 1300 converts the first PSF obtained from the PSF acquisition unit 1200 into a second PSF. Specifically, the PSF conversion unit 1300 generates the second PSF by processing the first PSF so that the amplitude value of each frequency does not become less than the threshold value in the frequency domain. That is, the PSF conversion unit 1300 generates a second PSF in which the amplitude value of each frequency is greater than or equal to the threshold value in the frequency domain based on the first PSF.
  • the image conversion unit 1400 converts each of the plurality of input images acquired by the image input unit 1100 based on the second PSF. Specifically, the image conversion unit 1400 generates a plurality of converted images by converting each of the plurality of input images using a portion corresponding to each input image in the second PSF.
  • the image restoration unit 1500 generates a restored image by performing restoration processing using the second PSF on a degraded image (encoded degraded image) obtained by combining a plurality of converted images. Note that an image obtained by combining a plurality of converted images is obtained by adding pixel values for each pixel position of the pixels constituting each converted image.
  • the image output unit 1600 outputs the generated restored image.
  • the image output unit 1600 outputs the restored image to at least one of the recording unit 500 and the display unit 600, for example.
  • the configuration of the signal processing unit 200 illustrated in FIG. 8 is an example, and the signal processing unit 200 may be divided into other functional blocks.
  • the signal processing unit 200 is preferably realized by, for example, incorporating image processing software into known hardware.
  • FIG. 9 is a flowchart showing a flow of a degraded image restoration process in the signal processing unit 200 according to the embodiment of the present invention.
  • FIG. 10 is a flowchart showing the flow of PSF conversion processing in the PSF conversion unit 1300 according to the embodiment of the present invention.
  • FIG. 11 is a flowchart showing a flow of image conversion processing in the image conversion unit 1400 according to the embodiment of the present invention.
  • the image input unit 1100 continuously captures images in the imaging unit 300 and is stored in the internal memory 350 of the imaging unit 300 (n sheets: n is an integer of 2 or more) input images m i (x, y) ( i is an integer from 1 to n) (S101).
  • the PSF acquisition unit 1200 acquires camera shake information detected by the camera shake detection unit 345 when a plurality of input images are captured. Furthermore, the PSF acquisition unit 1200 generates a degraded image by adding the pixel values of the acquired plurality of input images for each pixel position. Then, the PSF acquisition unit 1200 acquires a first PSF (f1 (x, y)) indicating blurring that occurs across a plurality of input images based on the camera shake information and the deteriorated image (S102).
  • the PSF acquisition unit 1200 is not necessarily required to acquire the first PSF based on both the camera shake information and the degraded image.
  • the PSF acquisition unit 1200 may acquire the first PSF based only on the camera shake information among the camera shake information and the deteriorated image.
  • the PSF acquisition unit 1200 can acquire the first PSF that shows both the shake of the subject and the camera shake by acquiring the first PSF using the PSF calculated by the signal processing using the degraded image. .
  • the PSF conversion unit 1300 generates the second PSF by processing the first PSF so that the amplitude value of each frequency does not become less than the threshold value in the frequency domain (S103). Specifically, the PSF conversion unit 1300 performs the process shown in FIG.
  • the PSF conversion unit 1300 first calculates an amplitude value for each frequency by converting the first PSF acquired by the PSF acquisition unit 1200 from the spatial domain to the frequency domain (S201).
  • the first PSF in the spatial domain is represented as f1 (x, y)
  • the first PSF in the frequency domain is represented as F1 (u, v).
  • the PSF conversion unit 1300 identifies the frequency (u ′, v ′) at which the amplitude value of the first PSF is less than the threshold fth (
  • the PSF conversion unit 1300 generates the second PSF by changing the amplitude value to a predetermined value equal to or higher than the threshold fth at the specified frequency (u ′, v ′) (S203).
  • the second PSF generated here is the second PSF in the frequency domain, and is represented as F2 (u, v).
  • the PSF conversion unit 1300 inversely converts F2 (u, v) from the frequency domain to the spatial domain (S204).
  • the second PSF converted into the spatial domain is represented as f2 (x, y).
  • the second PSF obtained in this way has no zero point in the frequency domain. Therefore, ringing noise does not occur in the restored image obtained by the restoration process using the second PSF.
  • the image conversion unit 1400 generates a converted image by converting each of the plurality of input images using a portion corresponding to each input image in the second PSF (S104). Specifically, the image conversion unit 1400 performs the process shown in FIG.
  • the image conversion unit 1400 determines a portion of the second PSF corresponding to each input image in time based on the time when the blur indicated by the second PSF is detected and the time when each input image is captured. (S301). Specifically, the image conversion unit 1400 determines, for example, a pixel (for example, one pixel) showing a blur corresponding to the input image in time among the plurality of pixels constituting the second PSF as a portion corresponding to the input image. .
  • the image conversion unit 1400 converts each of the plurality of input images using a portion corresponding to each input image (S302). Specifically, the image conversion unit 1400 converts the input image m i (x, y) into the converted image m i ′ (x, y) according to the following (Equation 7). For example, as shown in (Equation 7), the image conversion unit 1400 generates a converted image by convolution of the input image and the second PSF corresponding to the input image. In (Expression 7), f2 i (x, y) indicates a portion of the second PSF corresponding to the input image m i (x, y).
  • the image restoration unit 1500 generates a restored image by performing restoration processing using the second PSF on the degraded image s ′ (x, y) (S105).
  • the deteriorated image s ′ (x, y) is an image obtained by simply synthesizing the converted image m i ′ (x, y), and is obtained by the following (Equation 8).
  • the deteriorated image s ′ (x, y) corresponds to a deteriorated image encoded so that no zero point is generated in the PSF.
  • the algorithm of the restoration process executed by the image restoration unit 1500 is not particularly limited, and any known image restoration process may be used.
  • the image restoration unit 1500 can execute the restoration process using, for example, a known Richardson Lucy (LR) method or a Wiener filter method. Further, the image restoration unit 1500 may perform the restoration process using the sparse coding method disclosed in Non-Patent Document 1.
  • the image restoration unit 1500 may generate the restored image r (x, y) by the following (Equation 9) in the simplest case.
  • R (u, v) and S ′ (u, v) indicate a restored image and an encoded degraded image that have been converted to the frequency domain. That is, a restored image r (x, y) is obtained by inversely transforming R (u, v) calculated by (Equation 9) into a spatial domain.
  • the image output unit 1600 outputs the restored image obtained as described above (S106), and ends the process.
  • the restored image is recorded in the recording unit 500 or displayed on the display unit 600, for example.
  • FIG. 12 is a diagram illustrating an example of an ideal image.
  • FIG. 13 is a diagram illustrating an example of frequency characteristics of an ideal image.
  • FIG. 14 is a diagram illustrating an example of the first PSF.
  • FIG. 15 is a diagram illustrating an example of frequency characteristics of the first PSF.
  • FIG. 16 is a diagram illustrating an example of a deteriorated image.
  • FIG. 17 is a diagram illustrating an example of frequency characteristics of a deteriorated image.
  • the signal shown in FIG. 12 was set as an image signal (ideal image) with no camera shake.
  • the horizontal axis indicates the pixel number in the x-axis direction
  • the vertical axis indicates the pixel value.
  • the first PSF was set as shown in FIG.
  • the horizontal axis indicates the pixel number in the x-axis direction
  • the vertical axis indicates the PSF intensity.
  • FIGS. 13, 15 and 17 show frequency characteristics when the images or PSFs shown in FIGS. 12, 14 and 16 are converted into the frequency domain.
  • the horizontal axis indicates the spatial frequency in the u-axis direction
  • the vertical axis indicates the amplitude value. From the frequency characteristics of the first PSF shown in FIG. 15, it can be seen that the first PSF has a spatial frequency (zero point) at which the amplitude value is zero in the frequency domain.
  • the simplest image restoration method is the method shown in (Formula 5). Therefore, in this simulation, the image restoration method according to (Equation 5) is treated as a conventional image restoration method.
  • FIG. 18 is a diagram illustrating an example of a restored image obtained by a conventional image restoration method.
  • the restored image shown in FIG. 18 is an image obtained by dividing the frequency component of the degraded image shown in FIG. 17 for each frequency using the frequency component of the first PSF shown in the drawing.
  • FIG. 19 is a diagram illustrating an example of the second PSF.
  • FIG. 20 is a diagram illustrating an example of frequency characteristics of the second PSF.
  • FIG. 21 is a diagram showing an example of a restored image obtained by the image restoration method according to the embodiment of the present invention.
  • the PSF conversion unit 1300 refers to the frequency characteristic of the first PSF shown in FIG. 15 and searches for a frequency whose amplitude value is smaller than the threshold fth.
  • the threshold value fth is set to “0.001”.
  • the PSF conversion unit 1300 calculates the second PSF by changing the amplitude value of the searched frequency to the predetermined value pv.
  • the predetermined value pv is set to “0.5”.
  • the second PSF shown in FIG. 19 is obtained by inversely transforming the second PSF shown in FIG. 20 from the frequency domain to the spatial domain.
  • the second PSF can be a negative value unlike the conventional case.
  • the PSF value represented by 0 to 1 is temporarily set by encoding. It is set to 0. That is, a method has been shown in which the amplitude value does not become zero in the frequency domain by partially setting the PSF whose sum is 1 to 0 (that is, by reducing the amount of light). In the present embodiment, by multiplying the PSF by a real number, the ringing can be eliminated while the total sum of the PSFs indicating the entire light quantity remains at 1.
  • the image conversion unit 1400 generates a plurality of converted images by performing conversion processing on each of the plurality of input images using a portion corresponding to each input image in the second PSF shown in FIG.
  • a deteriorated image obtained by combining a plurality of converted images generated in this way corresponds to a deteriorated image obtained when encoded.
  • the image restoration unit 1500 generates a restored image by performing restoration processing using the degraded image obtained by combining the plurality of converted images and the second PSF shown in FIG. FIG. 21 shows a restored image generated in this way.
  • the restored image obtained by the image restoration method according to the present embodiment is the same as the ideal image shown in FIG. From this, it can be confirmed that the image restoration method according to the present embodiment can generate a restored image without ringing.
  • the threshold value fth and the predetermined value pv are not necessarily these values. If the predetermined value pv is increased, the amplitude value of the specific frequency increases, and thus the PSF intensity of the second PSF at the specific frequency is amplified. In an extreme example, the PSF intensity of the second PSF may be strongly amplified only at one frequency.
  • the luminance of one specific input image among the plurality of input images is amplified, and the luminance of the other input images is attenuated to generate an encoded degraded image.
  • Each of the plurality of input images has no blur but the image brightness is dark. Therefore, if the luminance of the input image is excessively amplified, noise will increase. Therefore, it is not preferable to make the predetermined value pv too large.
  • the threshold value fth is increased, the absolute value (PSF intensity) of the second PSF in each pixel increases. As a result, the amount of amplification of the pixel value of each input image increases. Therefore, it is not desirable to make the threshold fth too large.
  • the PSF conversion unit 1300 searches for the second PSF in which the PSF intensity is not excessively large while changing the predetermined value pv and the threshold value fth. Specifically, the PSF conversion unit 1300 temporarily sets the predetermined value pv and the threshold value fth, and repeats checking whether the PSF intensity of the second PSF is excessively large, thereby repeating the PSF of the second PSF. It is preferable to search for the predetermined value pv and the threshold value fth when the intensity does not become excessively large. Even if the predetermined value pv and the threshold value fth are searched for in this way, it is not necessary to repeat the restoration process using the PSF as in the conventional non-patent document 7, so that an increase in the amount of calculation is suppressed.
  • the predetermined value pv and the threshold value fth are constant values in the entire frequency band, but are not necessarily constant values.
  • Ringing noise is considered to be noise that appears in a flat part (low frequency component) of an image. Therefore, the predetermined value pv and the threshold value fth are preferably set so that the value increases as the frequency decreases. That is, the predetermined value pv used when changing the amplitude value of the first frequency is larger than the predetermined value pv used when changing the amplitude value of the second frequency, which is a higher frequency than the first frequency. preferable. Moreover, it is preferable that the threshold value fth used when specifying the first frequency is larger than the threshold value fth used when specifying the second frequency that is higher than the first frequency. Thereby, it is possible to efficiently reduce ringing noise which is noise generated in a low frequency portion.
  • the signal processing unit 200 can make the low-frequency amplitude value larger than the high-frequency amplitude value at the frequency at which the amplitude value is changed by changing the predetermined value pv according to the frequency. Therefore, the signal processing unit 200 can efficiently reduce ringing noise that is noise generated in a low frequency region.
  • the signal processing unit 200 can efficiently eliminate a small amplitude value that causes ringing noise in the low frequency region by changing the threshold fth according to the frequency. Therefore, the signal processing unit 200 can efficiently reduce ringing noise that is noise generated in a low frequency region.
  • the threshold value fth and the predetermined value pv may be set in consideration of the nature of the input image.
  • the numerator is the frequency component of the degraded image
  • the denominator is the frequency component of the second PSF.
  • the threshold fth and the predetermined value pv are set as small as possible at a frequency where the amplitude value of the degraded image is 0 in the frequency domain.
  • the threshold value fth and the predetermined value pv may be determined according to the noise amount of the input image. That is, the threshold value fth and the predetermined value pv may be determined by the S / N ratio of the input image. Specifically, the threshold fth and the predetermined value pv are preferably values determined so as to decrease as the noise generated in the input image increases.
  • the PSF conversion unit 1300 stores a combination of a threshold value fth corresponding to the brightness of the shooting scene and a predetermined value pv in a memory, and a threshold value corresponding to the brightness measured when the input image is shot.
  • the threshold fth and the predetermined value pv may be determined by reading a combination of fth and the predetermined value pv from the memory.
  • the brighter the shooting scene the smaller the noise.
  • the PSF conversion unit 1300 determines the threshold value fth and the predetermined value pv using shooting conditions (for example, ISO sensitivity) or the S / N ratio in the input image instead of the brightness of the shooting scene. Also good.
  • the signal processing unit 200 changes the amplitude value, thereby causing noise in the restored image.
  • the adverse effect of being amplified can be suppressed.
  • the imaging apparatus 100 processes the first PSF indicating the blur generated over a plurality of input images, so that the amplitude value of each frequency in the frequency domain is greater than or equal to the threshold value. 2PSF is generated. Then, the imaging apparatus 100 converts each input image using each part of the second PSF. An image obtained by synthesizing a plurality of input images thus converted corresponds to a deteriorated image that is encoded so that a zero point does not occur in the PSF. That is, the imaging apparatus 100 can generate a deteriorated image that is encoded so that no zero point is generated in the PSF, by adapting to a blur that occurs over a plurality of input images.
  • the imaging apparatus 100 since the imaging apparatus 100 does not need to determine a coding pattern in advance, the occurrence of ringing can be stably suppressed. Furthermore, the imaging apparatus 100 does not need to repeat the restoration process in order to generate a deteriorated image that is encoded so that no zero point occurs in the PSF. Therefore, the imaging apparatus 100 can also suppress an increase in processing load.
  • the imaging apparatus 100 generates the second PSF by changing the amplitude value at a frequency at which the amplitude value of the first PSF is less than the threshold value. Therefore, the imaging apparatus 100 can generate an encoded deteriorated image that is adapted to blurring that occurs over a plurality of input images. That is, the imaging apparatus 100 can generate a restored image with less blur.
  • the imaging device 100 has been described based on the embodiments.
  • the present invention is not limited to these embodiments. As long as it does not deviate from the gist of the present invention, forms in which various modifications conceived by those skilled in the art have been made in this embodiment are also included in the scope of the present invention.
  • the PSF conversion unit 1300 generates the second PSF by changing the amplitude value of the first PSF to a predetermined value, but may generate the second PSF by other methods.
  • the PSF conversion unit 1300 generates an offset PSF in which the amplitude value of the specified frequency is equal to or greater than a threshold, and generates the second PSF by adding the offset PSF and the first PSF in the frequency domain.
  • the offset PSF is, for example, a function in which only the amplitude value of the specified frequency becomes a constant value equal to or greater than the threshold value, and the amplitude values of other frequencies become zero.
  • the PSF conversion unit 1300 changes the amplitude value only at the frequency at which the amplitude value of the first PSF is less than the threshold value, but the amplitude is also at the frequency at which the amplitude value of the first PSF is equal to or greater than the threshold value.
  • the value may be changed.
  • the PSF conversion unit 1300 may change the amplitude value so that the change in the amplitude value is smooth in the vicinity of the frequency at which the amplitude value of the first PSF is less than the threshold value.
  • the present invention may be realized as an image restoration device including a characteristic processing unit included in the signal processing unit 200.
  • the image restoration device 10 may be configured as shown in FIG. 22, for example.
  • FIG. 22 is a block diagram illustrating a functional configuration of the image restoration apparatus 10 according to an aspect of the present invention.
  • the image restoration apparatus 10 illustrated in FIG. 22 includes a PSF acquisition unit 1200, a PSF conversion unit 1300, an image conversion unit 1400, and an image restoration unit 1500. Similar to the signal processing unit 200, the image restoration apparatus 10 uses a plurality of input images obtained by successively converting a deteriorated image encoded so that a zero point does not occur in the PSF. Can be adapted to the blur occurring over the entire time. Therefore, the image restoration apparatus 10 can stably suppress the occurrence of ringing while suppressing an increase in processing load.
  • the image restoration apparatus 10 may include a system LSI 20 having a PSF acquisition unit 1200, a PSF conversion unit 1300, an image conversion unit 1400, and an image restoration unit 1500.
  • LSI Large Scale Integration
  • the image restoration apparatus 10 may include a system LSI 20 having a PSF acquisition unit 1200, a PSF conversion unit 1300, an image conversion unit 1400, and an image restoration unit 1500.
  • the system LSI 20 is an ultra-multifunctional LSI manufactured by integrating a plurality of components on one chip. Specifically, a microprocessor, a ROM (Read Only Memory), a RAM (Random Access Memory), etc. It is a computer system comprised including. A computer program is stored in the RAM. The system LSI achieves its functions by the microprocessor operating according to the computer program.
  • system LSI may be called IC, LSI, super LSI, or ultra LSI depending on the degree of integration.
  • method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
  • An FPGA Field Programmable Gate Array
  • reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • the present invention can be realized not only as an image restoration apparatus including such a characteristic processing unit, but also as an image restoration method using the characteristic processing unit included in the image restoration apparatus as a step. You can also. It can also be realized as a computer program that causes a computer to execute the characteristic steps included in the image restoration method. Needless to say, such a computer program can be distributed via a computer-readable recording medium such as a CD-ROM or a communication network such as the Internet.
  • An image restoration device can generate an image with less blur even when camera shake occurs or an object moves during image shooting, and can be used as a digital camera, movie, or surveillance camera. Useful as such.
  • image restoration device 20 system LSI DESCRIPTION OF SYMBOLS 100 Imaging device 200 Signal processing part 240 Memory 300 Imaging part 310 Imaging element 320 Shooting lens 325 Shutter 330 Imaging element drive part 345 Camera shake detection part 350 Internal memory 500 Recording part 600 Display part 1100 Image input part 1200 PSF acquisition part 1300 PSF conversion part 1400 Image conversion unit 1500 Image restoration unit 1600 Image output unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

　処理負荷の増大を抑制しつつ、リンギングの発生を安定して抑制する。連続して撮影された複数の入力画像が合成された画像に発生するブレを低減させる画像復元装置（１０）であって、複数の入力画像にわたって発生しているブレを示す第１ＰＳＦ（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）を取得するＰＳＦ取得部（１２００）と、周波数領域において各周波数の振幅値が閾値未満とならないように第１ＰＳＦを加工することにより第２ＰＳＦを生成するＰＳＦ変換部（１３００）と、第２ＰＳＦのうち各入力画像に対応する部分を用いて複数の入力画像をそれぞれ変換することにより、複数の変換画像を生成する画像変換部（１４００）と、複数の変換画像が合成された劣化画像に対して、第２ＰＳＦを用いた復元処理を施すことにより、復元画像を生成する画像復元部（１５００）とを備える。

Description

画像復元装置および画像復元方法
　本発明は、連続して撮影された複数の入力画像が合成された画像に発生するブレを低減させる画像復元装置および画像復元方法に関する。
　デジタルカメラで画像を撮影した場合、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサ、あるいはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサの読み出し回路の特性や伝送路の特性により、画像にノイズが加えられることがある。
　また、撮影時にフォーカスが合っていないこと（焦点外れ：ｏｕｔ－ｏｆ－ｆｏｃｕｓ）による画像のぼやけ（ブラー：ｂｌｕｒ）、あるいは手振れ（ｃａｍｅｒａ　ｓｈａｋｅ）などによる画像のぼやけが発生することもある。このように、デジタルカメラで撮影された画像は、撮像装置に固有の特性に起因するノイズに、撮影時の人為的な操作に起因するぼやけが加わることにより劣化する。
　なお、以下において、これらの「ぼやけ」のうち、撮影（露光）中におけるカメラの運動による画像のぼやけ（手振れ）を「ブレ（ｍｏｔｉｏｎ　ｂｌｕｒ）」と称し、焦点外れによるぼやけ（ｏｕｔ－ｏｆ－ｆｏｃｕｓ　ｂｌｕｒ）と区別することにする。
　近年、特に高感度撮影の需要が増大していることにより、ぼやけによって劣化した画像（以下、「劣化画像」という）を元の画像（以下、「理想画像」という）にできるだけ近い画像に復元することが要求されている。高感度撮影に要求される、明るく、かつノイズおよびぼやけのない画像を実現するための方法として、大別して、感度を高めるという方法と、露光時間を長くするという方法とがある。
　一般的に、感度を高めれば、ノイズも増幅されてしまう。そのため、感度を高める方法では、信号がノイズに埋もれてしまい、ノイズが大半を占める画像になることが多い。
　一方、露光時間を長くすれば、被写体から入射した光を多く蓄積し、ノイズの少ない画像が得られる。したがって、信号がノイズで埋もれることはない。しかしながら、露光時間を長くする方法では、露光時間中における手振れよって画像にブレが生じるという問題がある。
　そこで、従来、露光時間を長くする場合における問題の対処法として２つの方法が提案されている。一つの方法は、レンズをシフトさせる方式である光学式手振れ補正である（例えば、特許文献１を参照）。もう一つの方法は、得られた画像からブレの方向および大きさを求め、求めたブレの方向および大きさに基づいて、信号処理によって画像を復元するという方法（信号処理による復元方法）である（例えば、特許文献２～４、非特許文献１～７を参照）。
　暗い環境で十分な光量を確保するために露光時間を長くすると、大きな手振れが発生しやすくなる。そのような暗い環境において、光学式手振れ補正によってブレに対応するためには、レンズの稼動範囲を大きくする必要がある。しかし、稼動範囲が大きくなるとレンズの移動の際に時間遅れが生じるという問題がある。また、稼動範囲を大きくすることには物理的な限界がある。
　手振れによって理想画像から劣化画像へと画像が劣化する現象は、以下のようにモデル化することができる。劣化画像における各画素の輝度を表す関数は、理想画像における各画素の輝度を表す関数と、画像のブレを表す点広がり関数（ＰＳＦ：Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）との畳み込み（ｃｏｎｖｏｌｕｔｉｏｎ）によって得られる。逆に、得られた劣化画像を理想画像へと復元するためには、劣化画像とＰＳＦとの逆畳み込み（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）を行えばよい。畳み込み演算は、周波数領域では乗算に相当する。そのため、周波数領域において劣化画像をＰＳＦで除算することにより、復元画像を得ることができる。
　このようにＰＳＦが既知の場合、ノイズの影響を無視すれば、上記の逆畳み込み演算によって比較的容易に復元画像を得ることができる。一方、ＰＳＦが未知の場合、復元画像を得るためには劣化画像からＰＳＦを推定する必要がある。
　ＰＳＦの推定には、例えば非特許文献１に開示されたスパースコーディングによる方法などが知られている。この方法では、まず手動で与えた初期ＰＳＦと劣化画像とから、第１の復元結果を得る。続いて第１の復元結果と劣化画像とを用いてより真のＰＳＦに近いと考えられるＰＳＦを推定し、推定されたＰＳＦで初期ＰＳＦを修正する。修正されたＰＳＦを用いて劣化画像から第２の復元結果を得る。以降、第（Ｎ－１）のＰＳＦと劣化画像とから第Ｎの復元画像を得て、第Ｎの復元画像と劣化画像とから第ＮのＰＳＦを推定する、という操作を繰り返すことにより、ＰＳＦの推定と劣化画像の復元を同時に行っていく。
　しかし、この方法では、復元された画像にリンギングなどのノイズが発生してしまうという問題がある。「リンギング（ｒｉｎｇｉｎｇ）」とは、画像において輝度などが一様な部分（平坦部）に発生するノイズである。リンギングが発生すれば、平坦部が平坦に見えないようになる。
　図１Ａは、輝度がステップ状に変化する画像（エッジ付近の理想画像）を示す図である。また、図１Ｂは、理想画像の輝度分布を模式的に示すグラフである。図２Ａは、図１Ａの画像をカメラで撮影することによって得られた、エッジ付近の劣化画像（ぼやけ画像：ｂｌｕｒｒｅｄ　ｉｍａｇｅ）を示す図である。また、図２Ｂは、劣化画像の輝度分布を模式的に示すグラフである。
　ここで、カメラ撮影に際して、水平横方向に手振れが生じたと仮定する。図２Ａの劣化画像は、手振れによるぼやけ（ブレ）が発生したため、エッジのシャープネスが失われている。
　図３Ａは、図２Ａの劣化画像を信号処理によって復元した復元画像を示す図である。また、図３Ｂは、復元画像の輝度分布を模式的に示すグラフである。図３Ａの復元画像には、輝度が周期的に変化する部分が存在している。このような輝度変化が「リンギング」と称されるノイズである。リンギングは、周波数領域においてＰＳＦの振幅値が０になる、または０に限りなく近い値になる周波数（以下、「ゼロ点」という）が存在することに起因して発生する。
　このようなリンギングの問題を解決する技術が、特許文献３、４、および非特許文献６、７に開示されている。これらの技術によれば、露光状態の間、シャッタを開放し続けるのではなく、ある決められた時間パターン（符号化パターン）に従って光を遮ることにより、周波数領域上でＰＳＦの振幅値が０となる周波数を低減させることができる。そのため、リンギングノイズの発生を防ぐことができる。特許文献３、４、および非特許文献６、７に開示された方法は、“Ｃｏｄｅｄ　Ｅｘｐｏｓｕｒｅ　Ｐｈｏｔｏｇｒａｐｈｙ”と呼ばれている。
特開２００１－１９７３５７号公報 特開２００６－１２９２３６号公報 特表２００９－５２２８２５号公報 特開２００８－３１０７９７号公報
"Ｈｉｇｈ－ｑｕａｌｉｔｙ　Ｍｏｔｉｏｎ　Ｄｅｂｌｕｒｒｉｎｇ　ｆｒｏｍ　ａ　Ｓｉｎｇｌｅ　Ｉｍａｇｅ"，　Ｑｉ　Ｓｈａｎ，　Ｊｉａｙａ　Ｊｉａ，　ａｎｄ　Ａｓｅｅｍ　Ａｇａｒｗａｌａ，ＳＩＧＧＲＡＰＨ　２００８ 米司・田中・奥富共著，「直線的手ぶれ画像復元のためのｐｓｆパラメータ推定手法」，情報処理学会研究報告，第２００５巻，第３８号，ｐ．４７－５２，２００５年 Ｊ．　Ｂｉｏｕｃａｓ－Ｄｉａｓ，　"Ｂａｙｅｓｉａｎ　ｗａｖｅｌｅｔ－ｂａｓｅｄ　ｉｍａｇｅ　ｄｅｃｏｎｖｏｌｕｔｉｏｎ：　ａ　ｇｅｍ　ａｌｇｏｒｉｔｈｍ　ｅｘｐｌｏｉｔｉｎｇ　ａ　ｃｌａｓｓ　ｏｆ　ｈｅａｖｙ－ｔａｉｌｅｄ　ｐｒｉｏｒｓ"，　ＩＥＥＥ　Ｔｒａｎｓ．　Ｉｍａｇｅ　Ｐｒｏｃ．，　ｖｏｌ．　４，　ｐｐ．　９３７－９５１，　Ａｐｒｉｌ　２００６ Ｌｅｖｉｎ，　"Ｂｌｉｎｄ　Ｍｏｔｉｏｎ　Ｄｅｂｌｕｒｒｉｎｇ　Ｕｓｉｎｇ　Ｉｍａｇｅ　Ｓｔａｔｉｓｔｉｃｓ"，　Ａｄｖａｎｃｅｓ　ｉｎ　Ｎｅｕｒａｌ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｐｒｏｃｅｓｓｉｎｇ　Ｓｙｓｔｅｍｓ　（ＮＩＰＳ），　Ｄｅｃ　２００６ Ｂｏｂ　Ｆｅｒｇｕｓ　ｅｔ　ａｌ．，　"Ｒｅｍｏｖｉｎｇ　ｃａｍｅｒａ　ｓｈａｋｅ　ｆｒｏｍ　ａ　ｓｉｎｇｌｅ　ｉｍａｇｅ"，　Ｂａｒｕｎ　Ｓｉｎｇｈ　Ａａｒｏｎ　Ｈｅｒｔｚｍａｎｎ，　ＳＩＧＧＲＡＰＨ　２００６ "Ｃｏｄｅｄ　Ｅｘｐｏｓｕｒｅ　Ｐｈｏｔｏｇｒａｐｈｙ：　Ｍｏｔｉｏｎ　Ｄｅｂｌｕｒｒｉｎｇ　ｕｓｉｎｇ　Ｆｌｕｔｔｅｒｅｄ　Ｓｈｕｔｔｅｒ"，　Ｒａｍｅｓｈ　Ｒａｓｋａｒ，　Ａｍｉｔ　Ａｇｒａｗａｌ，　Ｆａｃｋ　Ｔｕｍｂｌｉｎ，　ＳＩＧＧＲＡＰＨ　２００６ "Ｃｏｄｅｄ　Ｅｘｐｏｓｕｒｅ　Ｄｅｂｌｕｒｒｉｎｇ：　Ｏｐｔｉｍｉｚｅｄ　Ｃｏｄｅｓ　ｆｏｒ　ＰＳＦ　Ｅｓｔｉｍａｔｉｏｎ　ａｎｄ　Ｉｎｖｅｒｔｉｂｉｌｉｔｙ"，　Ａｍｉｔ　Ａｇｒａｗａｌ，　Ｙｉ　Ｘｕ，　ＭＩＴＳＵＢＩＳＨＩ　ＥＬＥＣＴＲＩＣ　ＲＥＳＥＡＲＣＨ　ＬＡＢＯＲＡＴＯＲＩＥＳ，ｈｔｔｐ：／／ｗｗｗ．ｍｅｒｌ．ｃｏｍ
　このように、特許文献３、４、または非特許文献６に開示された方法によれば、露光符号化を行なうことにより、復元画像におけるリンギングの発生を抑制することができる。
　しかしながら、これらの方法では、撮影時に光を遮ることで符号化を行うため、撮影よりも先に符号化パターンを決めておく必要がある。具体的には、手振れが生じている特定の画像を用いて予め符号化パターンを決めておき、その符号化パターンを他のシーンにも適用する。そのため、撮影シーンによっては、予め決めた符号化パターンを適用しても、ＰＳＦにゼロ点が発生することを回避することができず、復元画像にリンギングが生じる可能性がある。つまり、これらの方法では、リンギングの発生を安定して抑制することができない。
　また、非特許文献７に開示された方法では、符号化パターンを２値のバイナリパターンとして表現し、複数のバイナリパターンの中から画像の復元に最適なバイナリパターンを探索している。しかしながら、探索するパターンの数が多いため、実際に最適な符号化パターンをあらゆるＰＳＦに対して算出することは現実的ではない。
　具体的には、非特許文献７の方法では、画像の復元に最適な符号化パターンを決定するために、符号化パターンを変えながら復元を行い、復元した画像のノイズ量を計測し、最適な復元が行えているか否かの判定を行っている。
　したがって、非特許文献７の方法では、最適な符号化パターンを探索するために、撮影と復元処理とを多数回繰り返す必要がある。そのため、符号化パターン探索のための処理量が増大し、消費電力も増大するという課題がある。さらに、探索対象となる符号化パターンのパターン数が多いため、非特許文献７では、全てのパターンではなく一部のパターンの範囲内で最適なものを探索している。そのため、性能面でも最適なものを探索できるとは限らないという問題がある。
　そこで、本発明は、上記従来の課題を解決するものであって、処理負荷の増大を抑制しつつ、リンギングの発生を安定して抑制することができる画像復元装置および画像復元方法を提供することを目的とする。
　上記目的を達成するために、本発明の一態様に係る画像復元装置は、連続して撮影された複数の入力画像が合成された画像に発生するブレを低減させる画像復元装置であって、前記複数の入力画像にわたって発生しているブレを示す第１ＰＳＦ（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）を取得するＰＳＦ取得部と、周波数領域において各周波数の振幅値が閾値未満とならないように前記第１ＰＳＦを加工することにより第２ＰＳＦを生成するＰＳＦ変換部と、前記第２ＰＳＦのうち各入力画像に対応する部分を用いて、前記複数の入力画像をそれぞれ変換することにより、複数の変換画像を生成する画像変換部と、前記複数の変換画像が合成された劣化画像に対して、前記第２ＰＳＦを用いた復元処理を施すことにより、復元画像を生成する画像復元部とを備える。
　本構成によれば、複数の入力画像にわたって発生しているブレを示す第１ＰＳＦを加工することにより、周波数領域において各周波数の振幅値が閾値以上である第２ＰＳＦを生成する。そして、第２ＰＳＦの各部分を用いて、各入力画像を変換する。このように変換された複数の入力画像が合成された画像は、ＰＳＦにゼロ点が生じないように符号化されたときに得られる劣化画像（以下、「符号化された劣化画像」という）に相当する。つまり、本構成によれば、ＰＳＦにゼロ点が生じないように符号化された劣化画像を、複数の入力画像にわたって発生しているブレに適応して生成することができる。したがって、予め符号化パターンを決定する必要がないので、リンギングの発生を安定して抑制することができる。さらに、ＰＳＦにゼロ点が生じないように符号化された劣化画像を生成するために復元処理を繰り返す必要もない。したがって、処理負荷の増大も抑制することができる。
　また、前記ＰＳＦ変換部は、周波数領域において前記第１ＰＳＦの振幅値が前記閾値未満である周波数を特定し、特定した前記周波数において振幅値を前記閾値以上の所定値に変更することにより、前記第１ＰＳＦを加工することが好ましい。
　本構成によれば、第１ＰＳＦの振幅値が閾値未満となる周波数において振幅値を変更することにより、第２ＰＳＦを生成する。したがって、複数の入力画像にわたって発生しているブレにより適応した符号化された劣化画像を生成することができる。つまり、よりブレが少ない復元画像を生成することが可能となる。
　また、第１周波数の振幅値を変更するときに用いられる前記所定値は、前記第１周波数よりも高い周波数である第２周波数の振幅値を変更するときに用いられる前記所定値よりも大きいことが好ましい。
　本構成によれば、振幅値が変更された周波数において、低周波数の振幅値を高周波数の振幅値よりも大きくすることができるので、低周波領域において生じるノイズであるリンギングノイズを効率的に低減させることが可能となる。
　また、前記所定値は、前記入力画像に生じているノイズが大きいほど小さくなるように決定された値であることが好ましい。
　本構成によれば、振幅値を変更することにより復元画像においてノイズが増幅されるという弊害を抑制することができる。
　また、第１周波数を特定するときに用いられる前記閾値は、前記第１周波数よりも高い周波数である第２周波数を特定するときに用いられる前記閾値よりも大きいことが好ましい。
　本構成によれば、リンギングノイズの原因となる小さな振幅値を低周波領域において効率的に排除することができるので、低周波領域において生じるノイズであるリンギングノイズを効率的に低減させることが可能となる。
　また、前記閾値は、前記入力画像に生じているノイズが大きいほど小さくなるように決定された値であることが好ましい。
　本構成によれば、振幅値を変更することにより復元画像においてノイズが増幅されるという弊害を抑制することができる。
　また、前記画像変換部は、前記第２ＰＳＦが示すブレが検出された時間と、前記各入力画像が撮影された時間とに基づいて、前記第２ＰＳＦのうち各入力画像に時間的に対応する部分を決定し、決定した部分を用いて前記複数の入力画像をそれぞれ変換することが好ましい。
　本構成によれば、各入力画像に対応する第２ＰＳＦの部分をより適切に決定することが可能となる。
　また、前記ＰＳＦ変換部は、周波数領域において前記第１ＰＳＦの振幅値が前記閾値未満である周波数を特定し、特定した前記周波数の振幅値が前記閾値以上であるオフセットＰＳＦを生成し、前記オフセットＰＳＦと前記第１ＰＳＦとを加算することにより、前記第２ＰＳＦを生成することが好ましい。
　本構成によれば、オフセットＰＳＦを加算することによって、第２ＰＳＦを生成することが可能となる。
　本発明は、このような特徴的な処理部を備える画像復元装置として実現することができるだけでなく、画像復元装置に含まれる特徴的な処理部をステップとする画像復元方法として実現することもできる。また、画像復元方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等のコンピュータ読取可能な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
　また、本発明は、画像復元装置が備える特徴的な処理部を有する集積回路として実現することもできる。
　本発明によれば、ＰＳＦにゼロ点が生じないように符号化された劣化画像を、連続して撮影された複数の入力画像を用いて、複数の入力画像にわたって発生しているブレに適応して生成することができる。したがって、処理負荷の増大を抑制しつつ、リンギングの発生を安定して抑制することが可能となる。
図１Ａは、エッジ付近の理想画像を示す図である。 図１Ｂは、理想画像の輝度分布を模式的に示すグラフである。 図２Ａは、エッジ付近の劣化画像を示す図である。 図２Ｂは、劣化画像の輝度分布を模式的に示すグラフである。 図３Ａは、劣化画像を信号処理によって復元した復元画像を示す図である。 図３Ｂは、復元画像の輝度分布を模式的に示すグラフである。 図４は、露光符号化の説明図である。 図５は、空間領域におけるＰＳＦの模式図である。 図６は、周波数領域に変換されたＰＳＦの模式図である。 図７は、本発明の実施の形態に係る撮像装置の機能構成を示すブロック図である。 図８は、本発明の実施の形態に係る信号処理部の機能構成を示すブロック図である。 図９は、本発明の実施の形態に係る信号処理部における劣化画像の復元処理の流れを示すフローチャートである。 図１０は、本発明の実施の形態に係るＰＳＦ変換部におけるＰＳＦ変換処理の流れを示すフローチャートである。 図１１は、本発明の実施の形態に係る画像変換部における画像変換処理の流れを示すフローチャートである。 図１２は、理想画像の一例を示す図である。 図１３は、理想画像の周波数特性の一例を示す図である。 図１４は、第１ＰＳＦの一例を示す図である。 図１５は、第１ＰＳＦの周波数特性の一例を示す図である。 図１６は、劣化画像の一例を示す図である。 図１７は、劣化画像の周波数特性の一例を示す図である。 図１８は、従来の画像復元方法によって得られる復元画像の一例を示す図である。 図１９は、第２ＰＳＦの一例を示す図である。 図２０は、第２ＰＳＦの周波数特性の一例を示す図である。 図２１は、本発明の実施の形態に係る画像復元方法によって得られる復元画像の一例を示す図である。 図２２は、本発明の一態様に係る画像復元装置の機能構成を示すブロック図である。
　本発明の実施の形態について詳細を説明する前に、まず、本実施の形態における画像復元方法の基本的原理について説明する。
　本明細書では、撮像面に形成される画像の輝度分布をｍ（ｘ，ｙ）で表すことにする。座標（ｘ，ｙ）は、撮像面の画素（光感知セル）の位置を示す二次元座標である。画像が例えば行列状に配列されたＭ×Ｎ個の画素からなる場合において、ｘおよびｙが、それぞれ、０≦ｘ≦Ｍ－１、０≦ｙ≦Ｎ－１の関係を満足する整数であるとすると、画像を構成する個々の画素の位置を座標（ｘ，ｙ）によって特定することができる。この画像上の座標（ｘ，ｙ）における輝度を、適宜「画素値」と呼ぶ。
　座標の原点（０，０）は、画像の左上隅に設定される。また、ｘ軸は水平方向に延びる軸として設定され、ｙ軸を垂直方向に延びる軸として設定される。ただし、座標は、必ずしもこのように設定される必要はなく、任意に設定されればよい。
　ここで、ぼやけ（ｂｌｕｒ）のない画像（理想画像または元画像）の輝度分布をｓ（ｘ，ｙ）と表わす。また、ぼやけを規定するＰＳＦをｆ（ｘ，ｙ）と表わす。この場合、ノイズの影響を無視すれば、以下の（式１）が成立する。
Figure JPOXMLDOC01-appb-M000001
　ここで、記号「＊」は、畳み込み演算（コンボリューション）を示している。（式１）の右辺は、一般に、以下の（式２）で表される。
Figure JPOXMLDOC01-appb-M000002
　画像が、Ｍ×Ｎ個の画素からなる場合、上記の（式２）は、以下の（式３）で表すことができる。
Figure JPOXMLDOC01-appb-M000003
　ぼやけの特徴を示す点広がり関数ｆ（ｘ，ｙ）が既知である場合、カメラ撮影によって得られた画像ｍ（ｘ，ｙ）に対して逆畳み込み演算（デコンボリューション）を行なうことにより、ぼやけの無い画像ｓ（ｘ，ｙ）を復元することができる。また、点広がり関数ｆ（ｘ，ｙ）が既知でない場合は、画像ｍ（ｘ，ｙ）からｆ（ｘ，ｙ）を推定した上でぼやけの無い画像ｓ（ｘ，ｙ）を求める必要がある。
　一般に、２つの関数の畳み込みは、各関数のフーリエ変換の積によって表される。このため、ｍ（ｘ，ｙ）、ｓ（ｘ，ｙ）、ｆ（ｘ，ｙ）のフーリエ変換を、それぞれ、Ｍ（ｕ，ｖ）、Ｓ（ｕ，ｖ）、Ｆ（ｕ，ｖ）と表すと、（式１）から、以下の（式４）が導かれる。なお、（ｕ，ｖ）は、周波数領域における座標であり、それぞれ、実画像におけるｘ方向およびｙ方向の空間周波数に対応している。
Figure JPOXMLDOC01-appb-M000004
　ここで、記号「・」は、周波数領域における関数の「積」を示している。（式４）を変形すると、以下の（式５）が得られる。
Figure JPOXMLDOC01-appb-M000005
　この（式５）は、カメラ撮影によって得られた画像ｍ（ｘ，ｙ）のフーリエ変換Ｍ（ｕ，ｖ）を、点広がり関数ｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）で除算して得られた関数が、理想画像ｓ（ｘ，ｙ）のフーリエ変換Ｓ（ｕ，ｖ）に相当することを示している。すなわち、Ｍ（ｕ，ｖ）およびＦ（ｕ，ｖ）が求まれば、Ｓ（ｕ，ｖ）を決定できる。Ｍ（ｕ，ｖ）は、カメラ撮影によって得られた画像（劣化画像）をフーリエ変換したものであるため、手振れの点広がり関数ｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）が求まれば、信号処理によって劣化画像から画像を復元する（真の画像に近づける）ことが可能になる。
　手振れの点広がり関数ｆ（ｘ，ｙ）は、撮影（露光）中における手振れの軌道に依存する。言い換えると、手振れの軌道はカメラ撮影毎に異なるため、ｆ（ｘ，ｙ）もカメラ撮影毎に変化する。ｆ（ｘ，ｙ）は、カメラ撮影によって得られた１枚または複数枚の画像から推定することも可能であるが、撮影（露光）中におけるカメラの動き（手振れ軌跡）をセンサによって検出して推定することも可能である。しかし、ｆ（ｘ，ｙ）は、推定または測定によって得られるものに過ぎず、何らかの誤差を含む。このため、理想画像ｓ（ｘ，ｙ）を完全に復元することは困難である。
　非特許文献２は、短い露光時間中における手振れの軌道を「等速直線運動」と仮定することにより、その点広がり関数のフーリエ変換をｓｉｎｃ関数で近似することを開示している。手振れの幅をＷ、手振れの方向をｘ軸方向とすると、（式５）の分母であるＦ（ｕ，ｖ）は、以下の（式６）で示される。
Figure JPOXMLDOC01-appb-M000006
　（式６）の右辺は、ｓｉｎｃ（ジンク）関数であり、その振幅は一定周期毎にゼロ（０）となる。この周期は、手振れの幅Ｗの逆数（１／Ｗ）である。なお、手振れの方向がｘ軸に対してθの角度を向く場合、Ｆ（ｕ、ｖ）は、（式６）の関数を角度θだけ回転させたものとなる。ただし、現実の手振れは、複雑な軌道を描くため、「等速直線運動」の仮定が充分に成立しない場合もある。
　ここで、（式５）の分母であるＦ（ｕ，ｖ）が周期的にゼロとなることが、画像の平坦部におけるリンギングの主たる発生原因であると考えられる。そこで、特許文献３、４、および非特許文献６、７では、撮影の際、露光時間中にシャッタを符号化パターンに従って開閉することにより、Ｆ（ｕ，ｖ）がゼロとなる点を少なくする方法を開示している。このとき周波数領域に変換されたＰＳＦであるＦ（ｕ，ｖ）にゼロ点が生じないように、シャッタの符号化パターンは決められなければならない。
　そこで、非特許文献６、７では、予め既知のＰＳＦに対して、符号化パターンを様々に変えながら画像の復元を行うことで、特定のＰＳＦに対して最適な符号化パターンを探索している。この方法では、特定のＰＳＦに対して求めた符号化パターンが、様々なシーンの撮影において利用される。そのため、符号化パターンを決めたＰＳＦとは異なるＰＳＦが周波数領域に変換されたＦ（ｕ，ｖ）では、ゼロ点が生じる可能性がある。また、符号化パターンを探索するために、符号化パターンごとに撮影および復元処理を行なう必要があるので、符号化パターンの探索に要する計算量が多くなる。
　そこで、以下に説明する本発明の実施の形態では、撮像装置は、露光時間中に複数の画像を連続して撮影する。そして、撮像装置は、連続して撮影した複数の画像におけるブレを示す第１ＰＳＦを取得する。さらに、撮像装置は、周波数領域に変換された第１ＰＳＦの振幅値を解析することで、第１ＰＳＦを、周波数領域においてゼロ点が存在しない第２ＰＳＦに変換する。撮像装置は、このようにして得られる第２ＰＳＦを用いて各画像に変換処理を施し、変換処理後の画像を合成することにより、ブレに適応した符号化パターンで符号化された劣化画像を得ることができる。そして、撮像装置は、このように得られた劣化画像に対して、第２ＰＳＦを用いた復元処理を行う。このように、本発明の実施の形態に係る撮像装置は、ＰＳＦにゼロ点が生じないように符号化された劣化画像を、複数の入力画像にわたって発生しているブレに適応して生成することができる。したがって、処理負荷の増大を抑制しつつ、リンギングの発生を安定して抑制することが可能となる。
　なお、本明細書において「露光時間」とは、連写による撮影の開始から終了までの時間を示す。また、連続して撮影された複数の画像を、適宜、連写画像と記載する。
　以下に、本発明の実施の形態について、図面を参照しながら詳細に説明する。
　まず、本実施の形態における符号化の概念について図４を用いて説明する。符号化とは、画像の露光情報を特定のパターン（符号化パターン）で変換する処理であり、露光符号化と呼ばれる。露光符号化とは、露光時間中に光を通す状態と、光を通さない状態という２つの状態を作り出すことで、入射する光を時間的に不連続な光信号に変換することである。このとき、光を通す状態と光を通さない状態とによって形成されるパターンを符号化パターンという。
　例えば、手振れが真横に等速で生じている場合を考える。露光時間がＴであり、符号化パターンを構成する区間が９つである場合、各区間の時間はＴ／９となる。このとき、光を通す区間を符号「１」で表わし、光を通さない区間を符号「０」で表わす。つまり、符号「１」は、撮像素子に光が入射するＯＮ状態を示す。また、符号「０」は、光が遮られることで撮像素子に光が入射しないＯＦＦ状態を示す。
　ここで、符号化が行われない場合、図４（ａ）に示すように、露光時間中の各区間の符号は全て「１」（ＯＮ状態）であり、符号化パターンは｛１１１１１１１１１｝となる。このとき、撮像素子は、露光時間Ｔの全てにおいて光を受光する。
　一方、符号化が行われた場合、露光時間中の各区間の符号は、「１」と「０」とが切り替わる。このとき、撮像素子は、露光時間Ｔのうち符号「１」の区間においてのみ光を受光する。例えば、符号化パターンが｛１０１１０１１１０｝の場合、図４（ｂ）に示すように、露光時間中にＯＮ状態とＯＦＦ状態とが切り替えられる。
　このような露光時間中に撮像素子に光を通す状態と光を通さない状態とを切り替える符号化を、連写画像を利用して実現する場合を考える。符号化パターンが、図４（ｂ）の例と同じ｛１０１１０１１１０｝であるとする。この場合、図４（ｃ）に示すように、一回の露光時間に９枚の画像を連写するとき、撮影した９枚の画像のうち２枚目５枚目、および９枚目の画像（ハッチングされた画像）の画素値をすべて０に変換した後、９枚の画像を加算する。つまり、連続して撮影された複数の画像のうち、符号「１」の区間に対応する画像のみを加算する。このようにして得られる画像は、図４（ｂ）のように露光時間中に光を遮ることにより得られる画像と本質的に同一となる。つまり、連続して撮影された複数の画像の組み合わせを変更することにより、撮影後に符号化パターンを変更することができる。
　次に、符号化がＰＳＦに及ぼす影響について図５および図６を用いて説明する。
　図５は、空間領域におけるＰＳＦの模式図である。具体的には、図５（ａ）は、符号化が行われていない場合の空間領域におけるＰＳＦの一例を示す図である。また、図５（ｂ）は、符号化が行われた場合の空間領域におけるＰＳＦの一例を示す図である。なお、図５は、ｘ軸方向に切断した一断面におけるＰＳＦを図示したものである。
　ブレの方向がｘ軸方向である場合、符号化が行われることにより、ＰＳＦは、図５（ａ）から図５（ｂ）のように変換される。
　図６は、周波数領域に変換されたＰＳＦの模式図である。具体的には、図６（ａ）は、図５（ａ）のＰＳＦを空間領域から周波数領域に変換したときの振幅特性を示す模式図である。同様に、図６（ｂ）は、図５（ｂ）のＰＳＦを空間領域から周波数領域に変換したときの振幅特性を示す模式図である。なお、図６は、ｕ軸方向に切断した一断面についてＰＳＦを図示したものである。
　図６（ａ）に示すように、図５（ａ）のＰＳＦ（矩形波）を周波数領域に変換した場合、ＰＳＦは、ｓｉｎｃ関数となる。したがって、周期的に振幅値が０になる点（ゼロ点）が存在する。
　一方、図６（ｂ）に示すように、図５（ｂ）の符号化により得られたＰＳＦを周波数領域に変換した場合、ＰＳＦは、ｓｉｎｃ関数とは異なり、振幅値が０になる点が存在しない。このように、符号化により、各周波数において振幅値が０とならないＰＳＦを得ることができる。このように得られるＰＳＦを用いて復元処理を行なうことにより、リンギングノイズがない復元画像を得ることができる。
　以上のように、露光を符号化することによって周波数領域において振幅値が０にならないようなＰＳＦを得ることができる。本実施の形態では、撮影時に光を遮ることで露光符号化を行うのではなく、連続して撮影された複数の入力画像のそれぞれにおいて画素値を変化させ、変化後の複数の入力画像を合成することで露光符号化を行う。具体的には、各入力画像をＬ倍（ただし、Ｌは０～１の実数）することで符号化を行う。このように、本実施の形態では、撮影中に露光を遮る撮影を行なう必要がないため、撮影終了後に様々な符号化パターンを選択することができる。
　次に、本実施の形態に係る撮像装置の機能構成について説明する。　図７は、本発明の実施の形態に係る撮像装置１００の機能構成を示すブロック図である。本実施の形態における撮像装置１００は、デジタル式の電子カメラである。ただし、撮像装置１００は、必ずしもデジタル式の電子カメラである必要はない。
　撮像装置１００は、図７に例示するように、撮像部３００と、各種信号処理および画像の復元処理を行う信号処理部２００と、画像を表示する表示部６００と、画像データを記録する記録部５００と、各部を制御するシステム制御部４００とを備える。
　撮像部３００は、連続して複数の画像を撮影する。具体的には、撮像部３００は、撮像面上に配列された複数の光感知セル（フォトダイオード）を備える撮像素子（イメージセンサ）３１０と、絞り機能を有するシャッタ３２５と、撮像素子３１０の撮像面上に像を形成するための撮影レンズ３２０とを有する。また、撮像部３００は、画像を連続して撮影（連写）する際に連続する画像データを一時的に格納する内部メモリ３５０を有する。
　撮像素子３１０は、典型的には、ＣＣＤセンサまたはＣＭＯＳセンサである。
　撮影レンズ３２０は、公知の構成を有しており、一般的には複数のレンズから構成されたレンズユニットである。シャッタ３２５および撮影レンズ３２０は、不図示の駆動機構によって駆動され、光学ズーミング、自動露光（ＡＥ：Ａｕｔｏ　Ｅｘｐｏｓｕｒｅ）、あるいはオートフォーカス（ＡＦ：Ａｕｔｏ　Ｆｏｃｕｓ）に必要な動作が実行される。
　撮像部３００は、さらに、撮像素子３１０を駆動する撮像素子駆動部３３０を有する。撮像素子駆動部３３０は、例えばＣＣＤドライバなどの半導体集積回路から構成される。撮像素子駆動部３３０は、それぞれ撮像素子３１０を駆動することにより、撮像素子３１０からアナログ信号（光電変換信号）をそれぞれ読み出してデジタル信号に変換する。
　撮像部３００は、さらに、撮影時の手振れを検出する手振れ検出部３４５を備える。手振れ検出部３４５は、例えば公知のジャイロスコープや加速度センサなどである。手振れ検出部３４５は、露光時間中における撮像装置１００の動きを検出し、手振れの軌跡を示す情報（手振れ情報）を生成する。生成された手振れ情報は、信号処理部２００に入力され、画像復元処理で利用する第１ＰＳＦを取得する処理に用いられる。
　信号処理部２００は、劣化画像の復元処理を実行する。つまり、信号処理部２００は、連続して撮影された複数の入力画像が合成された画像に発生するブレを低減させる。
　また、信号処理部２００は、色調補正、解像度変更、あるいはデータ圧縮などの各種信号処理を行ってもよい。なお、信号処理部２００における劣化画像の復元処理の詳細は図８を用いて後述する。
　信号処理部２００は、公知のデジタル信号処理プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）などのハードウェアと、画像処理を実行するためのソフトウェアとの組合せによって好適に実現される。
　メモリ２４０は、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などによって構成される。このメモリ２４０は、撮像部３００から得られた画像データを記録するとともに、信号処理部２００によって各種の画像処理を受けた画像データや、圧縮された画像データを一時的に記憶する。画像データは、アナログ信号に変換された後、表示部６００によって表示され、あるいは、デジタル信号のまま記録部５００に記録される。画像データは、不図示の通信装置を介して、無線または有線で他の装置（不図示）に送信されてもよい。
　システム制御部４００は、上記の撮像部３００、信号処理部２００、メモリ２４０、記録部５００、および表示部６００を制御する。システム制御部４００は、不図示の中央演算処理ユニット（ＣＰＵ：Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）およびフラッシュメモリを含む。
　なお、本実施の形態の撮像装置は、光学ファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。
　以下、図８を参照しながら本実施の形態における信号処理部２００の構成をより詳細に説明する。
　図８は、本発明の実施の形態に係る信号処理部２００の機能構成を示すブロック図である。信号処理部２００は、画像入力部１１００と、ＰＳＦ取得部１２００と、ＰＳＦ変換部１３００と、画像変換部１４００と、画像復元部１５００と、画像出力部１６００とを備える。
　画像入力部１１００は、撮像部３００によって連続して撮影された複数の入力画像を取得する。
　ＰＳＦ取得部１２００は、ジャイロセンサや加速度センサなどのセンサ情報に基づいて、画像入力部１１００が取得した複数の入力画像にわたって発生しているブレを示す第１ＰＳＦを取得する。具体的には、ＰＳＦ取得部１２００は、例えば、複数の入力画像が撮影されたときに手振れ検出部３４５によって検出された手振れ情報を用いて第１ＰＳＦを算出する。
　ＰＳＦ変換部１３００は、ＰＳＦ取得部１２００から得られる第１ＰＳＦを第２ＰＳＦに変換する。具体的には、ＰＳＦ変換部１３００は、周波数領域において各周波数の振幅値が閾値未満とならないように第１ＰＳＦを加工することにより第２ＰＳＦを生成する。つまり、ＰＳＦ変換部１３００は、周波数領域において各周波数の振幅値が閾値以上となる第２ＰＳＦを第１ＰＳＦに基づいて生成する。
　画像変換部１４００は、第２ＰＳＦに基づいて、画像入力部１１００が取得した複数の入力画像をそれぞれ変換する。具体的には、画像変換部１４００は、第２ＰＳＦのうち各入力画像に対応する部分を用いて、複数の入力画像をそれぞれ変換することにより、複数の変換画像を生成する。
　画像復元部１５００は、複数の変換画像が合成された劣化画像（符号化された劣化画像）に対して、第２ＰＳＦを用いた復元処理を施すことにより、復元画像を生成する。なお、複数の変換画像が合成された画像は、各変換画像を構成する画素の画素位置ごとに、画素値を加算することにより得られる。
　画像出力部１６００は、生成された復元画像を出力する。画像出力部１６００は、復元画像を、例えば、記録部５００および表示部６００の少なくとも一方に出力する。
　なお、図８に示す信号処理部２００の構成は、一例であり、信号処理部２００は、他の機能ブロックに分割され得る。信号処理部２００は、例えば公知のハードウェアに画像処理のソフトウェアを組み込むことによっても好適に実現される。
　次に、以上のように構成された信号処理部２００における各種処理について説明する。
　図９は、本発明の実施の形態に係る信号処理部２００における劣化画像の復元処理の流れを示すフローチャートである。また、図１０は、本発明の実施の形態に係るＰＳＦ変換部１３００におけるＰＳＦ変換処理の流れを示すフローチャートである。また、図１１は、本発明の実施の形態に係る画像変換部１４００における画像変換処理の流れを示すフローチャートである。
　まず、画像入力部１１００は、撮像部３００において連写され、撮像部３００の内部メモリ３５０に蓄えられた複数（ｎ枚：ｎは２以上の整数）の入力画像ｍi（ｘ，ｙ）（ｉは１～ｎの整数）を取得する（Ｓ１０１）。
　続いて、ＰＳＦ取得部１２００は、複数の入力画像が撮影されたときに手振れ検出部３４５によって検出された手振れ情報を取得する。さらに、ＰＳＦ取得部１２００は、取得した複数の入力画像の画素値を画素位置ごとに加算することにより劣化画像を生成する。そして、ＰＳＦ取得部１２００は、手振れ情報と劣化画像とに基づいて、複数の入力画像にまたがって発生したブレを示す第１ＰＳＦ（ｆ１（ｘ，ｙ））を取得する（Ｓ１０２）。
　なお、ＰＳＦ取得部１２００は、必ずしも手振れ情報と劣化画像との両方に基づいて、第１ＰＳＦを取得する必要はない。例えば、ＰＳＦ取得部１２００は、手振れ情報と劣化画像とのうち手振れ情報にのみ基づいて、第１ＰＳＦを取得してもよい。ただし、劣化画像を用いた信号処理によって算出したＰＳＦも利用して第１ＰＳＦを取得することで、ＰＳＦ取得部１２００は、被写体ぶれと手振れとの両方のブレを示す第１ＰＳＦを取得することができる。
　次に、ＰＳＦ変換部１３００は、周波数領域において各周波数の振幅値が閾値未満とならないように第１ＰＳＦを加工することにより、第２ＰＳＦを生成する（Ｓ１０３）。具体的には、ＰＳＦ変換部１３００では、図１０に示す処理が行われる。
　ＰＳＦ変換部１３００は、まず、ＰＳＦ取得部１２００が取得した第１ＰＳＦを空間領域から周波数領域に変換することにより、周波数毎の振幅値を算出する（Ｓ２０１）。ここで、空間領域における第１ＰＳＦをｆ１（ｘ，ｙ）と表わし、周波数領域における第１ＰＳＦをＦ１（ｕ，ｖ）と表わす。
　次に、ＰＳＦ変換部１３００は、周波数領域において第１ＰＳＦの振幅値が閾値ｆｔｈ未満（｜Ｆ１（ｕ，ｖ）｜＜ｆｔｈ）となる周波数（ｕ’，ｖ’）を特定する（Ｓ２０２）。
　次に、ＰＳＦ変換部１３００は、特定した周波数（ｕ’，ｖ’）において振幅値を閾値ｆｔｈ以上の所定値に変更することにより第２ＰＳＦを生成する（Ｓ２０３）。ここで生成される第２ＰＳＦは、周波数領域における第２ＰＳＦであり、Ｆ２（ｕ，ｖ）と表わす。
　最後に、ＰＳＦ変換部１３００は、Ｆ２（ｕ，ｖ）を周波数領域から空間領域に逆変換する（Ｓ２０４）。ここで、空間領域に変換された第２ＰＳＦをｆ２（ｘ，ｙ）と表わす。このように得られる第２ＰＳＦには、周波数領域においてゼロ点が存在しない。そのため、第２ＰＳＦを用いた復元処理によって得られる復元画像には、リンギングノイズが発生しない。
　図９のフローチャートの説明に戻る。
　画像変換部１４００は、第２ＰＳＦのうち各入力画像に対応する部分を用いて、複数の入力画像をそれぞれ変換することにより、変換画像を生成する（Ｓ１０４）。具体的には、画像変換部１４００では、図１１に示す処理が行われる。
　画像変換部１４００は、まず、第２ＰＳＦが示すブレが検出された時間と、各入力画像が撮影された時間とに基づいて、第２ＰＳＦのうち各入力画像に時間的に対応する部分を決定する（Ｓ３０１）。具体的には、画像変換部１４００は、例えば、第２ＰＳＦを構成する複数の画素のうち入力画像に時間的に対応するブレを示す画素（例えば一画素）を入力画像に対応する部分と決定する。
　続いて、画像変換部１４００は、各入力画像に対応する部分を用いて複数の入力画像をそれぞれ変換する（Ｓ３０２）。具体的には、画像変換部１４００は、以下の（式７）に従って入力画像ｍi（ｘ，ｙ）を変換画像ｍi’（ｘ，ｙ）に変換する。例えば、画像変換部１４００は、（式７）に示すように、入力画像と当該入力画像に対応する第２ＰＳＦの部分との畳み込みによって変換画像をそれぞれ生成する。なお、（式７）において、ｆ２i（ｘ，ｙ）は、入力画像ｍi（ｘ，ｙ）に対応する第２ＰＳＦの部分を示す。
Figure JPOXMLDOC01-appb-M000007
　次に、画像復元部１５００は、劣化画像ｓ’（ｘ，ｙ）に対して、第２ＰＳＦを用いた復元処理を施すことにより復元画像を生成する（Ｓ１０５）。ここで、劣化画像ｓ’（ｘ，ｙ）は、変換画像ｍi’（ｘ，ｙ）を単に合成した画像であり、以下の（式８）によって求められる。
Figure JPOXMLDOC01-appb-M000008
　この劣化画像ｓ’（ｘ，ｙ）は、ＰＳＦにゼロ点が生じないように符号化された劣化画像に相当する。
　なお、画像復元部１５００が実行する復元処理のアルゴリズムは、特に限定されず、公知の画像復元処理のいずれであってもよい。画像復元部１５００は、例えば、公知のリチャードソンルーシ（ＬＲ）法やウィーナフィルタ法などを用いて復元処理を実行することができる。また、画像復元部１５００は、非特許文献１に開示されたスパースコーディング法を用いて復元処理を実行してもよい。また、画像復元部１５００は、最も単純には、以下の（式９）により、復元画像ｒ（ｘ，ｙ）を生成してもよい。
Figure JPOXMLDOC01-appb-M000009
　なお、（式９）において、Ｒ（ｕ，ｖ）およびＳ’（ｕ，ｖ）は、周波数領域に変換された、復元画像および符号化された劣化画像を示す。つまり、（式９）によって算出されるＲ（ｕ，ｖ）を空間領域に逆変換することにより、復元画像ｒ（ｘ，ｙ）が得られる。
　次に、画像出力部１６００は、以上のようにして得た復元画像を出力し（Ｓ１０６）、処理を終了する。これにより、復元画像は、例えば記録部５００に記録され、あるいは表示部６００によって表示される。
　次に、本発明の実施の形態に係る信号処理部２００における処理の説明を補足するために、復元処理のシミュレーション結果について説明する。なお、説明の便宜のため、以下において、ｘ軸方向あるいはｕ軸方向の一断面のみを示した図を用いて説明する。
　図１２は、理想画像の一例を示す図である。また、図１３は、理想画像の周波数特性の一例を示す図である。また、図１４は、第１ＰＳＦの一例を示す図である。また、図１５は、第１ＰＳＦの周波数特性の一例を示す図である。また、図１６は、劣化画像の一例を示す図である。図１７は、劣化画像の周波数特性の一例を示す図である。
　本シミュレーションでは、図１２に示す信号を、手振れの存在しない画像信号（理想画像）と設定した。図１２では、横軸がｘ軸方向の画素番号を示し、縦軸が画素値を示す。また、図１４に示すように第１ＰＳＦを設定した。図１４では、横軸がｘ軸方向の画素番号を示し、縦軸がＰＳＦ強度を示す。
　そして、図１４に示す第１ＰＳＦを用いて、図１２に示す理想画像にぼやけ処理を施すことにより、図１６に示す劣化画像を得た。　図１３、図１５および図１７は、図１２、図１４および図１６に示す画像またはＰＳＦを周波数領域に変換したときの周波数特性を示す。図１３、図１５および図１７では、横軸がｕ軸方向の空間周波数を示し、縦軸が振幅値を示す。図１５に示す第１ＰＳＦの周波数特性を見れば、第１ＰＳＦには、周波数領域において振幅値がゼロとなる空間周波数（ゼロ点）が存在することがわかる。
　ここで、まず、従来の画像復元方法によるシミュレーション結果について説明する。最も単純な画像復元方法は、（式５）に示す方法である。したがって、本シミュレーションでは、（式５）による画像復元方法を従来の画像復元方法として扱う。
　図１８は、従来の画像復元方法によって得られる復元画像の一例を示す図である。図１８に示す復元画像は、図１７に示す劣化画像の周波数成分を図に示す第１ＰＳＦの周波数成分を用いて周波数毎に割り算を行うことにより得た画像である。
　ただし、図１５に示すように、周波数領域において第１ＰＳＦの振幅値がゼロになる周波数が含まれる。そのため、従来の画像復元方法では、振幅値がゼロになる周波数では、（式５）に示す割り算を行うことができない。そこで、振幅値がゼロになる周波数では、一定値（本シミュレーションでは「１０」としたが不定値であるため、値は実装・システムによって適宜自由に設定される）を割り算の結果として扱う。
　図１８に示す復元画像から明らかなように、従来の画像復元方法では、画素値が変化する変化点において正しく画像を復元できず、リンギングノイズが発生している。
　次に、本発明の実施の形態に係る画像復元方法によるシミュレーション結果について説明する。
　図１９は、第２ＰＳＦの一例を示す図である。また、図２０は、第２ＰＳＦの周波数特性の一例を示す図である。また、図２１は、本発明の実施の形態に係る画像復元方法によって得られる復元画像の一例を示す図である。
　まず、ＰＳＦ変換部１３００は、図１５に示す第１ＰＳＦの周波数特性を参照して、振幅値が閾値ｆｔｈより小さい周波数を探索する。本シミュレーションでは、閾値ｆｔｈを「０．００１」と設定した。そして、ＰＳＦ変換部１３００は、図２０に示すように、探索した周波数の振幅値を所定値ｐｖに変更することによって、第２ＰＳＦを算出した。ここでは、所定値ｐｖを「０．５」と設定した。
　図２０に示す第２ＰＳＦを周波数領域から空間領域に逆変換することで、図１９に示す第２ＰＳＦが得られる。
　なお、図１９から、第２ＰＳＦは、従来とは異なり負の値にもなりうることがわかる。特許文献３、特許文献４、非特許文献６、および非特許文献７に示されている“Ｃｏｄｅｄ　Ｅｘｐｏｓｕｒｅ　Ｐｈｏｔｏｇｒａｈｙ”では、符号化を行なうことにより、０～１で表されるＰＳＦの値を一時的に０にしている。つまり、総和が１であるＰＳＦを、部分的に０にすることで（すなわち光量を減らすことで）、周波数領域において振幅値がゼロにならない方法を示していた。本実施の形態では、ＰＳＦを実数倍することで、全体の光量を示すＰＳＦの総和は１のままでリンギングを無くすことができる。
　次に、画像変換部１４００は、図１９に示す第２ＰＳＦのうち各入力画像に対応する部分を用いて複数の入力画像のそれぞれに変換処理を施すことにより、複数の変換画像を生成する。このように生成された複数の変換画像が合成された劣化画像は、符号化されたときに得られる劣化画像に相当する。
　次に、画像復元部１５００は、複数の変換画像が合成された劣化画像と図１９に示す第２ＰＳＦを用いて復元処理を行うことにより、復元画像を生成する。図２１は、このように生成された復元画像を示す。
　図２１に示すように、本実施の形態に係る画像復元方法によって得られる復元画像は、図１２に示す理想画像と同一となる。このことから、本実施の形態に係る画像復元方法によれば、リンギングが無い復元画像を生成可能であることが確認できる。
　なお、上記のシミュレーションにおいて、ＰＳＦ変換部１３００は、周波数領域における第１ＰＳＦの振幅値が閾値（ｆｔｈ＝０．００１）未満となる周波数において、振幅値を所定値（ｐｖ＝０．５）に変更したが、閾値ｆｔｈおよび所定値ｐｖは、必ずしもこれらの値である必要はない。所定値ｐｖを大きくすれば、特定の周波数の振幅値が大きくなるため、特定の周波数における第２ＰＳＦのＰＳＦ強度が増幅される。極端な例では、一周波数においてのみ、第２ＰＳＦのＰＳＦ強度が強く増幅される場合もある。このような場合、複数の入力画像のうち、特定の１枚の入力画像の輝度が増幅され、他の入力画像の輝度が減衰されて、符号化された劣化画像が生成されることになる。複数の入力画像のそれぞれには、ブレは無いが、画像の明るさは暗い。そのため、過度に入力画像の輝度が増幅されれば、ノイズの増加につながる。したがって、所定値ｐｖを過度に大きくすることは好ましくない。
　また、閾値ｆｔｈを大きくすれば、各画素における第２ＰＳＦの絶対値（ＰＳＦ強度）が大きくなる。その結果、各入力画像の画素値の増幅量が増加する。したがって、閾値ｆｔｈも過度に大きくすることは望ましくない。
　以上のことから、上記実施の形態において、ＰＳＦ変換部１３００は、所定値ｐｖと閾値ｆｔｈとを変更しながら、ＰＳＦ強度が過度に大きくなりすぎない第２ＰＳＦを探索することが好ましい。具体的には、ＰＳＦ変換部１３００は、所定値ｐｖと閾値ｆｔｈとを仮設定し、第２ＰＳＦのＰＳＦ強度が過度に大きくなりすぎていないかを確認することを繰り返すことにより、第２ＰＳＦのＰＳＦ強度が過度に大きくなりすぎないときの所定値ｐｖと閾値ｆｔｈとを探索することが好ましい。このように所定値ｐｖと閾値ｆｔｈとを探索しても、従来の非特許文献７のようにＰＳＦを用いた復元処理を繰り返し行う必要がないため、計算量の増加は抑制される。
　なお、上記シミュレーションでは、所定値ｐｖと閾値ｆｔｈとは、全周波数帯域において一定値であったが、必ずしも一定値でなくてもよい。
　リンギングノイズは、画像の平坦部分（低周波成分）に出現するノイズであると考えられる。そこで、所定値ｐｖと閾値ｆｔｈとは、周波数が小さいほど、値が大きくなるように設定されることが好ましい。つまり、第１周波数の振幅値を変更するときに用いられる所定値ｐｖは、第１周波数よりも高い周波数である第２周波数の振幅値を変更するときに用いられる所定値ｐｖよりも大きいことが好ましい。また、第１周波数を特定するときに用いられる閾値ｆｔｈは、第１周波数よりも高い周波数である第２周波数を特定するときに用いられる閾値ｆｔｈよりも大きいことが好ましい。これにより、低周波部分で生じるノイズであるリンギングノイズを効率的に低減させることが可能となる。
　つまり、信号処理部２００は、所定値ｐｖを周波数に応じて変化させることにより、振幅値が変更された周波数において低周波数の振幅値を高周波数の振幅値よりも大きくすることができる。したがって、信号処理部２００は、低周波領域において生じるノイズであるリンギングノイズを効率的に低減させることが可能となる。
　さらに、信号処理部２００は、閾値ｆｔｈを周波数に応じて変化させることにより、リンギングノイズの原因となる小さな振幅値を低周波領域において効率的に排除することができる。したがって、信号処理部２００は、低周波領域において生じるノイズであるリンギングノイズを効率的に低減させることが可能となる。
　また、入力画像の性質を考慮して閾値ｆｔｈと所定値ｐｖとを設定してもよい。（式５）に示すように、復元処理を行なう際の割り算では、分子が劣化画像の周波数成分であり、分母が第２ＰＳＦの周波数成分である。分子である劣化画像の周波数成分が０である場合、分母である第２ＰＳＦの周波数成分はが０であるときを除いて、除算結果は０になる。したがって、周波数領域において劣化画像の振幅値が０となる周波数では、閾値ｆｔｈと所定値ｐｖとはできるだけ小さい値に設定されることが好ましい。これにより、閾値ｆｔｈと所定値ｐｖとが大きくなることで生じる、入力画像の輝度が増幅されることによるノイズ増加の影響を、低減させることが可能となる。
　なお、閾値ｆｔｈと所定値ｐｖは、入力画像のノイズ量に応じて決定されてもよい。つまり、閾値ｆｔｈと所定値ｐｖとは、入力画像のＳ／Ｎ比によって決定されてもよい。具体的には、閾値ｆｔｈと所定値ｐｖとは、入力画像に生じているノイズが大きいほど小さくなるように決定された値であることが好ましい。
　例えば、ＰＳＦ変換部１３００は、撮影シーンの明るさに対応する閾値ｆｔｈと所定値ｐｖとの組み合せをメモリに格納しておき、入力画像が撮影されたときに計測された明るさに対応する閾値ｆｔｈと所定値ｐｖとの組み合せをメモリから読み出すことにより、閾値ｆｔｈと所定値ｐｖとを決定すればよい。一般的に、撮影シーンの明るいほどノイズは小さくなる。
　なお、ＰＳＦ変換部１３００は、撮影シーンの明るさの代わりに、撮影条件（例えば、ＩＳＯ感度）、あるいは入力画像におけるＳ／Ｎ比を利用して、閾値ｆｔｈと所定値ｐｖとを決定してもよい。
　このように、閾値ｆｔｈと所定値ｐｖとを、入力画像に生じているノイズが大きいほど小さくなるように決定することにより、信号処理部２００は、振幅値を変更することにより復元画像においてノイズが増幅されるという弊害を抑制することができる。
　以上のように、本実施の形態に係る撮像装置１００は、複数の入力画像にわたって発生しているブレを示す第１ＰＳＦを加工することにより、周波数領域において各周波数の振幅値が閾値以上である第２ＰＳＦを生成する。そして、撮像装置１００は、第２ＰＳＦの各部分を用いて、各入力画像を変換する。このように変換された複数の入力画像が合成された画像は、ＰＳＦにゼロ点が生じないように符号化された劣化画像に相当する。つまり、撮像装置１００は、ＰＳＦにゼロ点が生じないように符号化された劣化画像を、複数の入力画像にわたって発生しているブレに適応して生成することができる。したがって、撮像装置１００は、予め符号化パターンを決定する必要がないので、リンギングの発生を安定して抑制することができる。さらに、撮像装置１００は、ＰＳＦにゼロ点が生じないように符号化された劣化画像を生成するために復元処理を繰り返す必要もない。したがって、撮像装置１００は、処理負荷の増大も抑制することができる。
　また、本実施の形態に係る撮像装置１００は、第１ＰＳＦの振幅値が閾値未満となる周波数において振幅値を変更することにより、第２ＰＳＦを生成する。したがって、撮像装置１００は、複数の入力画像にわたって発生しているブレにより適応した符号化された劣化画像を生成することができる。つまり、撮像装置１００は、よりブレが少ない復元画像を生成することが可能となる。
　以上、本発明の一態様に係る撮像装置１００について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施した形態も、本発明の範囲内に含まれる。
　例えば、上記実施の形態において、ＰＳＦ変換部１３００は、第１ＰＳＦの振幅値を所定値に変更することにより第２ＰＳＦを生成していたが、他の方法によって第２ＰＳＦを生成してもよい。具体的には、ＰＳＦ変換部１３００は、例えば、特定した周波数の振幅値が閾値以上となるオフセットＰＳＦを生成し、オフセットＰＳＦと第１ＰＳＦとを周波数領域において加算することにより、第２ＰＳＦを生成してもよい。オフセットＰＳＦは、例えば、特定した周波数の振幅値のみが閾値以上の一定値となり、かつ、他の周波数の振幅値が０となる関数である。
　また、上記実施の形態において、ＰＳＦ変換部１３００は、第１ＰＳＦの振幅値が閾値未満となる周波数においてのみ振幅値を変更していたが、第１ＰＳＦの振幅値が閾値以上となる周波数においても振幅値を変更してもよい。例えば、ＰＳＦ変換部１３００は、第１ＰＳＦの振幅値が閾値未満となる周波数の近傍において、振幅値の変化が滑らかになるように振幅値を変更してもよい。
　また、本発明は、信号処理部２００が有する特徴的な処理部を備える画像復元装置として実現されてもよい。具体的には、画像復元装置１０は、例えば、図２２に示すように構成されればよい。
　図２２は、本発明の一態様に係る画像復元装置１０の機能構成を示すブロック図である。図２２に示す画像復元装置１０は、ＰＳＦ取得部１２００と、ＰＳＦ変換部１３００と、画像変換部１４００と、画像復元部１５００とを備える。この画像復元装置１０は、信号処理部２００と同様に、ＰＳＦにゼロ点が生じないように符号化された劣化画像を、連続して撮影された複数の入力画像を用いて、複数の入力画像にわたって発生しているブレに適応して生成することができる。したがって、画像復元装置１０は、処理負荷の増大を抑制しつつ、リンギングの発生を安定して抑制することが可能となる。
　また、図２２に示す画像復元装置１０が備える構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されてもよい。例えば、画像復元装置１０は、ＰＳＦ取得部１２００と、ＰＳＦ変換部１３００と、画像変換部１４００と、画像復元部１５００とを有するシステムＬＳＩ２０から構成されてもよい。
　システムＬＳＩ２０は、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｍｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
　なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
　また、本発明は、このような特徴的な処理部を備える画像復元装置として実現することができるだけでなく、画像復元装置に含まれる特徴的な処理部をステップとする画像復元方法として実現することもできる。また、画像復元方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、ＣＤ－ＲＯＭ等のコンピュータ読取可能な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
　本発明の一態様に係る画像復元装置は、画像の撮影中に手振れが生じる場合あるいは被写体が動く場合であっても、ブレが少ない画像を生成することができ、デジタルカメラ、ムービー、あるいは監視カメラ等として有用である。
　　１０　画像復元装置
　　２０　システムＬＳＩ
　１００　撮像装置
　２００　信号処理部
　２４０　メモリ
　３００　撮像部
　３１０　撮像素子
　３２０　撮影レンズ
　３２５　シャッタ
　３３０　撮像素子駆動部
　３４５　手振れ検出部
　３５０　内部メモリ
　５００　記録部
　６００　表示部
　１１００　画像入力部
　１２００　ＰＳＦ取得部
　１３００　ＰＳＦ変換部
　１４００　画像変換部
　１５００　画像復元部
　１６００　画像出力部

Claims (11)

  1. 　連続して撮影された複数の入力画像が合成された画像に発生するブレを低減させる画像復元装置であって、
    　前記複数の入力画像にわたって発生しているブレを示す第１ＰＳＦ（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）を取得するＰＳＦ取得部と、
    　周波数領域において各周波数の振幅値が閾値未満とならないように前記第１ＰＳＦを加工することにより第２ＰＳＦを生成するＰＳＦ変換部と、
    　前記第２ＰＳＦのうち各入力画像に対応する部分を用いて前記複数の入力画像をそれぞれ変換することにより、複数の変換画像を生成する画像変換部と、
    　前記複数の変換画像が合成された劣化画像に対して、前記第２ＰＳＦを用いた復元処理を施すことにより、復元画像を生成する画像復元部とを備える
    　画像復元装置。
  2. 　前記ＰＳＦ変換部は、周波数領域において前記第１ＰＳＦの振幅値が前記閾値未満である周波数を特定し、特定した前記周波数において振幅値を前記閾値以上の所定値に変更することにより、前記第１ＰＳＦを加工する
    　請求項１に記載の画像復元装置。
  3. 　第１周波数の振幅値を変更するときに用いられる前記所定値は、前記第１周波数よりも高い周波数である第２周波数の振幅値を変更するときに用いられる前記所定値よりも大きい
    　請求項２に記載の画像復元装置。
  4. 　前記所定値は、前記入力画像に生じているノイズが大きいほど小さくなるように決定された値である
    　請求項２に記載の画像復元装置。
  5. 　第１周波数を特定するときに用いられる前記閾値は、前記第１周波数よりも高い周波数である第２周波数を特定するときに用いられる前記閾値よりも大きい
    　請求項２に記載の画像復元装置。
  6. 　前記閾値は、前記入力画像に生じているノイズが大きいほど小さくなるように決定された値である
    　請求項２に記載の画像復元装置。
  7. 　前記画像変換部は、前記第２ＰＳＦが示すブレが検出された時間と、前記各入力画像が撮影された時間とに基づいて、前記第２ＰＳＦのうち各入力画像に時間的に対応する部分を決定し、決定した部分を用いて前記複数の入力画像をそれぞれ変換する
    　請求項１に記載の画像復元装置。
  8. 　前記ＰＳＦ変換部は、周波数領域において前記第１ＰＳＦの振幅値が前記閾値未満である周波数を特定し、特定した前記周波数の振幅値が前記閾値以上であるオフセットＰＳＦを生成し、前記オフセットＰＳＦと前記第１ＰＳＦとを加算することにより、前記第２ＰＳＦを生成する
    　請求項１に記載の画像復元装置。
  9. 　連続して撮影された複数の入力画像が合成された画像に発生するブレを低減させる集積回路であって、
    　前記複数の入力画像にわたって発生しているブレを示す第１ＰＳＦ（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）を取得するＰＳＦ取得部と、
    　周波数領域において各周波数の振幅値が閾値未満とならないように前記第１ＰＳＦを加工することにより第２ＰＳＦを生成するＰＳＦ変換部と、
    　前記第２ＰＳＦのうち各入力画像に対応する部分を用いて前記複数の入力画像をそれぞれ変換することにより、複数の変換画像を生成する画像変換部と、
    　前記複数の変換画像が合成された劣化画像に対して、前記第２ＰＳＦを用いた復元処理を施すことにより、復元画像を生成する画像復元部とを備える
    　集積回路。
  10. 　連続して撮影された複数の入力画像が合成された画像に発生するブレを低減させる画像復元方法であって、
    　前記複数の入力画像にわたって発生しているブレを示す第１ＰＳＦ（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）を取得するＰＳＦ取得ステップと、
    　周波数領域において各周波数の振幅値が閾値未満とならないように前記第１ＰＳＦを加工することにより第２ＰＳＦを生成するＰＳＦ変換ステップと、
    　前記第２ＰＳＦのうち各入力画像に対応する部分を用いて前記複数の入力画像をそれぞれ変換することにより、複数の変換画像を生成する画像変換ステップと、
    　前記複数の変換画像が合成された劣化画像に対して、前記第２ＰＳＦを用いた復元処理を施すことにより、復元画像を生成する画像復元ステップとを含む
    　画像復元方法。
  11. 　請求項１０に記載の画像復元方法をコンピュータに実行させるためのプログラム。
PCT/JP2011/004426 2010-08-05 2011-08-04 画像復元装置および画像復元方法 Ceased WO2012017662A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/499,733 US8600187B2 (en) 2010-08-05 2011-08-04 Image restoration apparatus and image restoration method
CN201180004125.6A CN102687500B (zh) 2010-08-05 2011-08-04 图像恢复装置以及图像恢复方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010176790A JP5204165B2 (ja) 2010-08-05 2010-08-05 画像復元装置および画像復元方法
JP2010-176790 2010-08-05

Publications (1)

Publication Number Publication Date
WO2012017662A1 true WO2012017662A1 (ja) 2012-02-09

Family

ID=45559181

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/004426 Ceased WO2012017662A1 (ja) 2010-08-05 2011-08-04 画像復元装置および画像復元方法

Country Status (4)

Country Link
US (1) US8600187B2 (ja)
JP (1) JP5204165B2 (ja)
CN (1) CN102687500B (ja)
WO (1) WO2012017662A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5543280B2 (ja) 2010-06-01 2014-07-09 キヤノン株式会社 画像処理装置、画像処理方法
JP5656705B2 (ja) * 2010-06-01 2015-01-21 キヤノン株式会社 撮像装置、撮像装置の制御方法
US8861884B1 (en) 2011-11-21 2014-10-14 Google Inc. Training classifiers for deblurring images
WO2013144427A1 (en) * 2012-03-26 2013-10-03 Nokia Corporation Method, apparatus and computer program product for image stabilization
WO2014136323A1 (ja) * 2013-03-04 2014-09-12 富士フイルム株式会社 復元フィルタ生成装置及び方法、画像処理装置、撮像装置、復元フィルタ生成プログラム並びに記録媒体
JP5833794B2 (ja) * 2013-03-27 2015-12-16 富士フイルム株式会社 撮像装置
US10128944B2 (en) * 2013-05-24 2018-11-13 Philips Lighting Holding B.V. Detecting coded light
CN104932868B (zh) * 2014-03-17 2019-01-15 联想(北京)有限公司 一种数据处理方法及电子设备
JP2015195439A (ja) * 2014-03-31 2015-11-05 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP6350205B2 (ja) * 2014-10-21 2018-07-04 富士通株式会社 処理装置、処理方法および処理プログラム
CN104539825B (zh) * 2014-12-18 2018-04-13 北京智谷睿拓技术服务有限公司 信息发送、接收方法及装置
US20160259758A1 (en) * 2015-03-04 2016-09-08 Animesh Khemka Digital Camera Simulation Using Spatially Varying PSF Convolutions
CN105956240B (zh) * 2016-04-25 2019-05-17 北京航空航天大学 一种用于宽带电磁分布探测的点扩展函数估计方法
CN110249619B (zh) * 2017-02-17 2021-04-20 富士胶片株式会社 图像处理装置、图像处理方法及相机系统
WO2018150695A1 (ja) * 2017-02-17 2018-08-23 富士フイルム株式会社 画像処理装置、画像処理方法、およびカメラシステム
WO2020061856A1 (en) * 2018-09-26 2020-04-02 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and device for recovering image passing through display
CN110062164B (zh) * 2019-04-22 2021-10-26 深圳市商汤科技有限公司 视频图像处理方法及装置
CN112950482B (zh) * 2019-12-10 2023-05-26 深圳大学 物体信息恢复方法、装置、计算机设备和存储介质
CN116704935B (zh) * 2023-06-15 2025-12-02 湖北长江新型显示产业创新中心有限公司 补偿数据的确定方法、亮度补偿方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008310797A (ja) * 2007-06-12 2008-12-25 Mitsubishi Electric Research Laboratories Inc カメラによって或るシーンから取得される画像内の動いている物体の解像度を高めるための方法
JP2009033292A (ja) * 2007-07-25 2009-02-12 Eastman Kodak Co 画像処理システム、撮像装置及び出力装置
JP2009522825A (ja) * 2006-05-08 2009-06-11 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド シーンの画像におけるぶれを低減する方法及びシーンの画像のぶれを除去する方法
JP2011109619A (ja) * 2009-11-20 2011-06-02 Canon Inc 画像処理方法および画像処理装置、プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001197357A (ja) 2000-01-12 2001-07-19 Hitachi Ltd 撮像装置
JP2006129236A (ja) 2004-10-29 2006-05-18 Sanyo Electric Co Ltd リンギング除去装置およびリンギング除去プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4469309B2 (ja) * 2005-06-22 2010-05-26 株式会社リコー 手ぶれ補正方法、手ぶれ補正装置、及び撮像装置
JP2007193508A (ja) * 2006-01-18 2007-08-02 Sanyo Electric Co Ltd 画像処理装置及び画像処理プログラム
US7639289B2 (en) 2006-05-08 2009-12-29 Mitsubishi Electric Research Laboratories, Inc. Increasing object resolutions from a motion-blurred image
US7756407B2 (en) 2006-05-08 2010-07-13 Mitsubishi Electric Research Laboratories, Inc. Method and apparatus for deblurring images
US20080144900A1 (en) * 2006-10-23 2008-06-19 Northwestern University Fast self-calibrating radial sensitivity encoded image reconstruction using rescaling and preconditioning
JP2009267523A (ja) * 2008-04-22 2009-11-12 Nikon Corp 画像復元装置及び撮像装置
US8886206B2 (en) * 2009-05-01 2014-11-11 Digimarc Corporation Methods and systems for content processing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009522825A (ja) * 2006-05-08 2009-06-11 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド シーンの画像におけるぶれを低減する方法及びシーンの画像のぶれを除去する方法
JP2008310797A (ja) * 2007-06-12 2008-12-25 Mitsubishi Electric Research Laboratories Inc カメラによって或るシーンから取得される画像内の動いている物体の解像度を高めるための方法
JP2009033292A (ja) * 2007-07-25 2009-02-12 Eastman Kodak Co 画像処理システム、撮像装置及び出力装置
JP2011109619A (ja) * 2009-11-20 2011-06-02 Canon Inc 画像処理方法および画像処理装置、プログラム

Also Published As

Publication number Publication date
JP5204165B2 (ja) 2013-06-05
US8600187B2 (en) 2013-12-03
US20120195520A1 (en) 2012-08-02
CN102687500A (zh) 2012-09-19
CN102687500B (zh) 2016-04-06
JP2012039326A (ja) 2012-02-23

Similar Documents

Publication Publication Date Title
JP5204165B2 (ja) 画像復元装置および画像復元方法
CN102907082B (zh) 摄像装置、图像处理装置、图像处理方法
US8654201B2 (en) Method for deblurring an image
US8390704B2 (en) Image deblurring using a spatial image prior
JP5237978B2 (ja) 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
CN101331754B (zh) 成像设备和成像方法
US8588541B2 (en) Method and device for image deblurring using joint bilateral filtering
CN102428694B (zh) 摄像装置以及图像处理装置
TWI382754B (zh) 調整模糊影像的方法
JPWO2011099244A1 (ja) 画像処理装置および画像処理方法
US8855416B2 (en) Image processing method and image processing apparatus
KR100793284B1 (ko) 디지털 영상의 손떨림 보정 장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체
WO2010093040A1 (ja) モーションブラー制御装置、方法、及びプログラム
JP5184574B2 (ja) 撮像装置、画像処理装置、および画像処理方法
JP5765893B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
US8649626B2 (en) Image processing apparatus and method
JP2012085205A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
Luo et al. Real‐time digital image stabilization for cell phone cameras in low‐light environments without frame memory
JP2009153046A (ja) ぶれ補正装置及び方法並びに撮像装置
WO2024129062A1 (en) Method and apparatus for unified multi-stage artificial intelligence-based image signal processing pipeline
Deever Improved image capture using liveview images
Sawada et al. A study of blind image restoration by fast image deconvolution utilizing hyper-laplacian prior

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180004125.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 13499733

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11814297

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11814297

Country of ref document: EP

Kind code of ref document: A1