WO2011145297A1 - 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

撮像装置、画像処理装置、画像処理方法、および画像処理プログラム Download PDF

Info

Publication number
WO2011145297A1
WO2011145297A1 PCT/JP2011/002637 JP2011002637W WO2011145297A1 WO 2011145297 A1 WO2011145297 A1 WO 2011145297A1 JP 2011002637 W JP2011002637 W JP 2011002637W WO 2011145297 A1 WO2011145297 A1 WO 2011145297A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
blur kernel
blur
unit
kernel
Prior art date
Application number
PCT/JP2011/002637
Other languages
English (en)
French (fr)
Inventor
育規 石井
物部　祐亮
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN201180024954.0A priority Critical patent/CN102907082B/zh
Priority to EP11783236.0A priority patent/EP2574039B1/en
Priority to JP2012515735A priority patent/JP5756099B2/ja
Priority to US13/697,686 priority patent/US9036032B2/en
Publication of WO2011145297A1 publication Critical patent/WO2011145297A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory

Definitions

  • the present invention relates to an imaging apparatus, an image processing apparatus, an image processing method, and an image processing program that generate a restored image in which blur caused by camera shake during imaging is reduced.
  • noise When an image is acquired (captured) with a digital camera, noise may be added to the image due to the characteristics of the CCD (Charge-Coupled Device) or CMOS readout circuit and the characteristics of the transmission path.
  • image blur due to out of focus (out-of-focus) at the time of imaging or blur due to camera shake or the like occurs.
  • the image is deteriorated due to the noise caused by the artificial operation at the time of photographing being added to the noise due to the characteristic unique to the captured image.
  • the blurring of the image due to the movement of the camera during shooting (exposure) may be referred to as “motion blur”.
  • the noise is also amplified. Therefore, the signal is buried in the noise, and the image occupies most of the noise in many cases.
  • the exposure time by increasing the exposure time, a lot of light generated on the spot is accumulated and an image with less noise can be obtained. In this case, the signal is not buried with noise, but there is a problem that the image is likely to be blurred due to camera shake.
  • optical camera shake correction such as lens shift and sensor shift.
  • the other is a method (restoration method by signal processing) in which the direction / magnitude of blur is obtained by the obtained image or sensor and the image is restored therefrom by signal processing.
  • the restoration method by signal processing is disclosed in, for example, Patent Document 1, Patent Document 2, Non-Patent Document 1, and Non-Patent Document 2.
  • Patent Document 1 Patent Document 1
  • Patent Document 2 Non-Patent Document 1
  • Non-Patent Document 2 Non-Patent Document 2.
  • the luminance distribution of the image formed on the imaging surface of the imaging element is represented by I (x, y).
  • the coordinates (x, y) are two-dimensional coordinates indicating the position of the pixel (photosensitive cell) on the imaging surface.
  • x and y are integers that satisfy the relationship of 0 ⁇ x ⁇ M ⁇ 1 and 0 ⁇ y ⁇ N ⁇ 1, respectively.
  • the position of each pixel constituting the image can be specified by coordinates (x, y).
  • the origin of coordinates (0, 0) is placed at the upper left corner of the image, and the x axis extends in the vertical direction and the y axis extends in the horizontal direction.
  • the method of taking the coordinates is arbitrary.
  • the luminance distribution of an image without blur is L (x, y), and PSF that defines blur, that is, a “Point Spread Function” is PSF (x, y).
  • PSF a “Point Spread Function”
  • the noise is n (x, y)
  • the following formula 1 is established.
  • the symbol “*” indicates a two-dimensional convolution operation (convolution).
  • the camera shake point spread function PSF (x, y) depends on the camera shake trajectory during shooting (exposure). Since the locus of camera shake differs for each camera shot, PSF (x, y) also changes for each camera shot.
  • the PSF convolution operation that defines blur due to camera shake is performed by a linear filter.
  • a linear filter for a two-dimensional convolution operation is usually represented by an integration kernel (kernel) consisting of coefficient rows having a size of N ⁇ N pixels.
  • N is an integer of 3 or more.
  • the PSF that defines blur can be expressed by a blur kernel. In order to restore an image with reduced blur (including an image from which blur is removed) from a blurred image, it is necessary to estimate a blur kernel that defines the blur.
  • Non-Patent Document 1 discloses that a multi-scale estimation scheme is used when a blur kernel and a restored image are estimated from a blurred image. ing.
  • a blur kernel having a size of 3 ⁇ 3 pixels is first estimated using a degraded image with low resolution. Then, by gradually increasing the resolution of the deteriorated image used for estimation, the resolution of the blur kernel is also increased.
  • FIGS. 19A to 19H are diagrams for explaining the method disclosed in Non-Patent Document 1.
  • FIG. The upper part of FIG. 19A shows a 3 ⁇ 3 pixel blur kernel, and the lower part shows a restored image having a corresponding resolution. The same applies to FIGS. 19B to 19H, but the resolution is gradually improved.
  • Patent Document 1 discloses a method for obtaining a restored image with reduced blur from two images acquired in succession.
  • a blur kernel is estimated from each of the first image and the second image acquired by exposure that is shorter than the first image.
  • One restored image is generated from the synthesized blur kernel obtained by synthesizing the two estimated blur kernels and the synthesized image obtained by synthesizing the first image and the second image.
  • the restoration process is performed only when the degree of blur included in the first image is large, and the restoration process is not performed when the degree of blur is small.
  • the final blur kernel size is preset to a fixed value. Therefore, in order to correctly perform restoration processing on a degraded image with a large degree of blurring, it is necessary to set the blur kernel size to a large value. Degraded images that contain large blurs that exceed the size of the set blur kernel cannot be restored correctly.
  • An object of the present invention is to reduce the amount of calculation required for restoration processing when the degree of blurring of a degraded image is small, and to obtain a restored image correctly even when the degree of blurring of the degraded image is large. It is to provide an image restoration technique that can be used.
  • An imaging apparatus is an imaging apparatus that generates a restored image in which blur caused by camera shake at the time of imaging is reduced.
  • a first image and an exposure time shorter than the first image And an image processing unit that performs a restoration process using the first image and the second image acquired by the imaging unit.
  • the image processing unit generates a restored image using a blur kernel determining unit that determines a blur kernel that defines blur due to camera shake in the first image acquired by the imaging unit, and the determined blur kernel
  • An image restoration unit, and the blur kernel determination unit changes a size of the blur kernel in accordance with an exposure time when the first image is acquired.
  • the blur kernel determining unit increases the size of the blur kernel as the exposure time increases.
  • the imaging apparatus further includes a conversion table that defines a correspondence relationship between the exposure time and the size of the blur kernel, and the blur kernel determination unit is configured to determine the blur kernel based on the conversion table. Determine the size.
  • the conversion table defines a correspondence relationship between the exposure time and a magnification from a reference size of the blur kernel.
  • the blur kernel determination unit determines a second blur kernel that defines blur due to camera shake in the second image
  • the image restoration unit Generates the restored image using the first blur kernel and the second blur kernel.
  • the image processing unit includes an image combining unit that combines the first image and the second image to generate a third image
  • the restoration unit includes the first blur.
  • the restored image is generated from the third image using a kernel and the second blur kernel.
  • the image processing unit includes an image synthesis unit that synthesizes a plurality of images, and the image restoration unit uses the first blur kernel to perform a first restoration process from the first image. And generating an image of the second restoration process from the second image using the second blur kernel, and the image composition unit includes the image of the first restoration process and the second image of the second restoration process.
  • the restored image is generated by combining the images in the restoration process.
  • the imaging apparatus further includes a blur detection unit that obtains a degree of blur of the first image by comparing the first image and the second image acquired by the imaging unit, When the degree of blur of the first image obtained by the blur detection unit is larger than a reference value, a restoration process is performed in the image processing unit, and the degree of blur of the first image is greater than the reference value. If it is smaller, the restoration processing in the image processing unit is not performed.
  • the blur kernel determining unit further changes the size of the blur kernel in accordance with a zoom magnification at the time of acquiring the first image.
  • the image processing apparatus is configured to acquire the first image and the first image acquired by the imaging apparatus that acquires a second image acquired with an exposure time shorter than the first image in one shooting.
  • the restoration process is performed using the second image and the second image.
  • the image processing apparatus includes: an image acquisition unit that acquires an exposure time when acquiring the first image, the second image, and the first image; and the first image acquired by the imaging unit.
  • a blur kernel determining unit that determines a blur kernel that defines blur due to camera shake in an image; and an image restoring unit that generates a restored image using the determined blur kernel, wherein the blur kernel determining unit includes: The size of the blur kernel is changed according to the exposure time when acquiring one image.
  • the image processing program is the first image acquired by the imaging device that acquires the first image and the second image acquired with an exposure time shorter than the first image in one shooting.
  • the program acquires, from a computer, information indicating the first image, the second image, and an exposure time when acquiring the first image, and an exposure time when acquiring the first image. Determining a size of a blur kernel that defines blur due to camera shake in the first image based on: determining the blur kernel; generating a restored image using the determined blur kernel; Is executed.
  • the image processing method is based on the step of acquiring the first image, the second image, and information indicating an exposure time at the time of acquiring the first image, and an exposure time at the time of acquiring the first image. Determining a blur kernel size defining blur due to camera shake in the first image, determining the blur kernel, and generating a restored image using the determined blur kernel .
  • the amount of calculation required for the restoration process can be suppressed when the degree of blurring of the deteriorated image is small, and a restored image can be obtained correctly even when the degree of blurring of the deteriorated image is large. it can.
  • FIG. 2 It is a figure which shows an example of schematic structure of the imaging device of this invention. It is a figure which shows an example of schematic structure of the image processing apparatus of this invention. It is a flowchart which shows the outline of the flow of the image restoration process by an image processing part or an image processing apparatus.
  • A) is a figure which shows an example of the blur kernel which has a size of 3x3 pixel
  • (b) is a figure which shows the example of an arrangement
  • (A) is a figure which shows an example of the coefficient matrix of a 9 * 9 pixel blur kernel
  • (b) is a black value which fills the element which has a non-zero value among the coefficients shown to (a), and is a zero value
  • (A) is a diagram showing that the size of the blur kernel is set to a small value when the assumed camera shake is small, and (b) is the size of the blur kernel when the assumed camera shake is large.
  • FIG. 1 is a block diagram illustrating a schematic configuration of an imaging apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram schematically illustrating a schematic configuration of an imaging element 10 and a photographing lens 20 in the imaging unit 100. 2 is a schematic top view of an imaging surface 10a of the imaging element 10.
  • FIG. It is a figure which shows the example of the time change of the electric charge amount accumulate
  • FIG. It is a block diagram which shows the structural example of the image process part 220 shown in FIG. (A) is a figure which shows an example of the conversion table in embodiment, (b) is a figure which shows the other example of the conversion table in embodiment.
  • FIG. 1 is a figure which shows an example of the conversion table regarding the combination of zoom magnification and exposure time
  • (b) is a figure which shows the other example of the conversion table regarding the combination of zoom magnification and exposure time.
  • (A)-(h) is a figure for demonstrating the method currently disclosed by the nonpatent literature 1.
  • size of an image or blur kernel is used in the same meaning as “number of pixels” or “pixel size”.
  • FIG. 1A is a diagram illustrating an example of a schematic configuration of an imaging apparatus of the present invention.
  • the imaging apparatus includes an imaging unit 100 that acquires an image, and an image processing unit 220 that performs a restoration process using the image acquired by the imaging unit 100.
  • the imaging unit 100 acquires a first image and a second image acquired with an exposure time shorter than that of the first image in one shooting.
  • the image processing unit 220 includes a blur kernel determining unit 226 that determines a blur kernel that defines blurring of the first image acquired by the imaging unit 100, and an image restoring unit 224 that generates a restored image.
  • the blur kernel determination unit 226 can change the size of the blur kernel in accordance with the exposure time when acquiring the first image.
  • FIG. 1B is a diagram showing an example of a schematic configuration of the image processing apparatus of the present invention.
  • the image processing device 250 uses the two images acquired by the imaging device that acquires the first image and the second image acquired with an exposure time shorter than the first image in one shooting. Perform the restoration process.
  • the image processing apparatus 250 includes an image acquisition unit that acquires information indicating an exposure time when acquiring the first image, the second image, and the first image, and a blur kernel that defines blurring of the first image
  • the blur kernel determining unit can change the size of the blur kernel in accordance with the exposure time when acquiring the first image.
  • FIG. 1C is a flowchart showing an outline of the flow of image restoration processing by the image processing unit 220 or the image processing device 250.
  • step S101 two deteriorated images and exposure time information acquired by the imaging device are acquired.
  • step 102 a blur kernel size that defines the degree of blurring of the degraded image is determined.
  • step S103 a blur kernel is determined.
  • step 104 a restored image is generated using the determined blur kernel.
  • FIG. 2A shows an example of a blur kernel having a size of 3 ⁇ 3 pixels.
  • This blur kernel defines an example of blurring when the camera moves by 3 pixels in the horizontal direction due to camera shake during exposure.
  • FIG. 2B is a diagram illustrating an arrangement example of pixel values of an image without blur. This unblurred image is assumed to have a size of 5 ⁇ 5 pixels.
  • the 25 numerical values shown in FIG. 2B are examples of luminance values of pixels constituting the image.
  • the degraded image is subjected to a two-dimensional convolution operation by the blur kernel of FIG. 2A on the image of FIG. It is obtained by doing.
  • an image (degraded image) I acquired by photographing is expressed by the following Expression 2.
  • Three of the nine coefficients in the blur kernel have values of 0.2, 0.4, and 0.4, while the other six elements have values of zero.
  • the coefficients of 0.2, 0.4, and 0.4 are the positions (2, 1), (2, 2), and (2, 3) in the image, respectively.
  • the sum is obtained by multiplying by the pixel value.
  • the coefficients of 0.2, 0.4, and 0.4 are respectively located at positions (2, 2), (2, 3), and (2, 4) in the image. The sum is obtained by multiplying the pixel values.
  • an image after the convolution operation that is, an image having blur due to camera shake (degraded image) ) Will be determined.
  • FIG. 4A shows an example of a 9 ⁇ 9 pixel blur kernel coefficient matrix. Of this coefficient matrix, the sum of coefficients that are not zero is standardized to be equal to one.
  • FIG. 4B is a diagram in which elements having non-zero values among the coefficients shown in FIG. 4A are painted black and elements having zero values are painted white.
  • the set of black elements in FIG. 4B corresponds to a hand movement locus.
  • the set of black elements in FIG. 4B has different patterns depending on the hand movement trajectory during the exposure.
  • the trajectory is constituted by a straight line or a curve connecting the start point and the end point.
  • a “curve” included in a part thereof is also obtained by connecting two pixels with a straight line.
  • the size of the blur kernel is not set in advance before shooting, but is adaptively determined based on the exposure time at the time of shooting.
  • FIG. 5 is a graph illustrating the relationship between the degree of image blur and the exposure time. As illustrated, generally, the longer the exposure time, the greater the degree of image blurring. This is because as the exposure time is longer, more blur due to camera shake is accumulated.
  • FIG. 6A shows the size of the blur kernel in an image with a relatively small degree of blurring. This corresponds to a case where the exposure time is relatively short. At this time, the size of the blur kernel is set to a relatively small size.
  • FIG. 6B shows an example of the size of the blur kernel in an image with a relatively large degree of blur. This corresponds to the case where the exposure time is relatively long. At this time, the size of the blur kernel is set to a relatively large size.
  • the size of the blur kernel suitable for the degree of blur estimated from the exposure time is set. As a result, it is possible to prevent the calculation amount from being increased more than necessary in the restoration process for an image with a small degree of blur. Also, unlike the prior art, since the size of the blur kernel is not fixed in advance, it can be correctly restored even for an image with a large degree of blur.
  • FIG. 7 is a block diagram illustrating a schematic configuration of the imaging apparatus according to the present embodiment.
  • the imaging apparatus of the present embodiment is a digital electronic camera having a camera shake correction function.
  • the imaging apparatus includes an imaging unit 100, a signal processing unit 200 that performs various signal processing, an imaging display unit 300 that displays an image acquired by imaging, a recording medium 400 that records image data, and a system that controls each unit. And a control unit 500.
  • the imaging unit 100 includes an imaging device (image sensor) 10 including a plurality of photosensitive cells (photodiodes) arranged on the imaging surface, a shutter 15 having a diaphragm function, and an image on the imaging surface of the imaging device 10. And a photographic lens 20 for forming.
  • a typical example of the image sensor 10 is a CCD or CMOS sensor.
  • the photographic lens 20 in the present embodiment has a known configuration, and is actually a lens unit that includes a plurality of lenses.
  • the shutter 15 and the photographing lens 20 are driven by a mechanism (not shown), and operations necessary for optical zooming, automatic exposure (AE: Auto Exposure), and automatic focus (AF: Auto Focus) are executed.
  • the imaging unit 100 includes an imaging element driving unit 30 that drives the imaging element 10.
  • the image sensor drive unit 30 is configured by an LSI such as a CCD driver, for example.
  • the image sensor drive unit 30 drives the image sensor 10 to read an analog signal from the image sensor 10 and convert it into a digital signal.
  • the signal processing unit 200 includes an image processing unit (image processor) 220, a memory 240, an interface (IF) unit 260, and a conversion table 280.
  • the conversion table 280 is a table that defines the relationship between the exposure time at the time of shooting and the size of the blur kernel. Based on the information in the conversion table 280, the image processing unit 220 changes the size of the blur kernel.
  • the conversion table 280 may be stored in the memory 240 or another recording medium. Hereinafter, the information recorded in the conversion table is referred to as “conversion table information”.
  • the signal processing unit 200 is connected to a display unit 300 such as a liquid crystal display panel and a recording medium 400 such as a memory card. The recording medium can be removed from the imaging device.
  • the image processing unit 220 performs various signal processes necessary for operations such as color correction, resolution change, automatic exposure, automatic focus, and data compression, and also performs a degraded image restoration process according to the present invention.
  • the image processing unit 220 is preferably realized by a combination of hardware such as a known digital signal processor (DSP) and software that executes image processing including image restoration processing according to the present invention.
  • DSP digital signal processor
  • the memory 240 is configured by a DRAM or the like. The memory 240 records the image data obtained from the imaging unit 100 and temporarily records the image data subjected to various image processing by the image processing unit 220 and the compressed image data. These image data are converted into analog signals and then displayed on the display unit 300 or recorded on the recording medium 400 via the interface unit 260 as digital signals.
  • a system control unit 500 including a central processing unit (CPU) (not shown) and a flash memory.
  • CPU central processing unit
  • the imaging apparatus of the present embodiment may include known components such as a viewfinder, a power source (battery), and a flashlight, but a description thereof is omitted because it is not particularly necessary for understanding the present invention.
  • FIG. 8 schematically shows a schematic configuration of the imaging element 10 and the lens 20 in the imaging unit 100.
  • the image sensor 10 has an imaging surface 10a.
  • a plurality of photosensitive cells are arranged on the imaging surface 10a.
  • FIG. 9 is a top view schematically showing the imaging surface 10a.
  • the photosensitive cells 11 are arranged in a matrix.
  • sequence form of the photosensitive cell 11 is not restricted to the example shown in figure,
  • the planar shape of each photosensitive cell is not limited to a square.
  • a primary color filter or a complementary color filter is typically disposed on each photosensitive cell 11.
  • a configuration in which three image sensors are provided and light is separated into three colors of RGB, for example, and then each color light is received by separate image sensors may be employed.
  • the imaging unit 100 can acquire an image by imaging.
  • the imaging unit 100 according to the present embodiment is configured to acquire two images with different exposure times in one shooting when performing camera shake correction.
  • FIG. 10 is a graph illustrating an image acquisition method in this embodiment. In the illustrated graph, the horizontal axis represents time, and the vertical axis represents the amount of accumulated charge in one photosensitive cell. In FIG. 10, only the amount of accumulated charge corresponding to the above-described two exposures is shown, and the amount of accumulated charge corresponding to the image used for preview display is not shown.
  • T S a relatively short time
  • a first image short-time exposure image
  • the second exposure is performed with a time T L longer than T S , and a second image (long exposure image) is acquired.
  • a second image long exposure image
  • the order of acquisition of the short-time exposure image and the long-time exposure image may be reversed. Since the long-time exposure image obtained in this way is acquired with an exposure time longer than that of the short-time exposure image, the image has a high luminance level and a high degree of blur due to camera shake.
  • the short-time exposure image is an image having a low luminance level and a small degree of blur due to camera shake.
  • FIG. 11 is a block diagram illustrating a schematic configuration of the image processing unit 220.
  • the image processing unit 220 acquires a long-time exposure image, a short-time exposure image, exposure time information, and conversion table information, and outputs a restored image in which blur due to camera shake is reduced compared to the long-time exposure image.
  • the image processing unit 220 includes an image acquisition unit 222, a blur detection unit 224, an image synthesis unit 225, a blur kernel determination unit 226, an image restoration unit 228, and a parameter update unit 229.
  • the blur kernel determination unit 226 includes a kernel size determination unit 226a, an initial kernel setting unit 226b, and a kernel estimation unit 226c.
  • the image acquisition unit 222 acquires a long exposure image, a short exposure image, and exposure time information from the imaging unit 100.
  • the blur detection unit 224 compares the long-time exposure image acquired by the image acquisition unit 222 with the short-time exposure image, and obtains the degree of blur included in the long-time exposure image.
  • an evaluation value indicating the degree of blur can be obtained by obtaining a motion vector of each corresponding point in two images using a known representative point matching method or block matching method.
  • a method for evaluating blur based on the ratio of the intensities of high-frequency components of two images, or a method for evaluating blur by determining the correlation between two images by template matching can be used. These evaluation methods are disclosed in, for example, Japanese Patent Application Laid-Open No. 2009-111596.
  • image restoration processing described later is performed only when the evaluation value indicating the degree of blur obtained by the blur detection unit 224 is greater than a preset threshold value.
  • the threshold value can be set to an arbitrary value.
  • the image composition unit 225 composes the long exposure image and the short exposure image to generate one composite deteriorated image.
  • the image composition unit 225 generates a composite deteriorated image by adding luminance values of corresponding pixels of the long-time exposure image and the short-time exposure image.
  • the corresponding pixels may not be simply added, but may be added after weighting so that the luminance levels of the long-time exposure image and the short-time exposure image are approximately the same.
  • the kernel size determination unit 226 a determines the size of the blur kernel based on the exposure time information acquired from the imaging unit 100 and the conversion table information recorded in the conversion table 280. Specifically, the “blur kernel magnification” corresponding to the exposure time is obtained from the conversion table, and a value obtained by multiplying the obtained blur kernel magnification by the reference size is determined as the size of the blur kernel.
  • the “exposure time” means the total exposure time T L + T S when a long exposure image and a short exposure image are acquired.
  • the “reference size” may be set in advance in the imaging apparatus as a fixed value, or may be manually set by the user.
  • the size of the blur kernel is manually set by the user, it is possible to set a more preferable reference size in consideration of the difference in the degree of blur due to the difference in user. Alternatively, a different size may be determined for each shooting based on various shooting parameters at the time of image acquisition. Details of the conversion table will be described later.
  • the initial kernel setting unit 226b sets an initial blur kernel necessary for the restoration process.
  • the initial blur kernel may be set manually or may be set in advance as a fixed coefficient matrix. Alternatively, a different initial blur kernel may be determined for each shooting based on various shooting parameters at the time of image acquisition. From the viewpoint of reducing the time required for image processing, the initial blur kernel is preferably close to the actual blur kernel, but the restoration process is possible even if it is not necessarily close.
  • the size of the initial blur kernel can be set to a different value depending on the restoration algorithm described later. For example, when the algorithm disclosed in Non-Patent Document 1 is used, the size of the initial blur kernel is set to a relatively small value such as 3 ⁇ 3 pixels. When an algorithm that does not change the size of the blur kernel is used in the restoration process, the size of the initial blur kernel is set to a size determined by the kernel size determination unit 226a.
  • the image restoration unit 228 generates a restored image from the synthesized degraded image generated by the image synthesis unit 225 using the initial blur kernel.
  • the kernel estimation unit 226c estimates a blur kernel based on the synthesized degraded image and the restored image generated by the image restoration unit 224.
  • the parameter update unit 229 updates the initial blur kernel with the blur kernel estimated by the kernel estimation unit 226c.
  • the updated initial blur kernel is given to the image restoration unit 228, and the above processing by the image restoration unit 228, the kernel estimation unit 226c, and the parameter update unit 229 is repeatedly executed.
  • FIG 11 shows an example of a functional block of the image processing unit 220, and the image processing unit 220 can be divided into other functional blocks.
  • the image processing unit 220 is also preferably realized by, for example, incorporating image processing software into known hardware.
  • FIG. 12A is a diagram illustrating an example of the conversion table in the present embodiment.
  • the conversion table defines a correspondence between the exposure time range and the blur kernel magnification.
  • the kernel size determination unit 226a should set the blur kernel magnification to A1 when the exposure time (T L + T S ) is within the range from T1 to T2, for example.
  • FIG. 12B is a diagram illustrating another example of the conversion table. As in this example, it may be specified that the size of the blur kernel is directly determined according to the exposure time.
  • the size of the blur kernel is set to N2 ⁇ N2 (N2: integer of 3 or more).
  • N2 integer of 3 or more
  • the conversion table is not limited to the above, and any table may be used as long as it indicates the correspondence between the exposure time and the size of the blur kernel.
  • the conversion table is created in advance as advance information.
  • an example of a conversion table creation method will be described.
  • an object such as a chart or a point light source that can measure the movement distance in the image
  • the exposure time becomes a certain value
  • the movement amount is measured respectively.
  • the same measurement is performed by changing other exposure times, and the average of the movement amounts is obtained for each exposure time.
  • Information indicating the relationship between the average movement amount obtained in this way and the exposure time is recorded in the conversion table.
  • the imaging apparatus may have a function of learning a tendency of image blurring in shooting performed by the user in the past and rewriting the conversion table according to the user.
  • the user points the imaging device at the subject, and when the user presses the shutter button halfway, the subject is focused by the autofocus operation.
  • “exposure” is started (step S1).
  • an image of the subject is formed on the imaging surface of the image sensor 10.
  • the exposure is temporarily stopped, signal charges are read by the image sensor 10, and a short-time exposure image is acquired (step S2).
  • the second exposure starts and the exposure continues until a relatively long time T L elapses.
  • T L elapses the exposure ends, the signal charge is read again by the image sensor 10, and a long-time exposure image is acquired (step S3).
  • the order of steps S2 and S3 may be reversed.
  • the imaging unit 100 inputs the acquired two images and exposure time information to the image processing unit 220 in the signal processing unit 200.
  • the image processing unit 220 performs image restoration processing based on the input information, and generates a restored image in which blur due to camera shake is reduced compared to the long-time exposure image (step S4).
  • the generated restored image is sent to the display unit 300 or the recording medium 400 and displayed or recorded (step S5).
  • step S41 the image acquisition unit 222 acquires a short-time exposure image and a long-time exposure image.
  • step S42 the blur detection unit 224 obtains a blur evaluation value indicating the degree of blur in the two acquired images.
  • the blur evaluation value is obtained by using a known method as described above.
  • step S43 the size of the blur is determined based on the blur evaluation value obtained by the blur detection unit 224.
  • the restoration process is not performed and the process ends.
  • the long exposure image is stored in the memory 240 as a restoration result.
  • the following steps S44 to S50 are executed.
  • step S44 the image acquisition unit 222 acquires exposure time information.
  • step S45 the image composition unit 225 combines the short-time exposure image and the long-time exposure image to generate a composite deterioration image.
  • step S46 the size of the blur kernel is determined by the kernel size determination unit 226a.
  • the kernel size determination unit 226a refers to the conversion table information to determine the size of the blur kernel corresponding to the exposure time (T L + T S ).
  • step S47 the initial blur kernel setting unit 222 determines an initial blur kernel.
  • step S48 the image restoration unit 228 executes an image restoration process using the synthesized deteriorated image generated in step S45 and the initial blur kernel set in step S47, thereby generating a restored image.
  • This image restoration process is executed by a known restoration algorithm.
  • the image restoration unit 228 once records the obtained restored image in the memory 240.
  • the kernel estimation unit 226c estimates a blur kernel from the restored image, and the parameter update unit 228 updates the previous blur kernel with the estimated blur kernel.
  • step S50 it is determined whether or not the blur kernel before and after the update and the change in the restored image before and after the update are smaller than a predetermined threshold value. If the change is greater than or equal to the threshold value, the process of step S48 is performed again, and thereafter steps S48 to S50 are repeated until the change becomes smaller than the threshold value. If the change is smaller than the threshold, it is determined that the process has converged, and the restoration result is stored in the memory 240.
  • step S45 may be performed prior to the acquisition of the exposure time information in step S44.
  • Non-Patent Document 2 an image restoration method based on a signal processing method disclosed in Non-Patent Document 2 will be described.
  • first image restoration is performed based on the initial blur kernel set in step S47.
  • the blur kernel at this stage does not necessarily match the true blur kernel (correct answer), but the restored result is closer to the original image than the degraded image.
  • the blur kernel is estimated from the first restored image that is the result of the first image restoration. Since the first restored image is closer to the original image than the degraded image, the estimated blur kernel approaches the correct answer.
  • the second image restoration is performed using the blur kernel estimated here, that is, the initial blur kernel is updated with the next blur kernel.
  • the image restoration unit 228 restores an image based on a given blur kernel (initial value first, update value next) and a deteriorated image.
  • I is a degraded image
  • L is an unblurred image L
  • f is a blur kernel.
  • the variables wk, ⁇ 1, and ⁇ 2 are “weights” set manually.
  • ⁇ is a set of operators that define what differentiation is applied to the image. Specifically, ⁇ is the sum of zero differentiation, one differentiation (each in x and y directions), two differentiations (twice in the x direction, twice in the y direction, and once in the x and y directions).
  • d * is a differential operator.
  • ⁇ ⁇ d 0 , d x , dy , d xx , d xy , d yy ⁇ .
  • M is a two-dimensional mask, and has a “1” element in a pixel included in a flat area in an image, that is, a local smooth area ( ⁇ ), and a “0” element in other pixels. is doing.
  • p is a p-norm operator.
  • ⁇ (x) is a function that approximately represents the relationship between the luminance gradient x in a naturally observed image and its distribution density (logarithmic display).
  • the first term on the right side of Equation 3 is a term indicating the difference (distance) between the image obtained by convolving the restored image L and the blur kernel f and the degraded image I.
  • Equation 3 The second term on the right side of Equation 3 is a term indicating the property of the luminance gradient in the image (called “heavy tail”).
  • ⁇ (d x L) and ⁇ (d y L) are histograms of the luminance gradient of the restored image, a sharp peak of the appearance probability appears near the gradient, and the appearance probability decreases as the gradient increases. It has a statistical property.
  • the distance from the distribution showing the above statistical properties is calculated for each of the gradient in the x direction and the gradient in the y direction. This statistical property is also used in the method disclosed in Non-Patent Document 1.
  • Equation 3 The third term on the right side of Equation 3 is a term for evaluating the flatness using the mask M, the differentially degraded image, and the differentially restored image.
  • the gradient value of the luminance is close between the degraded image and the restored image. Therefore, an error in gradient values in the x and y directions is used as an evaluation value.
  • the restored image L can be obtained by obtaining L that minimizes the right side of Equation 3 (optimization of L).
  • a specific calculation method for optimization of L is disclosed in Non-Patent Document 2.
  • the blur kernel estimation is a problem of estimating the blur kernel f using the restored image L and the degraded image I obtained by the image restoration unit 228. By determining f so as to minimize the right side of Equation 4 below, the blur kernel f can be obtained (optimization of f).
  • the first term on the right side of Equation 4 corresponds to the first term on the right side of Equation 3, and gives an evaluation criterion indicating whether or not the convolution of the restored image L and the blur kernel f is close to the degraded image I.
  • the second term on the right side of Equation 4 is the 1 norm of the blur kernel f.
  • the second term is a term based on a concept called sparse coding. This optimization term is used because most elements in the row example of the blur kernel f are 0 (no motion). In the present embodiment, optimization by “interor point method” is performed as in Non-Patent Document 2, and overall optimization can be realized.
  • image restoration procedure is not limited to the above example.
  • the method disclosed in Non-Patent Document 1 and other blind deconvolution methods can be used.
  • An important point in the image restoration in the present embodiment is to change the size of the blur kernel in accordance with the change in the exposure time at the time of shooting. Accordingly, the size of the blur kernel is set to a large value at the time of shooting by long-time exposure in which image blurring is likely to occur, so that the size of the blur kernel can be prevented from exceeding a preset size. On the other hand, the size of the blur kernel is set to a small value at the time of photographing with a short exposure, so that it is possible to prevent the calculation amount from being increased more than necessary.
  • processing flow in the image restoration processing S4 in FIG. 13 may have various modes other than the flow shown in FIG.
  • any of the flows shown in FIGS. 15 to 17 can be employed.
  • each flow will be described.
  • step S51 to S54 are the same as steps S41 to S44 in FIG.
  • step S55 the blur kernel size in the long exposure image is determined.
  • the kernel size determination unit 226a obtains a blur kernel magnification corresponding to the exposure time T L when the long exposure image is acquired from the conversion table.
  • the subsequent processing from step S56 to step S59 is the same as the processing from step S46 to step S49 in FIG.
  • the restored image is generated by performing the processing from step S56 to step S59 on the long-time exposure image.
  • the image composition unit 225 is not necessary.
  • step S61 to S64 are the same as steps S41 to S44 in FIG.
  • step S65a to step S69a estimation of a blur kernel and generation of a restored image are performed for the long-time exposure image.
  • step S65b to step S69b estimation of a blur kernel for a short-time exposure image and generation of a restored image are performed.
  • steps S65a to S69a and steps S65b to S69b are the same as the processes in steps S46 to S50 in FIG.
  • the blur kernel size in the long exposure image is determined from the conversion table based on the exposure time T L when the long exposure image is acquired.
  • the blur kernel size in the short exposure image is determined from the conversion table based on the exposure time T S when the short exposure image is acquired.
  • the image composition unit 225 combines the restored image for the long-time exposure image and the restored image for the short-time exposure image to generate a composite restored image.
  • the generated composite restored image is recorded in the memory 240 as a final restoration result.
  • the image composition unit 225 performs the restored image composition process in step S70 without composing the long exposure image and the short exposure image.
  • a blur kernel is estimated for each of the long-exposure image and the short-exposure image, and a composite blur kernel is generated from the two estimated blur kernels.
  • a restored image is generated by restoring the synthesized image using the synthesized blur kernel.
  • steps S71 to S75 are the same as steps S41 to S45 in FIG.
  • steps S76a and S77a the blur kernel size in the long exposure image is determined and the blur kernel is estimated.
  • steps S76b and S77b determination of the blur kernel size and estimation of the blur kernel in the long exposure image are performed.
  • the blur kernel size in the long exposure image is determined from the conversion table based on the exposure time T L when the long exposure image is acquired.
  • the blur kernel size in the short exposure image is determined from the conversion table based on the exposure time T S when the short exposure image is acquired.
  • a blur kernel estimation method in steps S77a and S77b for example, a known method such as estimating a blur kernel from the magnitude of a camera shake obtained by a camera shake detection mechanism provided in the imaging apparatus can be used.
  • step S78 the obtained two blur kernels are synthesized.
  • the image restoration unit 228 generates a restored image by restoring the synthesized image obtained in step S75 using the synthesized blur kernel.
  • a restored image can be obtained using a non-blind deconvolution method such as a known Wiener filter method or Richardson-Lucy (RL) method.
  • the blur kernel size can be adaptively changed according to the exposure time, and the effect of this embodiment can be obtained.
  • the order of individual processes may be different from the order shown in the possible range.
  • the imaging apparatus acquires a long-time exposure image first, and does not acquire a short-time exposure image when the magnitude of camera shake at that time is smaller than a predetermined threshold. It may be configured. With such a configuration, a short-time exposure image is acquired and an image restoration process is performed only when camera shake correction is necessary, so that the processing time can be shortened.
  • the image processing unit 220 does not necessarily need to include the blur detection unit 224.
  • the blur detection unit 224 is not provided, the processing in steps S42 and S43 in FIG. 14 or the corresponding steps in FIGS.
  • the same processing can be performed by using a function representing the relationship between the exposure time and the blur kernel size.
  • a function representing the relationship between the exposure time and the blur kernel size is used.
  • the acquired data is plotted in a two-dimensional space with the exposure time as the horizontal axis and the blur kernel size as the vertical axis.
  • linear regression or curve fitting is performed on the plotted data, and the relationship between exposure time and blur kernel size is expressed as a multidimensional function.
  • the multidimensional function is obtained in this way, the blur kernel size can be obtained by inputting the exposure time obtained at the time of photographing into the obtained multidimensional function. According to such a method, the conversion table is unnecessary.
  • the blur kernel size is determined only by the exposure time at the time of shooting.
  • the blur kernel size may be determined in consideration of other information that affects the degree of blurring of the image.
  • the degree of image blur is affected not only by the exposure time but also by the zoom magnification at the time of shooting. That is, when the zoom magnification (or focal length) of the optical system is increased in order to shoot a distant subject, the degree of blurring of the image is greater than when the zoom magnification is small. Therefore, when the zoom magnification is increased in order to photograph a distant scene, it is preferable to increase the size of the blur kernel.
  • zoom magnification means the ratio of the focal length at the time of photographing to the minimum (wide-angle side) focal length of the optical system in the imaging apparatus.
  • the imaging apparatus changes the blur kernel size according to changes in both the exposure time and the zoom magnification.
  • both the conversion table regarding the zoom magnification and the conversion table regarding the exposure time may be recorded in the imaging apparatus. For example, if a conversion table similar to the conversion table shown in FIG. 12A is prepared for the zoom magnification, the size of the blur kernel can be determined by multiplying the reference size by the magnification obtained from each table.
  • FIG. 18 is a diagram illustrating an example of a table in which these pieces of information are integrated.
  • FIG. 18A shows an example of a conversion table that defines the correspondence between the combination of zoom magnification and exposure time and the blur kernel magnification.
  • FIG. 18B shows an example of a conversion table that defines the correspondence between the combination of zoom magnification and exposure time and blur kernel size.
  • the optimum blur kernel size can be determined in consideration of both the zoom magnification and the exposure time. For example, when the conversion table shown in FIG. 18A is used, when the zoom magnification is in the range from z2 to z3 and the exposure time is in the range from T2 to T3, the blur kernel magnification is Set to C22.
  • the image restoration process in the above embodiment can be executed not only by the image processing unit built in the imaging apparatus but also by an image processing apparatus independent of the imaging apparatus.
  • each image acquired by the imaging apparatus, exposure time information, and the like are input to the image processing apparatus, and for example, a program defining the processing shown in any of FIGS. 14 to 15 is executed by a computer in the image processing apparatus.
  • the restored image can also be obtained.
  • the imaging apparatus of the present invention has high industrial applicability when applied to an imaging apparatus in which blurring may occur due to camera shake. Since both the PSF and the restored image can be estimated under a situation where the PSF is unknown, it is possible to obtain an image with less blur without providing a special camera shake prevention mechanism or together with such a camera shake prevention mechanism. become.
  • the image processing apparatus of the present invention does not need to be built in the imaging apparatus, and can be configured to receive and process image data acquired by the imaging apparatus.
  • Shutter 20 which has a diaphragm function Image pick-up lens 30 Image pick-up element drive part 100 Image pick-up part 200 Signal processing part 220 Image processing part 222 Image acquisition part 224 Blur detection part 225 Image composition part 226 Blur kernel determination part 226a Kernel size determination unit 226b Initial kernel setting unit 226c Kernel estimation unit 228 Image restoration unit 229 Parameter update unit 240 Memory 260 Interface (IF) 280 Conversion table 300 Display unit 400 Recording medium 500 System control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

　撮像装置は、異なる露光時間で２つの画像を取得する撮像部１００と、撮像部１００によって取得された画像を用いて復元処理を行う画像処理部２２０とを備えている。画像処理部２２０は、取得された画像の手振れによるぼやけを規定するブラーカーネルを決定するブラーカーネル決定部と、復元画像を生成する画像復元部とを有している。ブラーカーネル決定部は、撮影時の露光時間に応じてブラーカーネルのサイズを変化させる。

Description

撮像装置、画像処理装置、画像処理方法、および画像処理プログラム
　本発明は、撮像時の手振れによるぼやけを減少させた復元画像を生成する撮像装置、画像処理装置、画像処理方法、および画像処理プログラムに関する。
　デジタルカメラで画像の取得（撮像）を行うと、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）、あるいはＣＭＯＳの読み出し回路の特性や伝送路の特性により画像にノイズが加わることがある。また、撮像時にフォーカスが合っていないこと（焦点外れ：ｏｕｔ－ｏｆ－ｆｏｃｕｓ）による画像のぼやけ（ブラー：ｂｌｕｒ）や、手振れ（ｃａｍｅｒａ　ｓｈａｋｅ）などによる画像のぼやけが発生する。このように撮像画像には、撮像画像固有の特性によるノイズに、撮影時の人為的な操作を起因とするぼやけが加わることにより、画像が劣化することになる。これらの「ぼやけ」のうち、撮影（露光）中におけるカメラの運動による画像のぼやけを「ブレ（ｍｏｔｉｏｎ　ｂｌｕｒ）」と称する場合がある。
　近年、特に高感度撮影の需要が増大していることにより、ぼやけによって劣化した画像（以下、「劣化画像」という）を元の画像（以下、「理想画像」という）にできるだけ近い画像に復元することが必要となる。高感度撮影に要求される、明るくノイズやぼやけのない画像を実現するために、大別して感度をあげるという考え方と、露光時間を長くするという考え方がある。
　しかしながら、感度を高めるとノイズも増幅してしまう、そのため、信号がノイズに埋もれてしまい、ノイズが大半を占める画像になることが多い。一方で露光時間を長くすることで、その場で生じる光を多く蓄積し、ノイズの少ない画像が得られる。この場合、信号がノイズで埋もれることはないが、手振れによって画像にブレが生じ易いという問題がある。
　そこで、従来、２通りの考え方で露光時間を長くする場合の対処法がとられていた。一つは、レンズシフトやセンサシフトといった光学式手振れ補正である。他方は、得られた画像やセンサによってブレの方向／大きさを求め、そこから信号処理によって画像を復元するという方法（信号処理による復元方法）である。
　光学式手振れ補正では、補正の範囲に限界がある。露光時間を長くすると、手振れが発生しやすくなるため、レンズやセンサの稼動範囲を大きくする必要がある。しかし、稼動範囲が大きくなるとレンズやセンサの移動の際に時間遅れが生じるという問題がある。また、大型化にはサイズの物理的な限界がある。
　信号処理による復元方法は、例えば特許文献１、特許文献２、非特許文献１、非特許文献２などに開示されている。以下、信号処理による復元方法を説明する。
　ここでは、撮像素子の撮像面に形成される画像の輝度分布をＩ（ｘ，ｙ）で表すことにする。座標（ｘ，ｙ）は、撮像面の画素（光感知セル）の位置を示す２次元座標である。画像が例えば行列状に配列されたＭ×Ｎ個の画素からなる場合において、ｘおよびｙが、それぞれ、０≦ｘ≦Ｍ－１、０≦ｙ≦Ｎ－１の関係を満足する整数であるとすると、画像を構成する個々の画素の位置を座標（ｘ，ｙ）によって特定することができる。ここでは、座標の原点（０、０）を画像の左上隅に置き、ｘ軸は垂直方向、ｙ軸は水平方向に延びるものとする。ただし、座標のとり方は、任意である。
　ぼやけ（ｂｌｕｒ）のない画像（理想画像または元画像）の輝度分布をＬ（ｘ，ｙ）とし、ぼやけを規定するＰＳＦ、すなわち「点広がり関数（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）」をＰＳＦ（ｘ，ｙ）、ノイズをｎ（ｘ，ｙ）とすると、以下の式１が成立する。
Figure JPOXMLDOC01-appb-M000001
 ここで、記号「＊」は、２次元の畳み込み演算（コンボリューション）を示している。
　手振れの点広がり関数ＰＳＦ（ｘ，ｙ）は、撮影（露光）中における手振れの軌跡に依存する。手振れの軌跡はカメラ撮影毎に異なるため、ＰＳＦ（ｘ，ｙ）もカメラ撮影毎に変化する。
　撮影中の手振れの軌跡がジャイロセンサなどによって検出され、ＰＳＦ（ｘ，ｙ）が既知の場合は、このＰＳＦ（ｘ，ｙ）を用いて逆畳み込み演算（デコンボリューション）を行うことにより、劣化画像Ｉ（ｘ、ｙ）から画像Ｌ（ｘ、ｙ）を復元することが可能になる。一方、ＰＳＦ（ｘ，ｙ）が既知ではない場合は、劣化画像Ｉ（ｘ、ｙ）からＰＳＦ（ｘ，ｙ）を推定し、画像Ｌ（ｘ，ｙ）を復元する必要がある。前者を「ノンブラインド・デコンボリューション」、後者を「ブラインド・デコンボリューション」と称する。ブラインド・デコンボリューションでは、ＰＳＦ（ｘ，ｙ）および画像Ｌ（ｘ，ｙ）の両方を劣化画像Ｉ（ｘ，ｙ）から推定する必要があるため、ノンブラインド・デコンボリューションよりもぼやけの低減が難しくなる。
　手振れによるぼやけを規定するＰＳＦの畳み込み演算は、線形フィルタによって行われる。２次元畳み込み演算の線形フィルタは、通常、Ｎ×Ｎ画素のサイズを有する係数行例からなる積分核（カーネル）によって表される。ここで、Ｎは３以上の整数である。ぼやけを規定するＰＳＦは、ブラーカーネル（ｂｌｕｒ　ｋｅｒｎｅｌ）によって表現され得る。ぼやけのある画像から、ぼやけを低減した画像（ぼやけを除去した画像を含む）を復元するには、ぼやけを規定するブラーカーネルを推定する必要がある。
　信号処理による画像復元として、例えば非特許文献１は、ぼやけのある１枚の画像からブラーカーネルおよび復元画像を推定する場合において、多重スケール推定法（ｍｕｌｔｉ－ｓｃａｌｅ　ｉｎｆｅｒｅｎｃｅ　ｓｃｈｅｍｅ）を用いることを開示している。この多重スケール推定法では、最初に解像度の低い劣化画像を用いて３×３画素のサイズを有するブラーカーネルを推定している。そして、推定に用いる劣化画像の解像度を徐々に高めることにより、ブラーカーネルの解像度も高めていく。図１９（ａ）～（ｈ）は、非特許文献１に開示されている方法を説明するための図である。図１９（ａ）の上段は３×３画素のブラーカーネルを示し、下段は対応する解像度の復元画像を示している。図１９（ｂ）～（ｈ）も同様であるが、徐々に解像度が向上している。
　解像度の低い劣化画像では、画素数が少ないため、手振れによるぼやけの画素サイズも小さくなる。その結果、解像度の低い劣化画像では、ブラーカーネルのサイズも小さくなり、ブラーカーネルを推定するために必要な計算量も少なくなる。また、最初から画素数の大きな高解像度の劣化画像を用いてブラーカーネルの推定を行うと、真のブラーカーネルとは異なるブラーカーネル（局所解：ｌｏｃａｌ　ｍｉｎｉｍａ）に収束が生じてしまう可能性がある。多重スケール推定法によれば、ブラーカーネルの推定精度を高めることができる。
　また、特許文献１には、連続して取得した２枚の画像から、ブレを低減させた復元画像を得る方法が開示されている。この方法では、第１の画像、および第１の画像よりも短時間の露光によって取得された第２の画像の各々からブラーカーネルが推定される。推定された２つのブラーカーネルを合成することによって得られる合成ブラーカーネルと、第１の画像および第２の画像を合成して得られる合成画像とから１つの復元画像が生成される。この方法によれば、第１の画像に含まれるブレの程度が大きい場合のみ、復元処理が行われ、ブレの程度が小さい場合には復元処理は行われない。
特開２００８－９９０２５号公報 特開２００９－１１１５９６号公報
Rob Fergus et al., "Removing camera shake from a single image", Barun Singh Aaron Hertzmann, SIGGRAPH 2006 "High-quality Motion Deblurring from a Single Image", Qi Shan, Jiaya Jia, and Aseem Agarwala, SIGGRAPH 2008
　従来技術によれば、最終的なブラーカーネルのサイズは予め固定値に設定される。そのため、ブレの程度が大きい劣化画像に対して正しく復元処理を行うためには、ブラーカーネルのサイズを大きい値に設定しておく必要がある。設定されたブラーカーネルのサイズを超える大きなブレを含む劣化画像は正しく復元できない。
　特に、暗い環境で撮影するときは、十分な受光量を確保するために、露光時間を長くする必要がある。露光時間を長くすると、カメラの動きに起因する画像のブレの程度は一般に大きくなる。従って、暗いシーンを撮影するために露光時間を長くする場合、予めブラーカーネルのサイズを大きい値に設定しておく必要がある。
　しかしながら、ブラーカーネルのサイズを大きくすると、ブレの程度が小さい画像に対しても、大きいサイズを有するブラーカーネルによる復元処理が行われるため、復元処理に要する計算量が多くなるという課題がある。例えば、ブラーカーネルのサイズが１００×１００画素に設定されているとき、そのうちの１０×１０画素でブレを規定できる画像を復元する場合、１００×１００－１０×１０＝９９００画素に対する計算が不必要に発生する。
　本発明は、上記従来技術の課題を解決するためになされたものである。本発明の目的は、劣化画像のブレの程度が小さい場合に復元処理に要する計算量を抑えることができ、かつ、劣化画像のブレの程度が大きい場合であっても正しく復元画像を得ることができる画像復元技術を提供することにある。
　本発明による撮像装置は、撮像時の手振れによるぼやけを減少させた復元画像を生成する撮像装置であって、１回の撮影において、第１の画像、および前記第１の画像よりも短い露光時間で取得される第２の画像を取得する撮像部と、前記撮像部によって取得された前記第１の画像および前記第２の画像を用いて復元処理を行う画像処理部とを備えている。前記画像処理部は、前記撮像部によって取得された前記第１の画像における手振れによるぼやけを規定するブラーカーネルを決定するブラーカーネル決定部と、決定された前記ブラーカーネルを用いて復元画像を生成する画像復元部とを有し、前記ブラーカーネル決定部は、前記第１の画像を取得する際の露光時間に応じて前記ブラーカーネルのサイズを変化させる。
　ある実施形態において、前記ブラーカーネル決定部は、前記露光時間が長いほど前記ブラーカーネルのサイズを大きくする。
　ある実施形態において、撮像装置は、前記露光時間と前記ブラーカーネルのサイズとの間の対応関係を規定する変換テーブルをさらに備え、前記ブラーカーネル決定部は、前記変換テーブルに基づいて前記ブラーカーネルのサイズを決定する。
　ある実施形態において、前記変換テーブルは、前記露光時間と、前記ブラーカーネルの基準サイズからの倍率との間の対応関係を規定する。
　ある実施形態において、前記ブラーカーネルを第１のブラーカーネルとするとき、前記ブラーカーネル決定部は、前記第２の画像における手振れによるぼやけを規定する第２のブラーカーネルを決定し、前記画像復元部は、前記第１のブラーカーネルおよび前記第２のブラーカーネルを用いて前記復元画像を生成する。
　ある実施形態において、前記画像処理部は、前記第１の画像および前記第２の画像を合成して第３の画像を生成する画像合成部を有し、前記復元部は、前記第１のブラーカーネルおよび前記第２のブラーカーネルを用いて前記第３の画像から前記復元画像を生成する。
　ある実施形態において、前記画像処理部は、複数の画像を合成する画像合成部を有し、前記画像復元部は、前記第１のブラーカーネルを用いて前記第１の画像から第１の復元過程の画像を生成し、前記第２のブラーカーネルを用いて前記第２の画像から第２の復元過程の画像を生成し、前記画像合成部は、前記第１の復元過程の画像および前記第２の復元過程の画像を合成することによって前記復元画像を生成する。
　ある実施形態において、撮像装置は、前記撮像部によって取得された前記第１の画像および前記第２の画像を比較することによって前記第１の画像のぼやけの程度を求めるぼやけ検出部をさらに備え、前記ぼやけ検出部によって求められた前記第１の画像のぼやけの程度が基準値よりも大きい場合には前記画像処理部における復元処理を行い、前記第１の画像のぼやけの程度が前記基準値よりも小さい場合には前記画像処理部における復元処理を行わない。
　ある実施形態において、前記ブラ―カーネル決定部は、さらに、前記第１の画像を取得する際のズーム倍率に応じて、前記ブラ―カーネルのサイズを変化させる。
　本発明による画像処理装置は、１回の撮影において、第１の画像、および前記第１の画像よりも短い露光時間で取得される第２の画像を取得する撮像装置によって取得された前記第１の画像および前記第２の画像を用いて復元処理を行う。前記画像処理装置は、前記第１の画像、前記第２の画像、および前記第１の画像を取得する際の露光時間を取得する画像取得部と、前記撮像部によって取得された前記第１の画像における手振れによるぼやけを規定するブラーカーネルを決定するブラーカーネル決定部と、決定された前記ブラーカーネルを用いて復元画像を生成する画像復元部とを有し、前記ブラーカーネル決定部は、前記第１の画像を取得する際の露光時間に応じて前記ブラーカーネルのサイズを変化させる。
　本発明による画像処理プログラムは、１回の撮影において、第１の画像、および前記第１の画像よりも短い露光時間で取得される第２の画像を取得する撮像装置によって取得された前記第１の画像および前記第２の画像を用いて復元処理を行うためのプログラムである。前記プログラムは、コンピュータに対し、前記第１の画像、前記第２の画像、および前記第１の画像取得時の露光時間を示す情報を取得するステップと、前記第１の画像取得時の露光時間に基づいて前記第１の画像における手振れによるぼやけを規定するブラーカーネルのサイズを決定するステップと、前記ブラーカーネルを決定するステップと、決定された前記ブラーカーネルを用いて復元画像を生成するステップとを実行させる。
　本発明による画像処理方法は、１回の撮影において、第１の画像、および前記第１の画像よりも短い露光時間で取得される第２の画像を取得する撮像装置によって取得された前記第１の画像および前記第２の画像を用いて復元処理を行う画像処理方法である。前記画像処理方法は、前記第１の画像、前記第２の画像、および前記第１の画像取得時の露光時間を示す情報を取得するステップと、前記第１の画像取得時の露光時間に基づいて前記第１の画像における手振れによるぼやけを規定するブラーカーネルのサイズを決定するステップと、前記ブラーカーネルを決定するステップと、決定された前記ブラーカーネルを用いて復元画像を生成するステップとを含む。
　本発明によれば、劣化画像のブレの程度が小さい場合に復元処理に要する計算量を抑えることができ、かつ、劣化画像のブレの程度が大きい場合であっても正しく復元画像を得ることができる。
本発明の撮像装置の概略構成の一例を示す図である。 本発明の画像処理装置の概略構成の一例を示す図である。 画像処理部あるいは画像処理装置による画像復元処理の流れの概略を示すフロー図である。 （ａ）は、３×３画素のサイズを有するブラーカーネルの一例を示す図であり、（ｂ）は、ぼやけの無い画像の画素値の配列例を示す図である。 図２（ｂ）の画像における位置（ｘ，ｙ）＝（２，２）の画素に対する畳み込み演算結果を示す図である。 図２（ｂ）の画像における位置（ｘ，ｙ）＝（２，３）の画素に対する畳み込み演算結果を示している。 （ａ）は、９×９画素のブラーカーネルの係数行列の一例を示す図であり、（ｂ）は、（ａ）に示す係数のうち、ゼロでない値を有する要素を黒く塗りつぶし、ゼロの値を有する要素を白く塗りつぶした図である。 露光時間に対するブラーカーネルサイズの変化を例示的に示す図である。 （ａ）は、想定される手振れが小さい場合に、ブラーカーネルのサイズが小さい値に設定されることを示す図であり、（ｂ）は、想定される手振れが大きい場合に、ブラーカーネルのサイズが大きい値に設定されることを示す図である。 本発明の実施形態における撮像装置の概略構成を示すブロック図である。 撮像部１００における撮像素子１０、撮影レンズ２０の概略構成を模式的に示す図である。 撮像素子１０の撮像面１０ａの模式的な上面図である。 露光中に１つの光感知セルに蓄積される電荷量の時間変化の例を示す図である。 図６に示す画像処理部２２０の構成例を示すブロック図である。 （ａ）は実施形態における変換テーブルの一例を示す図であり、（ｂ）は実施形態における変換テーブルの他の例を示す図である。 本発明の実施形態において実行され得る処理の流れを示すフローチャートである。 本発明の実施形態において実行され得る復元処理の流れの第１の例を示すフローチャートである。 本発明の実施形態において実行され得る復元処理の流れの第２の例を示すフローチャートである。 本発明の実施形態において実行され得る復元処理の流れの第３の例を示すフローチャートである。 本発明の実施形態において実行され得る復元処理の流れの第４の例を示すフローチャートである。 （ａ）はズーム倍率および露光時間の組み合わせに関する変換テーブルの一例を示す図であり、（ｂ）はズーム倍率および露光時間の組み合わせに関する変換テーブルの他の例を示す図である。 （ａ）～（ｈ）は、非特許文献１に開示されている方法を説明するための図である。
　以下、本発明の好ましい実施形態を説明する前に、本発明の基本的原理を説明する。なお、本明細書では、画像またはブラーカーネルの「サイズ」を、それらの「画素数」または「画素サイズ」と同じ意味で使用する。
　図１Ａは、本発明の撮像装置の概略構成の一例を示す図である。撮像装置は、画像を取得する撮像部１００と、撮像部１００で取得された画像を用いて復元処理を行う画像処理部２２０とを備えている。撮像部１００は、１回の撮影において、第１の画像と、第１の画像よりも短い露光時間で取得される第２の画像とを取得する。画像処理部２２０は、撮像部１００によって取得された第１の画像のブレを規定するブラーカーネルを決定するブラーカーネル決定部２２６と、復元画像を生成する画像復元部２２４とを有している。ブラーカーネル決定部２２６は、第１の画像を取得する際の露光時間に応じてブラーカーネルのサイズを変化させることができる。
　図１Ｂは、本発明の画像処理装置の概略構成の一例を示す図である。画像処理装置２５０は、１回の撮影において、第１の画像、および第１の画像よりも短い露光時間で取得される第２の画像を取得する撮像装置によって取得された２つの画像を用いて復元処理を行う。画像処理装置２５０は、第１の画像、第２の画像、および第１の画像を取得する際の露光時間を示す情報を取得する画像取得部と、第１の画像のブレを規定するブラーカーネルを決定するブラーカーネル決定部と、復元画像を生成する画像復元部とを備えている。ブラーカーネル決定部は、第１の画像を取得する際の露光時間に応じてブラーカーネルのサイズを変化させることができる。
　図１Ｃは、画像処理部２２０あるいは画像処理装置２５０による画像復元処理の流れの概略を示すフローチャートである。まず、ステップＳ１０１において、撮像装置によって取得された２枚の劣化画像および露光時間情報が取得される。次に、ステップ１０２において、劣化画像のブレの程度を規定するブラ―カーネルサイズが決定される。続いて、ステップＳ１０３において、ブラ―カーネルが決定される。そして、ステップ１０４において、決定したブラ―カーネルを用いて復元画像が生成される。以上の処理により、２枚の劣化画像からブレが除去された復元画像が得られる。本発明によれば、画像を取得する際の露光時間に基づいてブラ―カーネルのサイズを適切に決定することにより、演算量を抑えながら高精度の復元が可能となる。各処理の詳細については後述する。
　次に、図２を参照しながら、本発明のブラーカーネルを具体的に説明する。
　図２（ａ）は、３×３画素のサイズを有するブラーカーネルの一例を示している。このブラーカーネルは、露光中の手振れにより、カメラが水平方向に３画素だけ移動した場合のぼやけの一例を規定している。図２（ｂ）は、ぼやけのない画像の画素値の配列例を示す図である。このぼやけのない画像は、５×５画素のサイズを有しているものとする。図２（ｂ）に示される２５個の数値は、画像を構成する画素の輝度値の例である。
　図２（ａ）に示すブラーカーネルで表される手振れによるぼやけが発生した場合、劣化画像は、図２（ａ）のブラーカーネルによる２次元畳み込み演算を図２（ｂ）の画像に対して実行することによって得られる。
　ブラーカーネルをＫ、元画像をＬ、ノイズをＮとすると、撮影によって取得された画像（劣化画像）Ｉは、以下の式２によって表される。
Figure JPOXMLDOC01-appb-M000002
　図３Ａは、図２（ｂ）の画像における位置（ｘ，ｙ）＝（２，２）の画素に対する畳み込み演算結果を示している。この演算は、図３Ａの左端の画像における破線の矩形に囲まれた３×３画素＝９個の画素値に対して行われる。ブラーカーネルにおける９つの係数のうちの３つの要素は、０．２、０．４、０．４の値を有しているが、他の６つの要素はゼロの値を有している。このブラーカーネルを用いた畳み込み演算を行うと、０．２、０．４、０．４の係数は、それぞれ、画像内の位置（２，１）、（２，２）、（２，３）の画素値にかけられ、総和が求められる。その結果、１８×０．２＋１９×０．４＋２１×０．４＝１９．６の値が得られ、この値が演算後の画素値として位置（２，２）に格納される。
　一方、図３Ｂは、図２（ｂ）の画像における位置（ｘ，ｙ）＝（２，３）の画素に対する畳み込み演算結果を示している。この演算は、図３Ｂの左端の画像における破線の矩形に囲まれた３×３画素＝９個の画素値に対して行われる。ブラーカーネルを用いた畳み込み演算を行うと、０．２、０．４、０．４の係数は、それぞれ、画像内に位置（２，２）、（２，３）、（２，４）の画素値にかけられ、総和が求められる。その結果、１９×０．２＋２１×０．４＋１８×０．４＝１９．４の値が得られ、この値が演算後の画素値として位置（２，３）に格納される。
　与えられた解像度（画素数）の画像の画素値に対してブラーカーネルの中心位置をシフトさせながら上記の計算を行うことにより、畳み込み演算後の画像、すなわち、手振れによるぼやけを有する画像（劣化画像）が定まることになる。
　劣化画像から、ぼやけの無い画像を復元するためには、劣化の原因となるブラーカーネルの係数行列を推定する必要がある。ブラーカーネルが推定されれば、逆畳み込み演算によって劣化前の画像を得ること（復元）ができる。
　図４（ａ）は、９×９画素のブラーカーネルの係数行列の一例を示している。この係数行列のうち、ゼロでない係数の総和は１に等しくなるように規格化されている。図４（ｂ）は、図４（ａ）に示す係数のうち、ゼロでない値を有する要素を黒く塗りつぶし、ゼロの値を有する要素を白く塗りつぶした図である。図４（ｂ）の黒い要素の集合は、手振れの軌跡に対応している。露光中における手振れの軌跡に応じて、図４（ｂ）の黒い要素の集合は、異なるパターンを有する。
　手振れは、露光中におけるカメラの動きによって生じるため、その軌跡は、始点と終点とを結ぶ直線または曲線によって構成される。図４（ｂ）に示すように、有限のサイズを有するブラーカーネルによって表現される手振れ軌跡では、その一部に含まれる「曲線」も、２つの画素を直線で結ぶことによって得られる。
　本発明では、ブラーカーネルのサイズは、撮影前に予め設定されるのではなく、撮影時の露光時間に基づいて適応的に決定される。
　図５は、画像のブレの程度と露光時間との関係を例示的に示すグラフである。図示されるように、一般に露光時間が長いほど、画像のブレの程度は大きくなる。これは、露光時間が長いほど手振れによるぼやけが多く蓄積されるためである。
　以下、本発明において設定され得るブラーカーネルのサイズの例を示す。図６（ａ）は、ブレの程度が比較的小さい画像におけるブラーカーネルのサイズを示している。これは、露光時間が比較的短い場合に対応する。このとき、ブラーカーネルのサイズは、相対的に小さいサイズに設定される。一方、図６（ｂ）は、ブレの程度が比較的大きい画像におけるブラーカーネルのサイズの例を示している。これは、露光時間が比較的長い場合に対応する。このとき、ブラーカーネルのサイズは、相対的に大きいサイズに設定される。
　このように、本発明によれば、露光時間から想定されるブレの程度に適合したブラーカーネルのサイズが設定される。その結果、ブレの程度が小さい画像に対する復元処理において、必要以上に計算量が多くなることを防ぐことができる。また、従来技術とは異なり、ブラーカーネルのサイズが予め固定されていないため、ブレの程度が大きい画像に対しても正しく復元できる。
　以下、図７から図１３を参照しながら本発明の好ましい実施形態を説明する。以下の説明において、同一の構成要素には同じ参照符号を付している。
　（実施形態）
　図７は、本実施形態の撮像装置の概略構成を示すブロック図である。本実施形態の撮像装置は、手振れ補正機能を備えるデジタル式の電子カメラである。撮像装置は、撮像部１００と、各種信号処理を行う信号処理部２００と、撮像によって取得した画像を表示する撮像表示部３００と、画像のデータを記録する記録媒体４００と、各部を制御するシステム制御部５００とを備えている。
　撮像部１００は、撮像面上に配列された複数の光感知セル（フォトダイオード）を備える撮像素子（イメージセンサ）１０と、絞り機能を有するシャッタ１５と、撮像素子１０の撮像面上に像を形成するための撮影レンズ２０とを有している。撮像素子１０の典型例は、ＣＣＤまたはＣＭＯＳセンサである。本実施形態における撮影レンズ２０は、公知の構成を有しており、現実には複数のレンズから構成されたレンズユニットである。シャッタ１５および撮影レンズ２０は、不図示の機構によって駆動され、光学ズーミング、自動露光（ＡＥ：Ａｕｔｏ　Ｅｘｐｏｓｕｒｅ）、自動焦点（ＡＦ：Ａｕｔｏ　Ｆｏｃｕｓ）に必要な動作が実行される。
　さらに、撮像部１００は、撮像素子１０を駆動する撮像素子駆動部３０を有している。撮像素子駆動部３０は、例えばＣＣＤドライバなどのＬＳＩから構成されている。撮像素子駆動部３０は、撮像素子１０を駆動することにより、撮像素子１０からアナログ信号を読み出してデジタル信号に変換する。
　信号処理部２００は、画像処理部（イメージプロセッサ）２２０、メモリ２４０、インターフェース（ＩＦ）部２６０、および変換テーブル２８０を備えている。変換テーブル２８０は、撮影時の露光時間と、ブラーカーネルのサイズとの関係を規定するテーブルである。変換テーブル２８０の情報に基づいて、画像処理部２２０は、ブラーカーネルのサイズを変化させる。なお、変換テーブル２８０は、メモリ２４０や他の記録媒体に格納されていてもよい。以下、変換テーブルに記録された情報を「変換テーブル情報」と呼ぶ。また、信号処理部２００は、液晶表示パネルなどの表示部３００、および、メモリカードなどの記録媒体４００に接続されている。記録媒体は撮像装置から取り外し可能である。
　画像処理部２２０は、色調補正、解像度変更、自動露光、自動焦点、データ圧縮などの動作に必要な各種信号処理を行うほか、本発明による劣化画像の復元処理を実行する。画像処理部２２０は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、本発明に係る画像復元の処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現される。メモリ２４０は、ＤＲＡＭなどによって構成される。このメモリ２４０は、撮像部１００から得られた画像データを記録するとともに、画像処理部２２０によって各種の画像処理を受けた画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、アナログ信号に変換された後、表示部３００によって表示されたり、デジタル信号のままインターフェース部２６０を介して記録媒体４００に記録される。
　上記の構成要素は、不図示の中央演算処理ユニット（ＣＰＵ）およびフラッシュメモリを含むシステム制御部５００によって制御される。なお、本実施形態の撮像装置は、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。
　次に図８および図９を参照しながら、撮像部１００の構成を説明する。
　図８は、撮像部１００における撮像素子１０およびレンズ２０の概略構成を模式的に示している。図示されるように、撮像素子１０は、撮像面１０ａを有している。撮像面１０ａ上には、複数の光感知セルが配列されている。
　図９は、撮像面１０ａを模式的に表す上面図である。この例では、光感知セル１１が行列状に配列されている。なお、光感知セル１１の配列形態は、図示されている例に限られず、個々の光感知セルの平面形状も正方形に限定されない。カラーの画像信号を生成するため、典型的には、原色カラーフィルタまたは補色カラーフィルタが個々の光感知セル１１の上に配置されている。ただし、３つの撮像素子を備え、例えばＲＧＢの３色に光を分離した後、それぞれの色の光を別々の撮像素子で受ける構成を採用してもよい。
　以上の構成により、撮像部１００は、撮像によって画像を取得することができる。本実施形態における撮像部１００は、手振れ補正を行う場合、１回の撮影において、露光時間の異なる２枚の画像を取得するように構成されている。図１０は、本実施形態における画像の取得方法を例示的に表すグラフである。図示されるグラフにおいて、横軸は時刻、縦軸は１つの光感知セルにおける蓄積電荷量を表している。なお、図１０では、上記の２回の露光に対応する蓄積電荷量のみを表しており、プレビュー表示に用いられる画像に対応する蓄積電荷量などは図示されていない。ユーザによってシャッタボタンが押下されると、まず比較的短い時間ＴSで露光が行われ、第１の画像（短時間露光画像）が取得される。続いて、ＴSよりも長い時間ＴLで２回目の露光が行われ、第２の画像（長時間露光画像）が取得される。なお、短時間露光画像および長時間露光画像の取得の順序は逆であってもよい。このようにして得られた長時間露光画像は、短時間露光画像よりも長い露光時間で取得されるため、輝度レベルが大きく、手振れによるぼやけの程度が大きい画像となる。一方、短時間露光画像は、輝度レベルが小さく、手振れによるぼやけの程度が小さい画像となる。これらの２枚の画像は、露光時間を示す情報（露光時間情報）とともに信号処理部２００に入力され、画像復元処理に用いられる。
　次に、図１１を参照しながら画像処理部２２０の構成を説明する。
　図１１は、画像処理部２２０の概略構成を示すブロック図である。画像処理部２２０は、長時間露光画像、短時間露光画像、露光時間情報、変換テーブル情報を取得し、長時間露光画像よりも手振れによるぼやけが低減された復元画像を出力する。画像処理部２２０は、画像取得部２２２、ぼやけ検出部２２４、画像合成部２２５、ブラーカーネル決定部２２６、画像復元部２２８、パラメータ更新部２２９を含んでいる。ブラーカーネル決定部２２６は、カーネルサイズ決定部２２６ａ、初期カーネル設定部２２６ｂ、カーネル推定部２２６ｃを含んでいる。
　画像取得部２２２は、撮像部１００から長時間露光画像、短時間露光画像、および露光時間情報を取得する。
　ぼやけ検出部２２４は、画像取得部２２２によって取得された長時間露光画像と短時間露光画像とを比較し、長時間露光画像に含まれるブレの程度を求める。例えば、公知の代表点マッチング法やブロックマッチング法を用いて２枚の画像における各対応点の動きベクトルを求めることによってブレの程度を示す評価値を求めることができる。また、２枚の画像の高域周波数成分の強度の比に基づいてブレを評価する方法や、テンプレートマッチングによって２枚の画像の相関を求めることによってブレを評価する方法を用いることができる。これらの評価方法は、例えば特開２００９－１１１５９６に開示されている。本実施形態では、ぼやけ検出部２２４によって求められたブレの程度を示す評価値が予め設定された閾値よりも大きい場合のみ、後述する画像復元処理が行われる。なお、閾値は任意の値に設定され得る。
　画像合成部２２５は、長時間露光画像と短時間露光画像とを合成して１つの合成劣化画像を生成する。画像合成部２２５は、例えば、長時間露光画像および短時間露光画像の対応する画素の輝度値を加算することによって合成劣化画像を生成する。ここで、対応する画素を単純に加算するのではなく、長時間露光画像および短時間露光画像の輝度レベルが同程度になるように重み付けを行ってから加算してもよい。
　カーネルサイズ決定部２２６ａは、撮像部１００から取得した露光時間情報および変換テーブル２８０に記録された変換テーブル情報に基づいてブラーカーネルのサイズを決定する。具体的には、露光時間に応じた「ブラーカーネル倍率」を変換テーブルから求め、求めたブラーカーネル倍率を基準サイズに掛けた値をブラーカーネルのサイズとして決定する。ここで、「露光時間」とは、長時間露光画像および短時間露光画像を取得した際の合計の露光時間ＴL＋ＴSを意味する。なお、「基準サイズ」は、予め固定値として撮像装置に設定されていてもよいし、ユーザによって手動で設定されてもよい。ブラーカーネルのサイズがユーザによって手動で設定される場合、ユーザの違いによるブレの程度の違いを考慮した、より好ましい基準サイズを設定することができる。あるいは、画像取得時の各種の撮影パラメータに基づいて撮影ごとに異なるサイズが決定されてもよい。変換テーブルの詳細については後述する。
　初期カーネル設定部２２６ｂは、復元処理に必要な初期ブラーカーネルを設定する。初期ブラーカーネルは、手動で設定してもよいし、予め固定の係数行列として設定されていてもよい。あるいは、画像取得時の各種の撮影パラメータに基づいて撮影ごとに異なる初期ブラーカーネルが決定されてもよい。画像処理に要する時間を短縮するという観点から、初期ブラーカーネルは、実際のブラーカーネルに近いことが好ましいが、必ずしも近くなくても復元処理は可能である。なお、初期ブラーカーネルのサイズは、後述する復元アルゴリズムによって異なる値に設定され得る。例えば、非特許文献１に開示されたアルゴリズムを用いる場合、初期ブラーカーネルのサイズは、３×３画素などの比較的小さい値に設定される。また、復元過程でブラーカーネルのサイズの変化を伴わないアルゴリズムを用いる場合、初期ブラーカーネルのサイズは、上記のカーネルサイズ決定部２２６ａによって決定されるサイズに設定される。
　画像復元部２２８は、初期ブラーカーネルを用いて画像合成部２２５で生成された合成劣化画像から復元画像を生成する。カーネル推定部２２６ｃは、合成劣化画像、および画像復元部２２４によって生成された復元画像に基づいてブラーカーネルの推定を行う。パラメータ更新部２２９は、カーネル推定部２２６ｃによって推定されたブラーカーネルで初期ブラーカーネルを更新する。更新された初期ブラーカーネルは、画像復元部２２８に与えられ、画像復元部２２８、カーネル推定部２２６ｃ、パラメータ更新部２２９による上記の処理が繰り返し実行される。
　図１１に示される構成は、画像処理部２２０の機能ブロックの一例を示すものであり、画像処理部２２０は他の機能ブロックに分割され得る。画像処理部２２０は、例えば公知のハードウェアに画像処理のソフトウェアを組み込むことによっても好適に実現される。
　次に、本実施形態における変換テーブルを説明する。図１２（ａ）は、本実施形態における変換テーブルの一例を示す図である。この例では、変換テーブルには、露光時間の範囲とブラーカーネル倍率との間の対応関係が規定されている。このような変換テーブルを参照することにより、カーネルサイズ決定部２２６ａは、例えば露光時間（ＴL＋ＴS）がＴ１からＴ２までの範囲内にあるとき、ブラーカーネルの倍率をＡ１倍に設定すべきであることを知る。図１２（ｂ）は、変換テーブルの他の例を示す図である。この例のように、露光時間に応じてブラーカーネルのサイズが直接決定されるように規定されていてもよい。例えば露光時間（ＴL＋ＴS）がＴ２からＴ３までの範囲内にあるとき、ブラーカーネルのサイズは、Ｎ２×Ｎ２（Ｎ２：３以上の整数）に設定される。この場合、上述のブラーカーネルの基準サイズを設定する必要はない。なお、変換テーブルは、上記のものに限らず、露光時間とブラーカーネルのサイズとの間の対応関係を示すものであれば、どのようなテーブルであってもよい。
　変換テーブルは、予め事前情報として作成される。以下、変換テーブルの作成方法の一例を説明する。
　まず、露光時間がある値になる条件で複数人が複数回にわたって目印となる物体（画像内で移動距離が計測できるようなチャートや点光源など）を撮影し、移動量をそれぞれ計測する。次に、他の露光時間を変えて同様の計測を行い、露光時間ごとに移動量の平均を求める。このようにして得られた平均移動量と露光時間との関係を示す情報が変換テーブルに記録される。
　なお、変換テーブルに格納された情報は、必要に応じて書き換えられてもよい。例えば、撮像装置は、ユーザが過去に行った撮影における画像のブレの傾向を学習し、当該ユーザに合わせて変換テーブルを書き換える機能を備えていてもよい。
　次に、図１３を参照しながら、本実施形態の撮像装置を使用して撮影を行う際の概略手順の例を説明する。
　まず、ユーザは被写体に撮像装置を向け、ユーザがシャッタボタンを半押しすると、自動焦点動作により被写体に焦点が合う。ユーザがシャッタボタンを深く押し込むと、「露光」が開始される（ステップＳ１）。このとき、撮像素子１０の撮像面に被写体の像が形成される。露光中にユーザによって撮像装置が不安定に動くと、撮像素子１０の撮像面上を像が移動するため、手振れによるぼやけが画像に付加されることになる。露光開始から比較的短い時間Ｔsが経過すると、一旦露光が停止し、撮像素子１０による信号電荷の読み出しが行われ、短時間露光画像が取得される（ステップＳ２）。続いて、２回目の露光が開始し、比較的長い時間ＴLが経過するまで露光が継続する。時間ＴLが経過すると露光は終了し、再び撮像素子１０による信号電荷の読み出しが行われ、長時間露光画像が取得される（ステップＳ３）。なお、上述のとおり、ステップＳ２およびステップＳ３の順序は逆であってもよい。
　短時間露光画像および長時間露光画像が取得されると、撮像部１００は、取得した２つの画像および露光時間情報を信号処理部２００における画像処理部２２０に入力する。画像処理部２２０は、入力された情報に基づいて画像復元処理を行い、長時間露光画像よりも手振れによるぼやけが減少した復元画像を生成する（ステップＳ４）。生成された復元画像は、表示部３００または記録媒体４００に送られ、表示または記録される（ステップＳ５）。
　次に、図１４を参照しながら画像処理部２２０によるステップＳ４の画像復元処理の手順を説明する。
　まず、画像取得部２２２は、ステップＳ４１において、短時間露光画像および長時間露光画像を取得する。続いて、ステップＳ４２において、ぼやけ検出部２２４は、取得した２つの画像におけるブレの程度を示すブレ評価値を求める。ブレ評価値は、上述したように公知の方法を利用して求められる。次に、ステップＳ４３において、ぼやけ検出部２２４によって求められたブレ評価値に基づいてブレの大きさが判断される。ブレ評価値が予め設定された閾値以下である場合、復元処理は行われず、処理は終了する。この場合、復元結果として長時間露光画像がメモリ２４０に格納される。一方、ブレ評価値が予め設定された基準値よりも大きい場合、以下のステップＳ４４～Ｓ５０が実行される。
　まず、ステップＳ４４において、画像取得部２２２は、露光時間情報を取得する。次に、画像合成部２２５は、ステップＳ４５において、短時間露光画像と長時間露光画像とを合成して合成劣化画像を生成する。続いて、ステップＳ４６において、カーネルサイズ決定部２２６ａによって、ブラーカーネルのサイズが決定される。このとき、カーネルサイズ決定部２２６ａは、変換テーブル情報を参照して露光時間（ＴL＋ＴS）に対応するブラーカーネルのサイズを決定する。その後、ステップＳ４７において、初期ブラーカーネル設定部２２２によって初期ブラーカーネルが決定される。
　次に、ステップＳ４８において、画像復元部２２８は、ステップＳ４５で生成された合成劣化画像とステップＳ４７で設定された初期ブラーカーネルとを用いて画像復元処理を実行し、復元画像を生成する。この画像復元処理は、公知の復元アルゴリズムによって実行される。画像復元部２２８は、得られた復元画像を一旦メモリ２４０に記録する。ステップＳ４９では、カーネル推定部２２６ｃが復元画像からブラーカーネルの推定を行い、パラメータ更新部２２８が、推定されたブラーカーネルによって以前のブラーカーネルを更新する。
　続いてステップＳ５０において、更新前後のブラーカーネル、および、更新前後の復元画像の変化が所定の閾値よりも小さいか否かを判定する。変化が閾値以上である場合は、再びステップＳ４８の処理が行われ、以後、変化が閾値よりも小さくなるまでステップＳ４８～Ｓ５０が繰り返される。変化が閾値よりも小さくなった場合は処理が収束したと判断され、復元結果がメモリ２４０に格納される。
　なお、上記の処理の流れはあくまでも一例であり、各処理の順序は必ずしも図１４に示す順序である必要はない。例えば、ステップＳ４５の合成画像の生成は、ステップＳ４４の露光時間情報の取得よりも前に行われてもよい。
　以下、ステップＳ４８、Ｓ４９で行われ得るブラーカーネルの推定および画像復元の詳細を説明する。
　ここでは、非特許文献２に開示されている信号処理法による画像復元方法を説明する。非特許文献２の信号処理法による場合、まずステップＳ４７で設定された初期ブラーカーネルに基づいて、第１の画像復元が行われる。この段階のブラーカーネルは、必ずしも真のブラーカーネル（正解）に一致しているものではないが、復元される結果は、劣化画像に比べると元画像に近づいたものとなる。
　続いて、第１の画像復元の結果である第１の復元画像からブラーカーネルの推定を行う。第１の復元画像が劣化画像よりも元画像に近づいているため、推定されるブラーカーネルは正解に近づく。ここで推定したブラーカーネルを用いて、すなわち、初期ブラーカーネルを次のブラーカーネルで更新して、第２の画像復元を行う。この処理をブラーカーネルの変化、および、画像復元結果の変化がなくなるまで繰り返し行うことにより、ブラーカーネル推定と画像復元を同時に行う。
　以下、画像復元処理の更に具体的な方法を述べる。
　画像復元部２２８は、与えられたブラーカーネル（最初は初期値、次からは更新値）と劣化画像により、画像の復元を行う。この処理に使用する評価式ＥLを式３に示す。
Figure JPOXMLDOC01-appb-M000003
ここで、Ｉは劣化画像、Ｌはぼやけのない画像Ｌ、ｆはブラーカーネルである。変数ｗｋ、λ１、λ２は手動で設定される「重み」である。Θは、どのような微分を画像に施すかを規定する演算子のセットである。Θは、具体的には、０回微分、１回微分（ｘ、ｙ方向それぞれ）、２回微分（ｘ方向に２回、ｙ方向に２回、ｘとｙ方向に１回ずつ）の合計６個の微分パラメータを持つ。ｄ*は、微分演算子である。ｄ*を用いてΘを表現すると、Θ＝｛ｄ0、ｄx、ｄy、ｄxx、ｄxy、ｄyy｝と表される。ｄ*により、輝度情報とエッジ情報の両方を用いた処理を行うことが可能になり、輝度だけでは得られない情報も得ることができる。Ｍは、２次元のマスクであり、画像中の平坦な領域、すなわち局所的なスムーズな領域（Ω）に含まれる画素では「１」の要素、それ以外の画素では「０」の要素を有している。||・||pは、ｐノルム演算子である。Φ（ｘ）は、自然に観察される画像中の輝度勾配ｘとその分布密度（対数表示）との関係を近似的に示す関数である。
　式３の右辺における第１項は、復元画像Ｌとブラーカーネルｆとの畳み込みを行って得られる画像と劣化画像Ｉとの差（距離）を示す項である。画像に対して６個の微分パラメータによる演算を施すことにより、輝度以外の情報に基づいて画像の近似度を評価できる。
　式３の右辺における第２項は、画像内の輝度勾配の性質（「ｈｅａｖｙ　ｔａｉｌ」と呼ばれる）を示す項である。Φ（ｄxＬ）、Φ（ｄyＬ）は、復元画像の輝度勾配をヒストグラム化したときに、勾配が０付近に出現確率の急激なピークが現れ、勾配が大きくなるにつれ出現確率が小さくなるという、統計的性質を持つ。第２項では、ｘ方向の勾配とｙ方向の勾配のそれぞれに対して、上記の統計的性質を示す分布からの距離を算出している。この統計的性質は、非特許文献１に開示されている方法でも利用されている。
　式３の右辺における第３項は、マスクＭと微分劣化画像と微分復元画像を用いて、平坦度の評価を行う項である。平坦な領域では、劣化画像と復元画像との間で輝度の勾配値が近い値を持つ。そのため、ｘ、ｙ方向の勾配値の誤差を評価値として用いる。
　式３の右辺を最小化するＬを求めることにより、復元画像Ｌを求めることができる（Ｌの最適化）。Ｌの最適化の具体的な計算方法は、非特許文献２に開示されている。
　次に、復元画像Ｌが得られた後に行う、ブラーカーネル推定部２２６ｃによる処理を詳しく説明する。
　ブラーカーネル推定は、画像復元部２２８で得られた復元画像Ｌと劣化画像Ｉとを用いてブラーカーネルｆを推定する問題である。ｆは、以下の式４の右辺を最小化するようにｆを決定することにより、ブラーカーネルｆを求めることができる（ｆの最適化）。
Figure JPOXMLDOC01-appb-M000004
　式４の右辺における第１項は、式３の右辺における第１項に相当し、復元画像Ｌとブラーカーネルｆとの畳み込みが劣化画像Ｉに近いか否かを示す評価基準を与える。式４の右辺における第２項は、ブラーカーネルｆの１ノルムである。第２項は、スパースコーディングと呼ばれる考え方に基づく項である。ブラーカーネルｆの行例における大部分の要素が０（動きがない）であることから、この最適化項が用いられる。本実施形態では、非特許文献２と同様に「ｉｎｔｅｒｉｏｒ　ｐｏｉｎｔ　ｍｅｔｈｏｄ」による最適化を行い、全体最適化を実現できる。
　なお、画像復元の手順は、上記の例に限定されない。例えば、非特許文献１に開示された方法や、その他のブラインド・デコンボリューション法を用いることができる。
　本実施形態における画像復元で重要な点は、撮影時の露光時間の変化に応じてブラーカーネルのサイズを変化させることにある。これにより、画像のブレが生じ易い長時間の露光による撮影時にはブラーカーネルのサイズは大きい値に設定されるため、ブラーカーネルのサイズが予め設定されたサイズを超えることを防止できる。逆に、短時間の露光による撮影時にはブラーカーネルのサイズは小さい値に設定されるため、計算量が必要以上に多くなることを防止できる。
　なお、図１３の画像復元処理Ｓ４における処理の流れは、図１４に示すフロー以外にも種々の態様が考えられる。例えば、図１５から図１７に示すフローのいずれかを採用することができる。以下、各フローを説明する。
　図１５に示すフローでは、長時間露光画像と短時間露光画像とを合成することなく、長時間露光画像のみを用いてブラーカーネルの推定および復元画像の生成が行われる。まず、ステップＳ５１からステップＳ５４までは図１４のステップＳ４１からステップＳ４４までと同様である。ステップＳ５５において、長時間露光画像におけるブラーカーネルサイズが決定される。このとき、カーネルサイズ決定部２２６ａは、長時間露光画像を取得した際の露光時間ＴLに対応するブラーカーネル倍率を変換テーブルから求める。続くステップＳ５６からステップＳ５９までの処理は、図１４のステップＳ４６からステップＳ４９までの処理と同様である。ステップＳ５６からステップＳ５９までの処理が長時間露光画像に対して行われることによって、復元画像が生成される。図１５に示すフローを採用する場合、画像合成部２２５は不要である。
　図１６に示すフローでは、長時間露光画像と短時間露光画像とを合成することなく、長時間露光画像および短時間露光画像のそれぞれに対してブラーカーネルの推定および復元画像の生成が行われる。生成された２つの復元画像は、最後に合成され、合成復元画像が生成される。まず、ステップＳ６１からステップＳ６４までは図１４のステップＳ４１からステップＳ４４までと同様である。続いて、ステップＳ６５ａからステップＳ６９ａにおいて、長時間露光画像に対するブラーカーネルの推定および復元画像の生成が行われる。同様に、ステップＳ６５ｂからステップＳ６９ｂにおいて、短時間露光画像に対するブラーカーネルの推定および復元画像の生成が行われる。ステップＳ６５ａ～Ｓ６９ａおよびステップＳ６５ｂ～Ｓ６９ｂの処理は、図１４のステップＳ４６～Ｓ５０の処理と同様である。ここで、長時間露光画像におけるブラーカーネルサイズは、長時間露光画像を取得した際の露光時間ＴLに基づいて変換テーブルから決定される。同様に、短時間露光画像におけるブラーカーネルサイズは、短時間露光画像を取得した際の露光時間ＴSに基づいて変換テーブルから決定される。最後に、ステップＳ７０において、画像合成部２２５によって長時間露光画像に対する復元画像および短時間露光画像に対する復元画像が合成され、合成復元画像が生成される。生成された合成復元画像は、最終的な復元結果としてメモリ２４０に記録される。図１６に示すフローを採用する場合、画像合成部２２５は、長時間露光画像と短時間露光画像とを合成することなく、ステップＳ７０における復元画像の合成処理を行う。
　図１７に示すフローでは、長時間露光画像および短時間露光画像のそれぞれに対してブラーカーネルが推定され、推定された２つのブラーカーネルから合成ブラーカーネルが生成される。この合成ブラーカーネルを用いて合成画像を復元することによって復元画像が生成される。このフローは、例えばジャイロセンサなどの手振れ検知機構を撮像装置が備えている場合にも適用され得る。まず、ステップＳ７１からステップＳ７５までは図１４のステップＳ４１からステップＳ４５までと同様である。続いて、ステップＳ７６ａ、Ｓ７７ａにおいて、長時間露光画像におけるブラーカーネルサイズの決定およびブラーカーネルの推定が行われる。同様に、ステップＳ７６ｂ、Ｓ７７ｂにおいて、長時間露光画像におけるブラーカーネルサイズの決定およびブラーカーネルの推定が行われる。ここで、長時間露光画像におけるブラーカーネルサイズは、長時間露光画像を取得した際の露光時間ＴLに基づいて変換テーブルから決定される。同様に、短時間露光画像におけるブラーカーネルサイズは、短時間露光画像を取得した際の露光時間ＴSに基づいて変換テーブルから決定される。ステップＳ７７ａ、Ｓ７７ｂにおけるブラーカーネルの推定方法としては、例えば撮像装置に備えられた手振れ検知機構によって求められる手振れの大きさからブラーカーネルを推定する等の公知の方法を用いることができる。続いて、ステップＳ７８において、求められた２つのブラーカーネルが合成される。最後に、画像復元部２２８は、ステップＳ７９において、合成されたブラーカーネルを用いてステップＳ７５で得られた合成画像を復元することによって復元画像を生成する。図１７に示すフローを採用する場合、ステップＳ７９において、公知のウィーナーフィルタ法やリチャードソン・ルーシー（ＲＬ）法などのノンブラインド・デコンボリューション法を用いて復元画像を得ることができる。
　以上の図１５から図１７のいずれかのフローを用いた場合でも、露光時間に応じて適応的にブラーカーネルサイズを変化させることができ、本実施形態の効果を得ることができる。なお、図１５から図１７の各フローにおいて、個々の処理の順序は可能な範囲で図示された順序と異なっていてもよい。
　なお、ジャイロセンサなどの手振れ検知機構を備える場合、撮像装置は、長時間露光画像を先に取得し、その際の手振れの大きさが所定の閾値よりも小さいときには短時間露光画像を取得しないように構成されていてもよい。このような構成により、手振れ補正が必要な場合だけ短時間露光画像の取得および画像復元処理が行われるため、処理時間を短縮することができる。
　また、本実施形態において、画像処理部２２０は、必ずしもぼやけ検出部２２４を備えている必要はない。ぼやけ検出部２２４がない場合、図１４におけるステップＳ４２、Ｓ４３、あるいは図１５から図１７における対応するステップの処理は省略され、長時間露光画像のブレの程度に関わらず画像復元処理が行われる。
　さらに、本実施形態において、露光時間の変化に応じてブラーカーネルのサイズを適切に変化させることができれば、必ずしも変換テーブルを用いる必要はない。例えば、露光時間とブラーカーネルサイズとの関係を表す関数を用いれば同様の処理が可能となる。この場合、まず、予め既知の撮影対象を露光時間を変えながら撮影し、撮影ごとにブラーカーネルサイズを取得する。次に、露光時間を横軸とし、ブラーカーネルサイズを縦軸とする二次元空間に取得したデータをプロットする。続いて、プロットされたデータに対して線形回帰や曲線当てはめを行い、露光時間とブラーカーネルサイズとの間の関係を多次元関数として表す。このようにして多次元関数が求まれば、撮影時に得られる露光時間を、求めた多次元関数に入力することにより、ブラーカーネルサイズが得られる。このような方法によれば変換テーブルは不要である。
　以上の実施形態では、ブラ―カーネルサイズは、撮影時の露光時間のみによって決定されるが、画像のブレの程度に影響を及ぼす他の情報も考慮してブラ―カーネルサイズを決定してもよい。例えば、画像のブレの程度は、露光時間のみならず、撮影時のズーム倍率によっても影響される。すなわち、遠くの被写体を撮影するために光学系のズーム倍率（または焦点距離）を大きくする場合、ズーム倍率が小さい場合よりも、画像のブレの程度は大きくなる。したがって、遠くのシーンを撮影するためにズーム倍率を大きくする場合、ブラーカーネルのサイズを大きくすることが好ましい。ここで、「ズーム倍率」とは、撮像装置における光学系の最小（広角側）焦点距離に対する撮影時の焦点距離の割合を意味するものとする。
　ズーム倍率も考慮してブラ―カーネルサイズを決定する場合、撮像装置は、露光時間およびズーム倍率の両方の変化に応じてブラーカーネルのサイズを変化させることになる。この場合、ズーム倍率に関する変換テーブルおよび露光時間に関する変換テーブルの両方が撮像装置に記録されていればよい。例えば、図１２（ａ）に示す変換テーブルに類似する変換テーブルがズーム倍率に関しても用意されていれば、各テーブルから得られる倍率を基準サイズに掛けることによってブラーカーネルのサイズを決定できる。
　ズーム倍率に関する変換テーブルと露光時間に関する変換テーブルとは、１つのテーブルに統合されていてもよい。図１８は、これらの情報が統合されたテーブルの例を示す図である。図１８（ａ）は、ズーム倍率および露光時間の組み合わせと、ブラ―カーネル倍率との対応関係を規定する変換テーブルの例を示している。図１８（ｂ）は、ズーム倍率および露光時間の組み合わせと、ブラ―カーネルサイズとの対応関係を規定する変換テーブルの例を示している。図１８（ａ）、図１８（ｂ）のいずれの変換テーブルを用いても、ズーム倍率および露光時間の両方の情報を加味して最適なブラ―カーネルのサイズを決定することができる。例えば、図１８（ａ）に示す変換テーブルを用いた場合、ズーム倍率がｚ２からｚ３までの間の範囲内にあり、露光時間がＴ２からＴ３までの範囲内にあるとき、ブラ―カーネル倍率はＣ２２に設定される。
　以上の実施形態における画像復元処理は、撮像装置に内蔵された画像処理部に限らず、撮像装置とは独立した画像処理装置によっても実行され得る。例えば、撮像装置によって取得された各画像、露光時間情報などを画像処理装置に入力し、例えば図１４から図１５のいずれかに示す処理を規定するプログラムをその画像処理装置内のコンピュータに実行させることによっても復元画像を得ることができる。
　本発明の撮像装置は、手振れによってぼやけが生じ得る撮像装置に適用して高い産業上の利用可能性がある。ＰＳＦが未知の状況下でＰＳＦおよび復元画像の両方を推定することができるため、特別の手振れ防止機構を設けることなく、あるいは、そのような手振れ防止機構とともに、ぼやけの少ない画像を得ることが可能になる。
　本発明の画像処理装置は、撮像装置に内蔵される必要は無く、撮像装置によって取得された画像のデータを受け取り、処理するように構成され得る。
１０　　撮像素子
１１　　光感知セル
１５　　絞り機能を有するシャッタ
２０　　撮影レンズ
３０　　撮像素子駆動部
１００　撮像部
２００　信号処理部
２２０　画像処理部
２２２　画像取得部
２２４　ぼやけ検出部
２２５　画像合成部
２２６　ブラーカーネル決定部
２２６ａ　カーネルサイズ決定部
２２６ｂ　初期カーネル設定部
２２６ｃ　カーネル推定部
２２８　画像復元部
２２９　パラメータ更新部
２４０　メモリ
２６０　インターフェース（ＩＦ）
２８０　変換テーブル
３００　表示部
４００　記録媒体
５００　システム制御部

Claims (12)

  1. 　撮像時の手振れによるぼやけを減少させた復元画像を生成する撮像装置であって、
    　１回の撮影において、第１の画像、および前記第１の画像よりも短い露光時間で取得される第２の画像を取得する撮像部と、
    　前記撮像部によって取得された前記第１の画像および前記第２の画像を用いて復元処理を行う画像処理部と、
    を備え、
    　前記画像処理部は、
    　前記撮像部によって取得された前記第１の画像における手振れによるぼやけを規定するブラーカーネルを決定するブラーカーネル決定部と、
    　決定された前記ブラーカーネルを用いて復元画像を生成する画像復元部と、
    を有し、
    　前記ブラーカーネル決定部は、前記第１の画像を取得する際の露光時間に応じて前記ブラーカーネルのサイズを変化させる、
    撮像装置。
  2. 　前記ブラーカーネル決定部は、前記露光時間が長いほど前記ブラーカーネルのサイズを大きくする、請求項１に記載の撮像装置。
  3. 　前記露光時間と前記ブラーカーネルのサイズとの間の対応関係を規定する変換テーブルをさらに備え、
    　前記ブラーカーネル決定部は、前記変換テーブルに基づいて前記ブラーカーネルのサイズを決定する、請求項１または２に記載の撮像装置。
  4. 　前記変換テーブルは、前記露光時間と、前記ブラーカーネルの基準サイズからの倍率との間の対応関係を規定する、請求項３に記載の撮像装置。
  5. 　前記ブラーカーネルを第１のブラーカーネルとするとき、
    　前記ブラーカーネル決定部は、前記第２の画像における手振れによるぼやけを規定する第２のブラーカーネルを決定し、
    　前記画像復元部は、前記第１のブラーカーネルおよび前記第２のブラーカーネルを用いて前記復元画像を生成する、請求項１から４のいずれかに記載の撮像装置。
  6. 　前記画像処理部は、前記第１の画像および前記第２の画像を合成して第３の画像を生成する画像合成部を有し、
    　前記復元部は、前記第１のブラーカーネルおよび前記第２のブラーカーネルを用いて前記第３の画像から前記復元画像を生成する、請求項５に記載の撮像装置。
  7. 　前記画像処理部は、複数の画像を合成する画像合成部を有し、
    　前記画像復元部は、前記第１のブラーカーネルを用いて前記第１の画像から第１の復元過程の画像を生成し、前記第２のブラーカーネルを用いて前記第２の画像から第２の復元過程の画像を生成し、
    　前記画像合成部は、前記第１の復元過程の画像および前記第２の復元過程の画像を合成することによって前記復元画像を生成する、請求項５に記載の撮像装置。
  8. 　前記撮像部によって取得された前記第１の画像および前記第２の画像を比較することによって前記第１の画像のぼやけの程度を求めるぼやけ検出部をさらに備え、
    　前記ぼやけ検出部によって求められた前記第１の画像のぼやけの程度が予め定められた基準値よりも大きい場合には前記画像処理部における復元処理を行い、前記第１の画像のぼやけの程度が前記基準値よりも小さい場合には前記画像処理部における復元処理を行わない、請求項１から７のいずれかに記載の撮像装置。
  9. 　前記ブラ―カーネル決定部は、さらに、前記第１の画像を取得する際のズーム倍率に応じて、前記ブラ―カーネルのサイズを変化させる、請求項１から８のいずれかに記載の撮像装置。
  10. 　１回の撮影において、第１の画像、および前記第１の画像よりも短い露光時間で取得される第２の画像を取得する撮像装置によって取得された前記第１の画像および前記第２の画像を用いて復元処理を行う画像処理装置であって、
    　前記第１の画像、前記第２の画像、および前記第１の画像を取得する際の露光時間を取得する画像取得部と、
    　前記撮像部によって取得された前記第１の画像における手振れによるぼやけを規定するブラーカーネルを決定するブラーカーネル決定部と、
    　決定された前記ブラーカーネルを用いて復元画像を生成する画像復元部と、
    を有し、
    　前記ブラーカーネル決定部は、前記第１の画像を取得する際の露光時間に応じて前記ブラーカーネルのサイズを変化させる、
    画像処理装置。
  11. 　１回の撮影において、第１の画像、および前記第１の画像よりも短い露光時間で取得される第２の画像を取得する撮像装置によって取得された前記第１の画像および前記第２の画像を用いて復元処理を行うためのプログラムであって、
    　コンピュータに対し、
    　前記第１の画像、前記第２の画像、および前記第１の画像取得時の露光時間を示す情報を取得するステップと、
    　前記第１の画像取得時の露光時間に基づいて前記第１の画像における手振れによるぼやけを規定するブラーカーネルのサイズを決定するステップと、
    　前記ブラーカーネルを決定するステップと、
    　決定された前記ブラーカーネルを用いて復元画像を生成するステップと、
    を実行させるプログラム。
  12. 　１回の撮影において、第１の画像、および前記第１の画像よりも短い露光時間で取得される第２の画像を取得する撮像装置によって取得された前記第１の画像および前記第２の画像を用いて復元処理を行う画像処理方法であって、
    　前記第１の画像、前記第２の画像、および前記第１の画像取得時の露光時間を示す情報を取得するステップと、
    　前記第１の画像取得時の露光時間に基づいて前記第１の画像における手振れによるぼやけを規定するブラーカーネルのサイズを決定するステップと、
    　前記ブラーカーネルを決定するステップと、
    　決定された前記ブラーカーネルを用いて復元画像を生成するステップと、
    を含む画像処理方法。
PCT/JP2011/002637 2010-05-21 2011-05-11 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム WO2011145297A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201180024954.0A CN102907082B (zh) 2010-05-21 2011-05-11 摄像装置、图像处理装置、图像处理方法
EP11783236.0A EP2574039B1 (en) 2010-05-21 2011-05-11 Image pickup device, image processing device, image processing method, and image processing program
JP2012515735A JP5756099B2 (ja) 2010-05-21 2011-05-11 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム
US13/697,686 US9036032B2 (en) 2010-05-21 2011-05-11 Image pickup device changing the size of a blur kernel according to the exposure time

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010-117676 2010-05-21
JP2010117676 2010-05-21
JP2010119384 2010-05-25
JP2010-119384 2010-05-25

Publications (1)

Publication Number Publication Date
WO2011145297A1 true WO2011145297A1 (ja) 2011-11-24

Family

ID=44991418

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2011/002636 WO2011145296A1 (ja) 2010-05-21 2011-05-11 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム
PCT/JP2011/002637 WO2011145297A1 (ja) 2010-05-21 2011-05-11 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/002636 WO2011145296A1 (ja) 2010-05-21 2011-05-11 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム

Country Status (5)

Country Link
US (2) US9071754B2 (ja)
EP (2) EP2574038B1 (ja)
JP (2) JP5756099B2 (ja)
CN (2) CN102907082B (ja)
WO (2) WO2011145296A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013192227A (ja) * 2012-03-13 2013-09-26 Samsung Electronics Co Ltd タイル単位に基づいて大きい入力映像の不均一モーションブラーを除去する方法及び装置
JP2017070590A (ja) * 2015-10-08 2017-04-13 キヤノン株式会社 画像処理装置及びその制御方法、コンピュータプログラム
JP2021027491A (ja) * 2019-08-06 2021-02-22 キヤノン株式会社 回転半径演算装置および回転半径演算方法

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2574038B1 (en) * 2010-05-21 2018-10-24 Panasonic Intellectual Property Corporation of America Image capturing apparatus, image processing apparatus, image processing method, and image processing program
KR101896026B1 (ko) * 2011-11-08 2018-09-07 삼성전자주식회사 휴대 단말기에서 움직임 블러를 생성하는 장치 및 방법
KR101844332B1 (ko) * 2012-03-13 2018-04-03 삼성전자주식회사 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 방법 및 장치
US9143687B2 (en) * 2012-03-14 2015-09-22 University Of Dayton Method of analyzing motion blur using double discrete wavelet transform
US8917330B1 (en) * 2012-06-01 2014-12-23 Gopro, Inc. Cinematic image blur in digital cameras based on exposure timing manipulation
CN104662435A (zh) 2012-09-27 2015-05-27 Metaio有限公司 确定与用于捕获至少一个图像的捕获装置关联的装置的位置和方向的方法
CN104969545B (zh) * 2013-02-05 2018-03-20 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法以及程序
WO2014144820A1 (en) 2013-03-15 2014-09-18 The Regents Of The University Of Colorado 3-d localization and imaging of dense arrays of particles
EP3028220A4 (en) * 2013-07-29 2017-04-05 Nikon Corporation Multiple phase method for image deconvolution
WO2015015966A1 (ja) * 2013-08-01 2015-02-05 富士フイルム株式会社 撮像装置、撮像方法及び画像処理装置
US9918021B2 (en) * 2013-08-30 2018-03-13 Nikon Corporation Image processing device that changes extent of image altering by first and second image processing
US9066014B2 (en) * 2013-10-11 2015-06-23 Facebook, Inc. Applying video stabilization to a multimedia clip
US9299132B2 (en) * 2013-10-23 2016-03-29 Adobe Systems Incorporated Automatically determining the size of a blur kernel
CN103839233B (zh) * 2014-01-20 2017-05-10 左旺孟 一种相机抖动造成的模糊图像复原方法
WO2015191998A1 (en) * 2014-06-12 2015-12-17 Duke University Systyem and method for improved computational imaging
US9646365B1 (en) 2014-08-12 2017-05-09 Amazon Technologies, Inc. Variable temporal aperture
US9749532B1 (en) 2014-08-12 2017-08-29 Amazon Technologies, Inc. Pixel readout of a charge coupled device having a variable aperture
US9787899B1 (en) 2014-08-12 2017-10-10 Amazon Technologies, Inc. Multiple captures with a variable aperture
US9749534B2 (en) * 2014-12-31 2017-08-29 Canon Kabushiki Kaisha Devices, systems, and methods for estimation of motion blur from a single image
US9684970B2 (en) * 2015-02-27 2017-06-20 Qualcomm Incorporated Fast adaptive estimation of motion blur for coherent rendering
CN106033595B (zh) * 2015-03-13 2021-06-22 中国科学院西安光学精密机械研究所 一种基于局部约束的图像盲去模糊方法
KR101596203B1 (ko) 2015-06-16 2016-02-22 중앙대학교 산학협력단 모션 블러 이미지 복원 방법 및 장치
US10007990B2 (en) * 2015-12-24 2018-06-26 Intel Corporation Generating composite images using estimated blur kernel size
US10311560B2 (en) * 2016-09-07 2019-06-04 Huazhong University Of Science And Technology Method and system for estimating blur kernel size
CN108665417B (zh) * 2017-03-30 2021-03-12 杭州海康威视数字技术股份有限公司 一种车牌图像去模糊方法、装置及系统
CN108881703B (zh) * 2017-05-09 2020-07-21 杭州海康威视数字技术股份有限公司 防抖控制方法和装置
CN107395961A (zh) * 2017-07-07 2017-11-24 青岛海信移动通信技术股份有限公司 一种图像数据的复原方法和装置
JP2020115607A (ja) * 2019-01-17 2020-07-30 日本電気株式会社 画像処理装置、画像処理方法、プログラム
US11475571B2 (en) * 2019-03-13 2022-10-18 Canon Kabushiki Kaisha Apparatus, image processing apparatus, and control method
US11120538B2 (en) * 2019-12-27 2021-09-14 Zoox, Inc. Sensor degradation detection and remediation
TW202143101A (zh) * 2020-05-11 2021-11-16 大陸商上海耕岩智能科技有限公司 用於成像系統的模糊函數處理方法及裝置、圖像採集設備、儲存介質、圖像處理方法及裝置、成像設備
US20220012853A1 (en) * 2020-07-09 2022-01-13 Technoimaging, Llc Joint minimum entropy method for simultaneous processing and fusion of multi-physics data and images
US11449979B2 (en) * 2020-10-09 2022-09-20 Applied Materials Israel Ltd. Measuring a pattern
CN113347352B (zh) * 2021-05-21 2023-10-03 Oppo广东移动通信有限公司 拍摄参数调整方法及装置、电子设备、计算机存储介质
WO2023003556A1 (en) * 2021-07-22 2023-01-26 Google Llc Joint video stabilization and motion deblurring
CN113870134B (zh) * 2021-09-28 2023-04-07 南京诺源医疗器械有限公司 手持式摄像镜数据处理方法及装置
US11425304B1 (en) * 2021-12-06 2022-08-23 Black Sesame Technologies Inc. Reducing global motion and rolling shutter in a dual camera system
CN114928694A (zh) * 2022-04-25 2022-08-19 深圳市慧鲤科技有限公司 图像获取方法和装置、设备、介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005064851A (ja) * 2003-08-12 2005-03-10 Fuji Photo Film Co Ltd デジタルカメラ及び固体撮像装置
JP2008061217A (ja) * 2006-07-31 2008-03-13 Ricoh Co Ltd 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム
JP2008099025A (ja) 2006-10-12 2008-04-24 Kyocera Corp 撮像装置、ぶれ補正方法及び撮像方法
JP2009111596A (ja) 2007-10-29 2009-05-21 Sanyo Electric Co Ltd 撮像装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6429895B1 (en) * 1996-12-27 2002-08-06 Canon Kabushiki Kaisha Image sensing apparatus and method capable of merging function for obtaining high-precision image by synthesizing images and image stabilization function
JP4298752B2 (ja) 2004-09-14 2009-07-22 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2006129236A (ja) 2004-10-29 2006-05-18 Sanyo Electric Co Ltd リンギング除去装置およびリンギング除去プログラムを記録したコンピュータ読み取り可能な記録媒体
US7643062B2 (en) 2005-06-08 2010-01-05 Hewlett-Packard Development Company, L.P. Method and system for deblurring an image based on motion tracking
CN101366270B (zh) * 2005-11-29 2011-07-13 京瓷株式会社 成像设备和成像方法
JP4916862B2 (ja) * 2005-12-27 2012-04-18 京セラ株式会社 撮像装置およびその方法
JP2008011424A (ja) 2006-06-30 2008-01-17 Eastman Kodak Co 画像処理装置及び画像処理プログラム
CN100550996C (zh) * 2006-07-31 2009-10-14 株式会社理光 图像处理装置，成像装置以及图像处理方法
US7796872B2 (en) * 2007-01-05 2010-09-14 Invensense, Inc. Method and apparatus for producing a sharp image from a handheld device containing a gyroscope
US8306348B2 (en) 2007-04-24 2012-11-06 DigitalOptics Corporation Europe Limited Techniques for adjusting the effect of applying kernels to signals to achieve desired effect on signal
US20090086174A1 (en) 2007-09-28 2009-04-02 Sanyo Electric Co., Ltd. Image recording apparatus, image correcting apparatus, and image sensing apparatus
JP4661922B2 (ja) * 2008-09-03 2011-03-30 ソニー株式会社 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
KR101574733B1 (ko) * 2008-11-19 2015-12-04 삼성전자 주식회사 고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법
JP5179398B2 (ja) * 2009-02-13 2013-04-10 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム
JP5499050B2 (ja) * 2009-12-22 2014-05-21 パナソニック株式会社 画像処理装置、撮像装置、及び画像処理方法
EP2574038B1 (en) * 2010-05-21 2018-10-24 Panasonic Intellectual Property Corporation of America Image capturing apparatus, image processing apparatus, image processing method, and image processing program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005064851A (ja) * 2003-08-12 2005-03-10 Fuji Photo Film Co Ltd デジタルカメラ及び固体撮像装置
JP2008061217A (ja) * 2006-07-31 2008-03-13 Ricoh Co Ltd 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム
JP2008099025A (ja) 2006-10-12 2008-04-24 Kyocera Corp 撮像装置、ぶれ補正方法及び撮像方法
JP2009111596A (ja) 2007-10-29 2009-05-21 Sanyo Electric Co Ltd 撮像装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
QI SHAN; JIAYA JIA; ASEEM AGARWALA: "High-quaiity Motion Deblurring from a Single Image", SIGGRAPH, 2008
ROB FERGUS ET AL.: "SIGGRAPH", 2006, article "Removing Camera Shake from a Single Image"
See also references of EP2574039A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013192227A (ja) * 2012-03-13 2013-09-26 Samsung Electronics Co Ltd タイル単位に基づいて大きい入力映像の不均一モーションブラーを除去する方法及び装置
KR101810876B1 (ko) * 2012-03-13 2018-01-26 삼성전자주식회사 타일 단위를 기반으로 큰 입력 영상의 비균일 모션 블러를 제거하는 방법 및 장치
JP2017070590A (ja) * 2015-10-08 2017-04-13 キヤノン株式会社 画像処理装置及びその制御方法、コンピュータプログラム
JP2021027491A (ja) * 2019-08-06 2021-02-22 キヤノン株式会社 回転半径演算装置および回転半径演算方法
JP7292145B2 (ja) 2019-08-06 2023-06-16 キヤノン株式会社 回転半径演算装置および回転半径演算方法

Also Published As

Publication number Publication date
WO2011145296A1 (ja) 2011-11-24
CN102907083B (zh) 2016-09-28
US20130057714A1 (en) 2013-03-07
JPWO2011145297A1 (ja) 2013-07-22
JP5756099B2 (ja) 2015-07-29
EP2574039B1 (en) 2018-05-02
JP5596138B2 (ja) 2014-09-24
EP2574039A4 (en) 2014-04-23
EP2574039A1 (en) 2013-03-27
US9036032B2 (en) 2015-05-19
US9071754B2 (en) 2015-06-30
CN102907082A (zh) 2013-01-30
CN102907082B (zh) 2016-05-18
EP2574038A4 (en) 2014-04-23
US20130063616A1 (en) 2013-03-14
JPWO2011145296A1 (ja) 2013-07-22
CN102907083A (zh) 2013-01-30
EP2574038B1 (en) 2018-10-24
EP2574038A1 (en) 2013-03-27

Similar Documents

Publication Publication Date Title
JP5756099B2 (ja) 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム
JP5468404B2 (ja) 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
JP5237978B2 (ja) 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
JP5909540B2 (ja) 画像処理表示装置
JP5484631B2 (ja) 撮像装置、撮像方法、プログラム、及びプログラム記憶媒体
JP5744614B2 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
JP2007135182A (ja) 撮像装置および撮像方法
JP5184574B2 (ja) 撮像装置、画像処理装置、および画像処理方法
WO2019124289A1 (ja) 装置、制御方法および記憶媒体
US9007471B2 (en) Digital photographing apparatus, method for controlling the same, and computer-readable medium
JP5115297B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP6245847B2 (ja) 画像処理装置および画像処理方法
JP2011135379A (ja) 撮像装置、撮像方法及びプログラム
JP6548409B2 (ja) 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
JP2009089228A (ja) 撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180024954.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11783236

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2012515735

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13697686

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2011783236

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE