WO2010098054A1 - 画像補正装置及び画像補正方法 - Google Patents

画像補正装置及び画像補正方法 Download PDF

Info

Publication number
WO2010098054A1
WO2010098054A1 PCT/JP2010/001115 JP2010001115W WO2010098054A1 WO 2010098054 A1 WO2010098054 A1 WO 2010098054A1 JP 2010001115 W JP2010001115 W JP 2010001115W WO 2010098054 A1 WO2010098054 A1 WO 2010098054A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
point spread
spread function
image
adaptive
Prior art date
Application number
PCT/JP2010/001115
Other languages
English (en)
French (fr)
Inventor
石井育規
物部祐亮
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US12/988,890 priority Critical patent/US8422827B2/en
Priority to JP2010533363A priority patent/JP5331816B2/ja
Priority to CN2010800014220A priority patent/CN102017607B/zh
Priority to EP10745941.4A priority patent/EP2403235B1/en
Publication of WO2010098054A1 publication Critical patent/WO2010098054A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Definitions

  • the present invention relates to an image correction apparatus that corrects an image captured using a digital still camera, a security camera, or the like, and more particularly to an image correction apparatus that corrects image blurring.
  • the captured image may be blurred.
  • the blur generated in the image is roughly classified into two types, a hand shake blur and a subject blur.
  • Camera shake is image blur caused by the camera moving when the shutter is pressed.
  • Subject blur is image blur caused by the subject moving during shooting.
  • PSF Point Spread Function
  • FIG. 14A a PSF representing deterioration from a non-blurred image 1001 to a defocused image 1002 is represented by an image 1003.
  • FIG. 14B a PSF representing deterioration from a non-blurred image 1004 to an image 1005 blurred in the x direction is represented by an image 1006.
  • Non Patent Document 1 a method using a low-resolution image sequence photographed using a high-speed shutter and a high-resolution image photographed using a low-speed shutter has been proposed (for example, non Patent Document 1).
  • the motion of a subject image is estimated by associating pixels among a plurality of images included in an image sequence of a low-resolution high-speed shutter with less blur. Then, using the estimated movement of the subject image, the image of the low-speed shutter having a large blur is corrected, thereby obtaining a high-resolution image in which the subject blur is corrected.
  • Patent Document 1 a method of correcting using a plurality of continuously shot images has been proposed (for example, see Patent Document 1).
  • the movement (trajectory) of a subject is obtained based on a plurality of images that are continuously captured, so that all pixel positions of the target image are obtained.
  • One deterioration function for example, PSF
  • PSF deterioration function
  • Non-Patent Document 1 has a problem that subject blur cannot be corrected in an environment where a high-speed shutter cannot be used. For example, when an image is taken with a high-speed shutter in a low illumination environment, only a dark image can be obtained because the amount of light is insufficient. When such a dark image is used, the accuracy of pixel association between images decreases. In addition, when the sensitivity is increased in order to eliminate the shortage of light in a low illumination environment, noise signals caused by the imaging device such as dark current noise and thermal noise are amplified, so the accuracy of pixel correspondence between images is increased. descend. As described above, in the method described in Non-Patent Document 1, in a low-light environment where there are many opportunities for subject blurring, the accuracy of pixel correspondence between images decreases, so subject blurring can be corrected with high accuracy. Can not.
  • Patent Document 1 has a description that the deterioration function at all pixel positions of the target image is calculated based on the deterioration function calculated based on a plurality of regions of the target image. Is not listed.
  • the present invention has been made in view of the above problems, and provides an image correction apparatus capable of correcting an input image including a plurality of blurs to a target image with less blurs than the input image with high accuracy. For the purpose.
  • an image correction apparatus is an image correction apparatus that generates a target image with less blur than the input image by correcting the input image, and configures the input image.
  • the input image is divided into a plurality of adaptive regions by determining a region where blurring is common as one adaptive region based on pixel values of pixels to be processed, and image blurring is performed for each of the divided adaptive regions.
  • an adaptive region dividing unit that calculates a point spread function indicating the characteristics of the pixel, and using the calculated point spread function, a pixel located between representative pixels that are pixels representing each of the plurality of adaptive regions
  • a point spread function interpolation unit that interpolates a point spread function
  • an image correction unit that generates the target image by correcting the input image using the point spread function after interpolation.
  • the input image can be corrected using a point spread function for each area where blurring is common, so an input image containing multiple blurrings can be accurately corrected to a target image with less blurring than the input image. It becomes possible to do. Furthermore, since the point spread function of pixels located between the representative pixels can be interpolated using the point spread function calculated for each region, the point spread function becomes discontinuous at the boundary of the divided regions. It is possible to suppress a sense of incongruity in the target image.
  • the adaptive region dividing unit determines a region having a common blur as one adaptive region based on the similarity of the point spread function.
  • This configuration makes it possible to determine the commonness of blur based on the similarity of the point spread function, so that a region with common blur can be determined as one adaptive region with high accuracy.
  • the adaptive region dividing unit includes a first point spread function calculating unit that calculates a point spread function of an initial region that is a partial region of the input image as a first point spread function, and the initial region is a holding region.
  • An area holding unit to hold as a second point spread function calculation unit that calculates a point spread function of an evaluation area that includes the initial area and is larger than the initial area as a second point spread function;
  • a similarity determination unit that determines whether the first point spread function and the second point spread function are similar, and the similarity determination unit determines that the first point spread function and the second point spread function are When it is determined that they are not similar, an adaptive region determination unit that determines a region having a common blur as one adaptive region by determining a holding region last held in the region holding unit as the adaptive region
  • the region holding unit holds the evaluation region as a holding region when the similarity determination unit determines that the first point spread function and the second point spread function are similar to each other, and
  • the point spread function calculation unit is a region that
  • the input image can be adaptively divided into adaptive regions in which a region having a similar point spread function becomes a single region, and thus can be obtained by photographing a plurality of subjects moving in different directions. Further, it is possible to divide the input image into adaptive areas corresponding to the subject. That is, the input image can be corrected using a point spread function that matches the blur direction for each subject image, so that a target image with less blur can be generated.
  • the first point spread function calculation unit includes a candidate region selection unit that selects all or a part of the input image as a candidate region and a blur direction of the candidate region selected by the candidate region selection unit.
  • An initial region determination that determines the candidate region as the initial region when the blur direction determination unit determines whether the blur direction is a single blur direction and the blur direction determination unit determines that the single blur direction is the single blur direction.
  • the candidate area selection unit selects an area smaller than the candidate area as a new candidate area when the blur direction determination unit determines that the direction is not a single blur direction.
  • the initial region when determining the adaptive region can be determined as a region with a single blur direction, it is possible to reduce the possibility that subject images having different blur directions are included in the adaptive region. it can.
  • the input image can be corrected using the PSF that matches the blur direction for each subject image, so that a target image with less blur can be generated.
  • the adaptive region dividing unit determines a region having a common blur as one adaptive region based on whether or not the direction is a single blur.
  • This configuration makes it possible to determine the commonality of blurring based on whether or not the direction is a single blurring direction, so that a region where blurring is common can be determined as one adaptive region with high accuracy.
  • the adaptive region dividing unit includes a candidate region selecting unit that selects all or a part of the input image as a candidate region, and a blur direction of the candidate region selected by the candidate region selecting unit is single.
  • a candidate region selecting unit that selects all or a part of the input image as a candidate region
  • a blur direction of the candidate region selected by the candidate region selecting unit is single.
  • the point spread function interpolation unit divides each of the at least two point spread functions into two or more when the at least two point spread functions of the calculated point spread functions are expressed by a straight line. It is preferable to interpolate the point spread functions of the pixels located between the representative pixels of the adaptive area corresponding to the at least two point spread functions based on the correspondence relationship of the point spread functions.
  • This configuration makes it possible to easily interpolate the point spread function when the point spread function is represented by a straight line.
  • the point spread function interpolation unit is configured to correspond to each of the point spread functions based on a correspondence obtained by associating the calculated point spread functions with each other using a matching method based on dynamic programming. It is preferable to interpolate the point spread function of the pixels located between the representative pixels in the target area.
  • This configuration makes it possible to interpolate the point spread function even when the point spread function is not represented by a straight line.
  • the point spread function interpolation unit determines whether or not the calculated point spread functions are similar to each other, and is positioned between representative pixels in the adaptive area corresponding to the point spread functions determined to be similar to each other. It is preferable to interpolate the point spread function of the pixel to be processed.
  • the present invention can be realized not only as such an image correction apparatus, but also as an integrated circuit including characteristic components included in such an image correction apparatus.
  • the present invention can be realized not only as such an image correction apparatus, but also as an image correction method in which the operation of a characteristic component included in such an image correction apparatus is used as a step.
  • the present invention can also be realized as a program that causes a computer to execute each step included in the image correction method.
  • a program can be distributed via a recording medium such as a CD-ROM (Compact Disc-Read Only Memory) or a transmission medium such as the Internet.
  • the image correction apparatus divides an input image including a plurality of blurs into a plurality of adaptive regions so that a region where blurs are common becomes one adaptive region. be able to.
  • the image correction apparatus can correct the input image for each region where blurring is common, the input image including a plurality of blurrings is corrected to a target image with less blurring than the input image with high accuracy. It becomes possible.
  • FIG. 1 is a block diagram showing a functional configuration of an image correction apparatus according to Embodiments 1 and 2 of the present invention.
  • FIG. 2 is a block diagram showing a functional configuration of the program storage unit according to Embodiment 1 of the present invention.
  • FIG. 3 is a flowchart showing the overall processing flow of the image correction apparatus according to Embodiments 1 and 2 of the present invention.
  • FIG. 4 is a flowchart showing a flow of processing by the adaptive region dividing unit according to Embodiment 1 of the present invention.
  • FIG. 5 is a diagram for explaining a flow of region division processing by the adaptive region division unit according to Embodiment 1 of the present invention.
  • FIG. 1 is a block diagram showing a functional configuration of an image correction apparatus according to Embodiments 1 and 2 of the present invention.
  • FIG. 2 is a block diagram showing a functional configuration of the program storage unit according to Embodiment 1 of the present invention.
  • FIG. 3 is a flowchart showing the overall processing flow of
  • FIG. 6 is a flowchart showing a flow of processing by the PSF interpolation unit according to Embodiments 1 and 2 of the present invention.
  • FIG. 7 is a diagram for explaining PSF interpolation by the PSF interpolation unit according to Embodiments 1 and 2 of the present invention.
  • FIG. 8 is a diagram for explaining PSF interpolation by the PSF interpolation unit according to Embodiments 1 and 2 of the present invention.
  • FIG. 9 is a flowchart showing a flow of processing relating to determination of an initial region by the first PSF calculation unit according to Embodiment 1 of the present invention.
  • FIG. 10 is a diagram for explaining a flow of processing relating to determination of an initial region by the first PSF calculation unit according to Embodiment 1 of the present invention.
  • FIG. 10 is a diagram for explaining a flow of processing relating to determination of an initial region by the first PSF calculation unit according to Embodiment 1 of the present invention.
  • FIG. 11 is a block diagram showing a functional configuration of the program storage unit according to Embodiment 2 of the present invention.
  • FIG. 12 is a flowchart showing a process flow of the adaptive region dividing unit according to Embodiment 2 of the present invention.
  • FIG. 13 is a block diagram showing a functional configuration of the system LSI according to the present invention.
  • FIG. 14A is a diagram for explaining the PSF.
  • FIG. 14B is a diagram for explaining the PSF.
  • FIG. 1 is a block diagram showing a functional configuration of an image correction apparatus 100 according to Embodiment 1 of the present invention.
  • the image correction apparatus 100 includes an arithmetic control unit 101, a memory unit 102, a display unit 103, an input unit 104, a communication I / F (interface) unit 105, a data storage unit 106, and a program storage unit 107. Is provided. These components 101 to 107 are connected via a bus 108.
  • the arithmetic control unit 101 is a CPU (Central Processing Unit), a numerical processor, etc., and loads and executes a necessary program from the program storage unit 107 to the memory unit 102 in accordance with an instruction from the user.
  • the constituent units 102 to 107 are controlled.
  • the memory unit 102 is a RAM (Random Access Memory) that provides a work area for the arithmetic control unit 101.
  • the display unit 103 is a CRT (Cathode-Ray Tube), an LCD (Liquid Crystal Display), or the like.
  • the input unit 104 is a keyboard, a mouse, or the like. The display unit 103 and the input unit 104 are used for dialogue between the image correction apparatus 100 and the user under the control of the arithmetic control unit 101.
  • the communication I / F unit 105 is a LAN adapter or the like, and is used for communication between the image correction apparatus 100 and the camera 400 or the like.
  • the data storage unit 106 is a hard disk, a flash memory, or the like that stores an input image acquired by the camera 400 or the like and a target image obtained by correcting the input image.
  • the program storage unit 107 is a ROM (Read Only Memory) that stores various programs for realizing the functions of the image correction apparatus 100.
  • FIG. 2 is a block diagram showing a functional configuration of the program storage unit 107 according to Embodiment 1 of the present invention.
  • the program storage unit 107 is functionally (as a processing unit that functions when executed by the arithmetic control unit 101), an adaptive region dividing unit 110, a PSF interpolation unit 120, and an image correction unit 130.
  • the program storage unit 107 is functionally (as a processing unit that functions when executed by the arithmetic control unit 101), an adaptive region dividing unit 110, a PSF interpolation unit 120, and an image correction unit 130.
  • the adaptive region dividing unit 110 divides the input image into a plurality of adaptive regions by determining a region with common blur as one adaptive region based on the pixel values of the pixels constituting the input image. Furthermore, the adaptive area dividing unit 110 calculates a PSF for each divided adaptive area. Specifically, the adaptive region dividing unit 110 determines a region where blurring is common as one adaptive region based on the similarity of PSFs.
  • the adaptive region dividing unit 110 includes a first PSF calculation unit 111, a region holding unit 112, a second PSF calculation unit 113, a similarity determination unit 114, and an adaptive region determination unit 115. Prepare.
  • the first PSF calculation unit 111 calculates the PSF of the initial area, which is a partial area of the input image, as the first PSF. Specifically, the first PSF calculation unit 111 includes a candidate region selection unit 111a, a blur direction determination unit 111b, and an initial region determination unit 111c. Then, the first PSF calculation unit 111 calculates the PSF of the initial region determined by the initial region determination unit 111c as the first PSF.
  • the candidate area selection unit 111a selects all or a part of the input image as a candidate area. In addition, when the blur direction determination unit 111b determines that the single blur direction is not determined, the candidate region selection unit 111a selects a region smaller than the candidate region as a new candidate region.
  • the blur direction determination unit 111b determines whether the blur direction of the candidate area selected by the candidate area selection unit 111a is a single blur direction.
  • the initial region determination unit 111c determines a candidate region as an initial region when the blur direction determination unit 111b determines that a single blur direction is present.
  • the area holding unit 112 holds the initial area as a holding area. In addition, the area holding unit 112 holds the evaluation area as a holding area when the similarity determination unit 114 described later determines that the first PSF and the second PSF are similar.
  • the second PSF calculation unit 113 calculates the PSF of the evaluation area that is an area including the initial area and larger than the initial area as the second PSF. Further, when the similarity determination unit 114 determines that the first PSF and the second PSF are similar, the second PSF calculation unit 113 includes a PSF of a new evaluation region that includes the evaluation region and is larger than the evaluation region. Is calculated as the second PSF.
  • the similarity determination unit 114 determines whether the first PSF and the second PSF are similar.
  • the adaptive region determination unit 115 determines the holding region held last in the region holding unit 112 as the adaptive region. That is, the adaptive area determination unit 115 determines an area where blurring is common as one adaptive area based on the similarity of PSFs.
  • the PSF interpolation unit 120 uses the calculated PSF to interpolate the PSF of the pixels located between the representative pixels.
  • the representative pixel is a pixel that represents each of the plurality of regions.
  • the representative pixel is a pixel such as the center or the center of gravity of each region.
  • the PSF interpolation unit 120 associates PSFs calculated for each adaptive region with each other using a matching method (hereinafter referred to as “DP matching”) by dynamic programming (Dynamic Programming), for example. Then, the PSF interpolation unit 120 interpolates the PSFs of the pixels located between the representative pixels of the adaptive area corresponding to the PSF, based on the correspondence obtained by associating the PSFs in this way.
  • DP matching a matching method by dynamic programming
  • the PSF interpolation unit 120 may divide and associate the at least two PSFs. Specifically, the PSF interpolation unit 120 calculates PSFs of pixels located between the representative pixels in the adaptive area corresponding to the at least two PSFs based on the correspondence obtained by associating the PSFs in this way. Interpolation may be performed.
  • the PSF interpolation unit 120 determines whether the PSFs are similar to each other, and interpolates the PSFs of pixels located between the representative pixels in the adaptive area corresponding to the PSFs determined to be similar to each other.
  • the image correction unit 130 generates a target image with less blur than the input image by correcting the input image using PSF.
  • FIG. 3 is a flowchart showing an overall processing flow of the image correction apparatus 100 according to Embodiment 1 of the present invention.
  • the adaptive region dividing unit 110 divides the input image into a plurality of adaptive regions of an adaptive size according to the pixel values of the pixels constituting the input image stored in the data storage unit 106. Further, the adaptive region dividing unit 110 calculates a PSF for each adaptive region (S101). Subsequently, the PSF interpolation unit 120 uses the PSF calculated for each adaptive region to interpolate the PSFs of pixels located between the representative pixels in each adaptive region (S102).
  • the image correcting unit 130 corrects the input image using the PSF for each pixel after interpolation, thereby generating a target image with less blur than the input image (S103).
  • the image correction unit 130 corrects the input image using the PSF for each pixel obtained based on the processing in step S101 and step S102, using the Richardson-Lucy method represented by the following equation (1).
  • I indicates an image after correction (target image).
  • K represents PSF.
  • B represents an input image.
  • the image correction unit 130 corrects the input image using the Richardson-Lucy method, but corrects the input image using other methods such as the Fourier log method and the maximum entropy method. May be.
  • FIG. 4 is a flowchart showing a flow of processing (S101) by the adaptive region dividing unit 110 according to Embodiment 1 of the present invention.
  • the first PSF calculation unit 111 determines an initial region that is a partial region of the input image (S201). Details of the process for determining the initial area will be described later.
  • the first PSF calculation unit 111 calculates the PSF of the determined initial region as the first PSF (S202). Specifically, the first PSF calculating unit 111 calculates a PSF from one image (for example, see Non-Patent Document 2, “Removing Camera Shake from a single image (Rob Fergus et.al, SIGGRAPH 2006)”). To calculate the PSF.
  • the data storage unit 106 stores in advance an image gradient distribution that appears in a general natural image without blurring. Then, the first PSF calculation unit 111 repeatedly compares the image gradient distribution obtained when the initial region is corrected using a given PSF and the image gradient distribution stored in the data storage unit 106. Then, a PSF whose image gradient distribution matches or is similar is searched. Then, the first PSF calculation unit 111 calculates the PSF obtained as a result of the search in this way as the first PSF.
  • the area holding unit 112 holds the initial area determined by the first PSF calculation unit 111 as a holding area (S203).
  • the second PSF calculation unit 113 selects an evaluation area (S204).
  • This evaluation area is an area including the initial area and is larger than the initial area. For example, when the initial area is a rectangular area, the second PSF calculation unit 113 selects an area that is one pixel larger in the x direction and one pixel larger in the y direction than the initial area as the evaluation area. Then, the second PSF calculation unit 113 calculates the PSF of the selected evaluation area as the second PSF (S205).
  • the second PSF calculation unit 113 does not need to determine an area larger than the initial area in both the x direction and the y direction as the evaluation area.
  • the second PSF calculation unit 113 may determine an area expanded from the initial area as an evaluation area for only one of the x direction and the y direction.
  • the second PSF calculation unit 113 may determine, for example, an area expanded in the x direction or the y direction only as a part of the outer edge of the initial area as the evaluation area.
  • the second PSF calculation unit 113 can select an evaluation area flexibly, and thus can increase the possibility of selecting an image of a subject that moves in the same manner as one area.
  • the similarity determination unit 114 determines whether or not the first PSF and the second PSF are similar (S206). Specifically, the similarity determination unit 114 calculates the inter-image distance when the first PSF and the second PSF are expressed as images as the similarity indicating the PSF similarity. For example, the similarity determination unit 114 calculates the L1 norm calculated by the following equation (2) as the similarity. The L1 norm indicates that the smaller the value, the higher the degree of similarity.
  • P1ij indicates a PSF value of a pixel specified by coordinates (i, j) when the first PSF is expressed as an image.
  • P2ij indicates the PSF value of the pixel specified by the coordinates (i, j) when the second PSF is expressed as an image.
  • the similarity determination unit 114 determines that the first PSF and the second PSF are similar when the L1 norm of the first PSF and the second PSF is smaller than a predetermined threshold. Conversely, the similarity determination unit 114 determines that the first PSF and the second PSF are not similar when the L1 norm of the first PSF and the second PSF is equal to or greater than a predetermined threshold.
  • the similarity determination unit 114 calculates the L1 norm as the similarity, but the similarity may be calculated using a similarity determination method between other images. For example, the similarity determination unit 114 may calculate the L2 norm as the similarity.
  • the area holding unit 112 holds the evaluation area as a holding area (S207). Further, the second PSF calculation unit 113 selects a new evaluation area (S204). This new evaluation area is an area including the holding area held in step S207 and is larger than the holding area held in step S207. And the process of step S205 and step S206 is performed using a new evaluation area
  • the adaptive region determination unit 115 determines the retained region retained last in step S207 as the adaptive region ( S208).
  • the first PSF calculation unit 111 determines whether or not all the pixels of the input image are included in the already determined adaptive region (S209).
  • the first PSF calculation unit 111 when all the pixels of the input image are not included in the already determined adaptive area (No in S209), the first PSF calculation unit 111 includes an area that includes only pixels that are not yet included in the adaptive area. Is determined as the initial region (S201). For example, the first PSF calculation unit 111 determines the initial region so as to include pixels adjacent to the right end or the lower end of the determined adaptive region. Note that the first PSF calculation unit 111 may determine the initial region so as not to include adjacent pixels but to include pixels separated by the number of pixels determined by a priori knowledge. Further, the first PSF calculation unit 111 may determine the initial region so as to include pixels separated by the number of pixels indicated by the input value received from the user received by the input unit 104.
  • step S102 in FIG. 3 is executed.
  • the adaptive region dividing unit 110 divides the input image into a plurality of adaptive regions by repeating the processing from step S201 to step S209.
  • FIG. 5 is a diagram for explaining the flow of region division processing by the adaptive region dividing unit 110 according to Embodiment 1 of the present invention.
  • the first PSF calculation unit 111 determines an initial region 501. Then, the first PSF calculation unit 111 calculates the first PSF 502 (P1) that is the PSF of the initial region 501. Note that although the initial area 501 is rectangular here, the initial area 501 does not necessarily have to be rectangular. For example, the initial region 501 may have an arbitrary shape such as a rhombus, a parallelogram, or a circle.
  • the second PSF calculation unit 113 selects an area including the initial area 501 and larger than the initial area 501 as the evaluation area 503. Then, the second PSF calculation unit 113 calculates the PSF of the evaluation area 503 as the second PSF 504 (P2).
  • the evaluation area 503 is rectangular, but the evaluation area 503 is not necessarily rectangular.
  • the evaluation region 503 may have an arbitrary shape such as a rhombus, a parallelogram, or a circle.
  • the similarity determination unit 114 calculates the L1 norm of the first PSF 502 and the second PSF 504. Since the calculated L1 norm is smaller than the threshold value TH, the similarity determination unit 114 determines that the first PSF 502 and the second PSF 504 are similar. Therefore, the area holding unit 112 holds the evaluation area 503.
  • the second PSF calculation unit 113 selects an area including the evaluation area 503 and larger than the evaluation area 503 as the evaluation area 505. Then, the second PSF calculation unit 113 calculates the PSF of the evaluation area 505 as the second PSF 506 (P3).
  • the similarity determination unit 114 calculates the L1 norm of the first PSF 502 and the second PSF 506. Since the calculated L1 norm is equal to or greater than the threshold value TH, the similarity determination unit 114 determines that the first PSF 502 and the second PSF 504 are not similar. Therefore, the adaptive area determination unit 115 determines the evaluation area 503 last held by the area holding unit 112 as an adaptive area.
  • the first PSF calculation unit 111 determines an area adjacent to the determined adaptive area as the initial area 507.
  • the adaptive region dividing unit 110 divides the input image into a plurality of adaptive regions as shown in FIG. To do.
  • the PSF interpolation unit 120 interpolates the PSF as described below in order to reduce the uncomfortable feeling of the target image after correction.
  • FIG. 6 is a flowchart showing a flow of processing (S102) by the PSF interpolation unit 120 according to Embodiment 1 of the present invention.
  • the PSF interpolation unit 120 selects a PSF group including at least two PSFs from a plurality of PSFs calculated for each of the plurality of adaptive regions divided by the adaptive region dividing unit 110 (S301). For example, the PSF interpolation unit 120 selects PSFs in two adaptive regions adjacent to each other.
  • the PSF interpolation unit 120 searches for corresponding points that are corresponding points between the PSFs included in the selected PSF group (S302). For example, as shown in FIG. 7, when each of the two PSFs is represented by one straight line, the PSF interpolation unit 120 divides each of the two PSFs into N equal parts (N is a positive integer). Then, the PSF interpolation unit 120 searches for corresponding points by associating N equally divided PSFs between two PSFs. Further, for example, as shown in FIG. 8, when at least one of the two PSFs is not represented by one straight line, a corresponding point may be searched by DP matching. The combination of corresponding points searched here is called a correspondence relationship.
  • the PSF interpolation unit 120 calculates the distance between the searched corresponding points (S303). Specifically, the PSF interpolation unit 120 calculates the L1 norm, for example, as the distance, as in step S206 in FIG. When the L1 norm is calculated as a distance, the smaller the L1 norm is, the higher the degree of similarity is.
  • the PSF interpolation unit 120 determines whether or not the calculated distance is smaller than a predetermined threshold (S304). That is, the PSF interpolation unit 120 determines whether the PSFs included in the PSF group are similar to each other.
  • the PSF interpolation unit 120 executes the process of Step S306. That is, when it is determined that the PSFs are not similar to each other, the PSF interpolation unit 120 does not interpolate the PSFs in the adaptive region corresponding to the PSFs. That is, the PSF of each pixel in the adaptive region is uniform with the PSF calculated for the adaptive region.
  • the PSF interpolation unit 120 does not interpolate the PSFs because the subject images included in the adaptive regions corresponding to the PSFs that are not similar to each other move differently. This is because there is a high possibility that the image is an image of a subject that is playing. That is, when the PSF is interpolated in a plurality of adaptive regions including images of different subjects as described above, the PSF corresponding to the motion of the subject which is not possible may be interpolated.
  • the PSF interpolation unit 120 interpolates the PSF in the adaptive region corresponding to the PSF (S305). That is, when it is determined that the PSFs are similar to each other, the PSF interpolation unit 120 interpolates the PSFs of pixels located between the representative pixels in the adaptive region. That is, the PSF interpolation unit 120 interpolates PSFs of pixels that are inside and outside each adaptive region and are pixels other than the representative pixel based on the correspondence relationship between the distance and the PSF from the representative pixel.
  • the PSF interpolation unit 120 calculates a new PSF based on the correspondence relationship of the PSF according to the distance between the pixel position to be interpolated and each representative pixel, and uses the calculated PSF as the PSF of the pixel. Interpolate.
  • the PSF interpolation unit 120 interpolates the PSF in the adaptive region corresponding to the PSF only when it is determined that the PSFs are similar to each other. This is because if the PSFs are similar, the subject image included in each of the adaptive regions corresponding to the PSF is highly likely to be an image of one subject that is moving in the same way. As described above, the PSF interpolation unit 120 interpolates the PSF between a plurality of adaptive regions including an image of one subject, so that it is possible to reduce a sense of incongruity that occurs at the boundary of the adaptive region in the target image. .
  • the PSF interpolation unit 120 may interpolate the PSF by any interpolation method such as linear interpolation, polynomial interpolation, or spline interpolation.
  • the PSF interpolation unit 120 determines whether all the PSFs have already been selected (S306).
  • the PSF interpolation unit 120 selects a PSF group including PSFs that are not yet selected (S301).
  • the process of step S103 in FIG. 3 is executed.
  • the PSF interpolation unit 120 uses the PSF calculated for each adaptive region, and interpolates the PSFs of pixels located between pixels representing each adaptive region. As a result, the PSF interpolation unit 120 can suppress an unnaturally large change in the PSF at the boundary between adjacent adaptive regions. That is, the image correction unit 130 can generate a target image that does not feel strange at the boundary of the adaptive region.
  • the first PSF calculation unit 111 determines whether an initial region is too small, it is difficult for the first PSF calculation unit 111 to distinguish between texture and blur, and thus it is difficult to calculate the PSF.
  • the initial region is too large, there is a high possibility that an image of a subject that moves differently is included in the initial region. Therefore, it is difficult for the first PSF calculation unit 111 to calculate a PSF according to the motion of the subject. Therefore, a method for determining an initial region while reducing the size from a large region in order so that images of a plurality of subjects that move differently are not included will be described below.
  • FIG. 9 is a flowchart showing a flow of processing (S201) related to determination of the initial region by the first PSF calculation unit 111 according to Embodiment 1 of the present invention.
  • the candidate area selection unit 111a selects all or a part of the input image as a candidate area (S401). Subsequently, the blur direction determination unit 111b converts the pixel value of the selected candidate region into a frequency space using a discrete Fourier transform (DFT: Discrete Fourier Transform) or the like (S402).
  • DFT discrete Fourier transform
  • the blur direction determination unit 111b determines whether or not the frequency distribution obtained by converting into the frequency space can be expressed by a sinc function (S403). What was a rectangular wave in the image space is represented by a sinc function (formula (3)) in the frequency space.
  • the blur direction determination unit 111b determines whether the frequency distribution obtained by converting to the frequency space can be expressed using the sinc function, so that the blur direction of the candidate region is a single blur direction. It is determined whether or not there is.
  • the blur direction determination unit 111b calculates a correlation value between the frequency distribution obtained by converting into the frequency space and each of the plurality of sinc functions.
  • the plurality of sinc functions are sinc functions corresponding to combinations of a plurality of amplitudes and a plurality of phases.
  • the blur direction determination unit 111b calculates a correlation value using a method of calculating similarity between images such as L1 norm, L2 norm, or normalized correlation.
  • the blur direction determination unit 111b determines whether or not there is a sinc function whose correlation value exceeds a predetermined threshold value.
  • the blur direction determination unit 111b determines that the frequency distribution can be expressed using the sinc function.
  • the blur direction determination unit 111b determines that the frequency distribution cannot be expressed by the sinc function.
  • the initial area determination unit 111c sets the candidate area to the initial position. The area is determined (S405).
  • the initial area determination unit 111c sets the candidate area as the initial area. Not determined as. Therefore, the blur direction determination unit 111b determines whether or not the size of the candidate area is smaller than a predetermined threshold value (S404).
  • the predetermined threshold value is a value indicating the size of an area in which a PSF capable of correcting blurring of an input image with high accuracy can be calculated. The size of this area differs depending on the exposure time when the image is taken. For example, when the exposure time is about 1 second, the threshold value may be a value of about 100 pixels (10 ⁇ 10 pixels).
  • the candidate area selection unit 111a selects an area smaller than the current candidate area as a new candidate area. (S401).
  • the initial area determination unit 111c determines the currently selected candidate area as the initial area (S405). This is because since the candidate area is small, the subject image included in the candidate area is considered to be a single subject image. That is, since the subject image included in the candidate region is considered to be an image of a subject that has moved in a plurality of directions, the initial region determination unit 111c determines the currently selected candidate region as the initial region without further reducing the candidate region. Determine as.
  • the first PSF calculation unit 111 determines the initial region while reducing the candidate region until it is determined that the frequency distribution can be expressed by the sinc function or until a predetermined size is obtained. Therefore, the first PSF calculation unit 111 can determine a small region that does not include PSFs with different blur directions as the initial region.
  • FIG. 10 is a diagram for explaining a flow of processing related to determination of an initial region by the first PSF calculation unit 111 according to Embodiment 1 of the present invention.
  • the candidate area selection unit 111a selects a relatively large area as a candidate area 601 that has not yet been determined as an adaptive area. Note that the candidate area selection unit 111a may select the entire image as a candidate area.
  • the blur direction determination unit 111b converts the pixel value of the candidate region 601 into a frequency component by discrete Fourier transform or the like.
  • FIG. 10B is a diagram showing an image 602 representing the converted frequency component.
  • the blur direction determination unit 111b includes a plurality of images corresponding to a plurality of amplitude and phase sinc functions, and an image 602 representing the frequency component obtained by the conversion. A correlation value is calculated.
  • the image 602 shown in FIG. 10B is an image in which points indicating frequency components spread vertically and horizontally. Therefore, the correlation value between the image 602 and the image corresponding to the sinc function is small. That is, there is no image similar to the image 602 corresponding to the sinc function.
  • the blur direction determination unit 111b determines that the blur direction of the candidate area 601 is not a single blur direction. Then, the candidate area selection unit 111a selects an area smaller than the candidate area 601 as a new candidate area 603 as illustrated in FIG. Then, the blur direction determination unit 111b converts the pixel value of the candidate region 603 into a frequency component using a discrete Fourier transform or the like.
  • FIG. 10E is a diagram illustrating an image 604 representing the converted frequency component. Then, as illustrated in FIG. 10F, the blur direction determination unit 111b includes a plurality of images corresponding to each of a plurality of amplitude and phase sinc functions, and an image 604 representing a frequency component obtained by using the transformation. The correlation value is calculated.
  • the image 604 shown in FIG. 10E is an image in which points indicating frequency components are arranged in one straight line. Therefore, the correlation value between the image 604 and the image corresponding to the sinc function is large. That is, an image corresponding to a sinc function similar to the image 604 exists. Therefore, the blur direction determination unit 111b determines that the blur direction of the candidate area 603 is a single blur direction. Then, the initial region determination unit 111c determines the candidate region 603 as the initial region.
  • the first PSF calculation unit 111 can determine whether the gradation is due to texture or the gradation due to blur by determining the initial region based on whether or not it can be expressed by a sinc function. It becomes possible.
  • the image correction apparatus 100 can divide an input image into a plurality of adaptive regions so that a region where blurring is common becomes one adaptive region.
  • the image correction apparatus 100 can correct the input image using the PSF for each region where shake is common, the input image including a plurality of shakes is changed to a target image with less shake than the input image. It becomes possible to correct with high accuracy.
  • the image correction apparatus 100 can interpolate the PSF of the pixels located between the representative pixels using the PSF calculated for each region, the PSF becomes discontinuous at the boundary between the divided regions. It is possible to suppress a sense of incongruity in the target image. Further, the image correction apparatus 100 can correct an input image without using an image other than the input image.
  • the image correction apparatus 100 can divide the input image into adaptive regions so that a region with a similar PSF becomes one adaptive region. Therefore, the image correction apparatus 100 can divide a single input image obtained by photographing a plurality of subjects moving in different directions into regions corresponding to the subjects. That is, since the image correction unit 130 can correct the input image using the PSF that matches the blur direction for each subject image, the image correction apparatus 100 can generate a target image with less blur. .
  • the image correction apparatus 100 can determine the initial region when determining the adaptive region as a region of a single blur direction, there is a possibility that subject images having different blur directions are included in the adaptive region. Can be reduced. That is, the image correction apparatus 100 can correct the input image using the PSF that matches the blur direction of the subject image, and thus can generate a target image with less blur.
  • the PSF interpolation unit 120 does not interpolate PSFs for adaptive regions where PSFs are not similar to each other. Therefore, the PSF interpolation unit 120 can reduce the possibility of interpolating the PSF with respect to the boundary between subject images that are moving differently. That is, the PSF interpolation unit 120 can reduce the possibility of interpolating a PSF corresponding to a motion different from the actual subject motion.
  • adaptive area dividing section 110 determines an adaptive area so that areas with similar PSFs become one area, but image correction apparatus 100 to which the present invention is applied is
  • the adaptive region segmentation unit 110 divides an input image into a plurality of adaptive regions, each of which is a region where blurring is common, using a priori knowledge that similar textures are likely to move the same. May be.
  • the adaptive area dividing unit 110 also uses, for example, an area dividing method (for example, a graph cut) used in the computer vision field, and inputs an input image to a plurality of adaptive areas, each of which is a region where blurring is common. May be divided. Thereby, the adaptive area dividing unit 110 can perform flexible texture division.
  • the image correction apparatus 100 can capture a plurality of images taken with a long exposure time. Only a region with motion may be extracted from the image using the inter-image difference, and the above-described PSF interpolation and image correction may be performed only on the extracted region. Accordingly, the image correction apparatus 100 can reduce the total calculation cost, memory cost, and the like.
  • the first PSF calculation unit 111 determines the initial area while reducing the candidate area. For example, the first PSF calculation unit 111 determines an area having a predetermined size corresponding to the exposure time of the input image. The initial region may be determined. In this case, the data storage unit 106 preferably stores a table in which the exposure time is associated with the size of the area. Then, the first PSF calculation unit 111 acquires the size of the area corresponding to the exposure time of the input image by referring to the table stored in the data storage unit 106, and uses the acquired size area as the initial area. It is preferable to determine.
  • the image correction apparatus 200 according to the second embodiment and the image correction apparatus 100 according to the first embodiment are different in the configuration of the adaptive area dividing unit included in the program storage unit 107, but the other components are the same. . Therefore, in the following, illustration and description of a block diagram having the same configuration as in the first embodiment and a flowchart having the same processing flow are omitted. Moreover, the same code
  • FIG. 11 is a block diagram showing a functional configuration of the program storage unit 107 according to Embodiment 2 of the present invention.
  • the adaptive region dividing unit 210 determines a region where blurring is common as one adaptive region based on whether or not there is a single blur direction. As shown in FIG. 11, the adaptive region division unit 210 includes a candidate region selection unit 211, a blur direction determination unit 212, an adaptive region determination unit 213, and a PSF calculation unit 214.
  • the candidate area selection unit 211 determines candidate areas that are all or part of the input image. In addition, when the blur direction determination unit 212 determines that the single blur direction is not the single blur direction, the candidate region selection unit 211 selects a region smaller than the candidate region as a new candidate region.
  • the blur direction determination unit 212 determines whether or not the blur direction of the candidate area selected by the candidate area selection unit 211 is a single blur direction.
  • the adaptive region determination unit 213 determines a candidate region as an adaptive region when the blur direction determination unit 212 determines that the single blur direction is present. That is, the adaptive region determination unit 213 determines a region with common blur as one adaptive region based on whether or not the direction is a single blur direction.
  • the PSF calculation unit 214 calculates the PSF of the adaptive region determined by the adaptive region determination unit 213.
  • FIG. 12 is a flowchart showing a flow of processing (S101) of the adaptive region dividing unit 210 according to Embodiment 2 of the present invention.
  • the candidate area selection unit 211 selects all or a part of the input image as a candidate area (S501). Subsequently, the blur direction determination unit 212 converts the pixel value of the selected candidate region into a frequency space by a discrete Fourier transform or the like (S502).
  • the blur direction determination unit 212 determines whether or not the frequency distribution obtained by converting to the frequency space can be expressed by a sinc function (S503). That is, the blur direction determination unit 212 determines whether or not there is a single blur direction in the candidate area.
  • the blur direction determination unit 212 calculates a correlation value between the frequency distribution obtained by converting into the frequency space and each of the plurality of sinc functions.
  • the plurality of sinc functions are sinc functions corresponding to combinations of a plurality of amplitudes and a plurality of phases.
  • the blur direction determination unit 212 calculates a correlation value using a method of calculating similarity between images such as L1 norm, L2 norm, or normalized correlation.
  • the blur direction determination unit 212 determines whether there is a sinc function having a correlation value exceeding a predetermined threshold among a plurality of sinc functions.
  • the blur direction determination unit 212 determines that the frequency distribution can be expressed using the sinc function.
  • the blur direction determination unit 212 determines that the frequency distribution cannot be expressed using the sinc function.
  • the adaptive region determination unit 213 selects the candidate region.
  • the adaptive area is determined (S505).
  • the blur direction determination unit 212 determines whether the size of the candidate area is smaller than a predetermined threshold (S504).
  • the predetermined threshold value is a value indicating the size of an area in which a PSF capable of correcting blurring of an input image with high accuracy can be calculated. The size of this area differs depending on the exposure time when the image is taken. For example, when the exposure time is about 1 second, the threshold value may be a value of about 100 pixels (10 ⁇ 10 pixels).
  • the candidate area selection unit 211 selects an area smaller than the current candidate area as a new candidate area. (S501).
  • the adaptive region determination unit 213 determines the currently selected candidate region as the adaptive region (S505). ). This is because since the candidate area is small, the subject image included in the candidate area is considered to be a single subject image. That is, since the subject image included in the candidate region is considered to be an image of a single subject moved in a plurality of directions, the adaptive region determination unit 213 can select the currently selected candidate without further reducing the candidate region. The region is determined as an adaptive region.
  • the first PSF calculation unit 111 determines the adaptive region while reducing the candidate region until it is determined that the frequency distribution can be expressed using the sinc function or until a predetermined size is obtained. Therefore, the first PSF calculation unit 111 can determine an area that does not include a PSF of a different blur direction as an adaptive area.
  • the image correction apparatus 200 can determine a region in a single blur direction as an adaptive region, so that one region including images of a plurality of subjects moving in different directions is used. Dividing the input image as one adaptive region can be suppressed. In other words, the image correction apparatus 200 can correct the input image using the PSF corresponding to the blur direction of the subject image, so that a target image with less blur can be generated.
  • the image correction apparatus has been described based on the embodiments.
  • the present invention is not limited to these embodiments. Unless it deviates from the meaning of this invention, the form which carried out various deformation
  • the constituent elements of the image correction apparatus may be configured by one system LSI (Large Scale Integration).
  • the system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip.
  • the system LSI is a computer system including a microprocessor, a ROM (Read Only Memory), a RAM (Random Access Memory), and the like. More specifically, for example, as shown in FIG. 13, the adaptive area dividing unit 110, the PSF interpolation unit 120, and the image correction unit 130 may be configured by one system LSI 300.
  • the present invention may be realized as an image photographing device including the image correction device according to the above-described embodiment and a photographing unit including an optical system and an imaging element.
  • the image correction apparatus has a high-precision subject blur correction function, and can realize high sensitivity of a digital still camera or a security camera, so that it is useful as nighttime shooting, security by a camera in a dark environment, etc. It is.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

　複数の画像を用いることなく、複数のブレを含む入力画像を補正することにより、入力画像よりもブレの少ない目的画像を生成する。　入力画像を補正することにより、入力画像よりもブレの少ない目的画像を生成する画像補正装置（１００）であって、入力画像を構成する画素の画素値に応じて、入力画像を複数の適応的領域に分割する適応的領域分割部（１１０）と、分割された複数の適応的領域ごとに算出される、画像のブレの特徴を示すＰＳＦを用いて、複数の適応的領域のそれぞれを代表する画素である代表画素間に位置する画素のＰＳＦを補間するＰＳＦ補間部（１２０）と、補間後のＰＳＦを用いて入力画像を補正することにより、目的画像を生成する画像補正部（１３０）とを備える。

Description

画像補正装置及び画像補正方法
　本発明は、デジタルスチルカメラ、セキュリティカメラ等を用いて撮影された画像を補正する画像補正装置に関し、特に画像のブレを補正する画像補正装置に関する。
　ユーザがカメラを用いて被写体を撮影した場合、撮影した画像にブレが生じるときがある。この画像に生じるブレは、大きく分けて、手ブレ（ｈａｎｄ　ｓｈａｋｅ　ｂｌｕｒ）及び被写体ブレ（ｍｏｔｉｏｎ　ｂｌｕｒ）の２種類に分類される。手ブレとは、シャッタを押すときなどにカメラが動いてしまうことに起因して生じる画像のブレである。また、被写体ブレとは、被写体が撮影中に動くことに起因して生じる画像のブレである。
　このような手ブレ及び被写体ブレの特徴を示す関数として点広がり関数（以下、「ＰＳＦ（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）」という。）がある。ＰＳＦとは、点像がブレあるいはピンぼけによりぼけたときの強度分布を表す関数である。図１４Ａ及び図１４Ｂは、ＰＳＦを説明するための図である。例えば、図１４Ａに示すように、ぼけのない画像１００１からピンぼけ画像１００２への劣化を表すＰＳＦは、画像１００３により表現される。また、図１４Ｂに示すように、ブレのない画像１００４からｘ方向へブレた画像１００５への劣化を表すＰＳＦは、画像１００６により表現される。
　ところで、近年、手ブレを補正する技術（例えば、電子式手ブレ補正、光学式手ブレ補正など）が実用化されている。具体的には、光学式手ブレ補正の場合、例えばジャイロなどのセンサ情報に基づいて撮影時の手の動きを推定する。そして、推定した動きに応じてレンズ機構又は受光部センサを制御することにより、手ブレの補正を実現する。また、電子式手ブレ補正の場合、例えばジャイロなどのセンサ情報に基づいて、ＰＳＦを算出する。そして、算出したＰＳＦを用いて画像を補正することにより、手ブレの補正を実現している。手ブレの場合、ＰＳＦは、撮影時の手の動きに対応するため、画像全体でほぼ同一となる。
　一方、被写体ブレの場合、ＰＳＦは、被写体の動きに対応するため、画像の領域ごとに異なることが多い。したがって、手ブレの補正と同じ方法により被写体ブレを補正することは難しい。
　そこで、被写体ブレを補正する技術として、高速シャッタを用いて撮影された低解像度の画像列と、低速シャッタを用いて撮影された高解像度の画像とを用いる方法が提案されている（例えば、非特許文献１参照）。非特許文献１に記載の方法では、ブレの少ない低解像度高速シャッタの画像列に含まれる複数の画像間において画素を対応付けることにより、被写体像の動きを推定する。そして、推定した被写体像の動きを用いて、ブレの大きい低速シャッタの画像を補正することにより、被写体ブレが補正された高解像度の画像を得る。
　また、被写体ブレを補正する別の技術として、連続的に撮影された複数の画像を用いて補正する方法が提案されている（例えば、特許文献１参照）。特許文献１に記載の方法では、非特許文献１の方法と同様に、連続的に撮影された複数の画像に基づいて被写体の動き（軌跡）を求めることにより、対象画像のすべての画素位置における劣化特性を示す１つの劣化関数（例えば、ＰＳＦ）を求める。そして、このように算出した劣化関数を用いて、対象画像からブレのない画像を生成する。
特開２００１－１９７３５５号公報
Ｉｍａｇｅ／Ｖｉｄｅｏ　Ｄｅｂｌｕｒｒｉｎｇ　ｕｓｉｎｇ　ａ　Ｈｙｂｒｉｄ　Ｃａｍｅｒａ　（Ｙｕ－Ｗｉｎｇ　Ｔａｉ、Ｈａｏ　Ｄｕ、Ｍ．Ｓ．Ｂｒｏｗｎ、Ｓ．Ｌｉｎ　ＣＶＰＲ２００８）
　しかしながら、非特許文献１に記載の方法は、高速シャッタを利用できない環境の場合、被写体ブレを補正できないという課題がある。例えば、低照度環境において、高速シャッタにより画像が撮影された場合、光量が不足するので暗い画像しか得られない。このような暗い画像を用いる場合、画像間における画素の対応付けの精度が低下する。また、低照度環境における光量不足を解消するために感度を上げた場合、暗電流ノイズ及び熱ノイズなどの撮像デバイスに起因するノイズ信号が増幅されるため、画像間における画素の対応付けの精度が低下する。このように非特許文献１に記載の方法では、被写体ブレが発生する機会の多い低照度環境において、画像間における画素の対応付けの精度が低下するため、被写体ブレを高精度に補正することができない。
　また、特許文献１に記載の方法では、非特許文献１に記載の方法と同様に、連続的に撮影された複数の画像が必要となるため、低照度環境において、被写体ブレを高精度に補正することができない。また、特許文献１には、対象画像のすべての画素位置における劣化関数を、対象画像の複数の領域に基づいて算出される劣化関数に基づいて算出する旨の記載があるが、具体的方法については記載されていない。
　そこで、本発明は、上記課題を鑑みてなされたものであり、複数のブレを含む入力画像を、入力画像よりもブレの少ない目的画像へ高精度に補正することができる画像補正装置を提供することを目的とする。
　上記目的を達成するために、本発明に係る画像補正装置は、入力画像を補正することにより、前記入力画像よりもブレの少ない目的画像を生成する画像補正装置であって、前記入力画像を構成する画素の画素値に基づいて、ブレが共通する領域を１つの適応的領域として決定することにより、前記入力画像を複数の適応的領域に分割し、分割した適応的領域ごとに、画像のブレの特徴を示す点広がり関数を算出する適応的領域分割部と、算出された前記点広がり関数を用いて、前記複数の適応的領域のそれぞれを代表する画素である代表画素間に位置する画素の点広がり関数を補間する点広がり関数補間部と、補間後の前記点広がり関数を用いて前記入力画像を補正することにより、前記目的画像を生成する画像補正部とを備える。
　この構成により、ブレが共通する領域が１つの適応的領域となるように、入力画像を複数の領域に適応的に分割することができる。その結果、ブレが共通する領域ごとに点広がり関数を用いて入力画像を補正することができるので、複数のブレを含む入力画像を、当該入力画像よりもブレの少ない目的画像へ高精度に補正することが可能となる。さらに、領域ごとに算出される点広がり関数を用いて代表画素間に位置する画素の点広がり関数を補間することができるので、分割された領域の境界において点広がり関数が不連続となることにより目的画像に違和感が生じるのを抑制することが可能となる。
　また、前記適応的領域分割部は、点広がり関数の類似性に基づいて、ブレが共通する領域を１つの適応的領域として決定することが好ましい。
　この構成により、ブレの共通性を点広がり関数の類似性に基づいて判断できるので、高精度に、ブレが共通する領域を１つの適応的領域として決定することができる。
　また、前記適応的領域分割部は、前記入力画像の一部の領域である初期領域の点広がり関数を第１点広がり関数として算出する第１点広がり関数算出部と、前記初期領域を保持領域として保持する領域保持部と、前記初期領域を含む領域であって前記初期領域よりも大きな領域である評価領域の点広がり関数を第２点広がり関数として算出する第２点広がり関数算出部と、前記第１点広がり関数と前記第２点広がり関数とが類似するか否かを判定する類似度判定部と、前記類似度判定部により前記第１点広がり関数と前記第２点広がり関数とが類似しないと判定された場合、前記領域保持部に最後に保持された保持領域を前記適応的領域として決定することにより、ブレが共通する領域を１つの適応的領域として決定する適応的領域決定部とを備え、前記領域保持部は、前記類似度判定部により前記第１点広がり関数と前記第２点広がり関数とが類似すると判定された場合、前記評価領域を保持領域として保持し、前記第２点広がり関数算出部は、前記類似度判定部により前記第１点広がり関数と前記第２点広がり関数とが類似すると判定された場合、前記評価領域を含む領域であって前記評価領域より大きな領域である新たな評価領域の点広がり関数を前記第２点広がり関数として算出することが好ましい。
　この構成により、点広がり関数が類似する領域が１つの領域となるような適応的領域に入力画像を適応的に分割することができるので、異なる方向に動く複数の被写体を撮影することにより得られた１枚の入力画像において、被写体に対応した適応的領域に分割することが可能となる。すなわち、被写体像ごとのブレ方向に合致した点広がり関数を用いて入力画像を補正することができるので、よりブレの少ない目的画像を生成することが可能となる。
　また、前記第１点広がり関数算出部は、前記入力画像の全部又は一部の領域を候補領域として選択する候補領域選択部と、前記候補領域選択部により選択された候補領域のブレ方向が単一のブレ方向であるか否かを判定するブレ方向判定部と、前記ブレ方向判定部により単一のブレ方向であると判定された場合、前記候補領域を前記初期領域として決定する初期領域決定部とを備え、前記候補領域選択部は、前記ブレ方向判定部により単一のブレ方向でないと判定された場合、前記候補領域よりも小さな領域を新たな候補領域として選択することが好ましい。
　この構成により、適応的領域を決定する際の初期領域を単一のブレ方向の領域に決定することができるので、ブレ方向が異なる被写体像が適応的領域に含まれる可能性を低減させることができる。すなわち、被写体像ごとのブレ方向に合致したＰＳＦを用いて入力画像を補正することができるので、よりブレの少ない目的画像を生成することが可能となる。
　前記適応的領域分割部は、単一のブレ方向であるか否かに基づいて、ブレが共通する領域を１つの適応的領域として決定することが好ましい。
　この構成により、ブレの共通性を単一のブレ方向であるか否かに基づいて判断できるので、高精度に、ブレが共通する領域を１つの適応的領域として決定することができる。
　また、前記適応的領域分割部は、前記入力画像の全部又は一部の領域を候補領域として選択する候補領域選択部と、前記候補領域選択部により選択された候補領域のブレ方向が単一のブレ方向であるか否かを判定するブレ方向判定部と、前記ブレ方向判定部により単一のブレ方向であると判定された場合、前記候補領域を前記適応的領域として決定することにより、ブレが共通する領域を１つの適応的領域として決定する適応的領域決定部とを備え、前記候補領域選択部は、前記ブレ方向判定部により単一のブレ方向でないと判定された場合、前記候補領域よりも小さな領域を新たな候補領域として選択することが好ましい。
　この構成により、単一のブレ方向の領域を適応的領域として決定することができるので、異なる方向に動く複数の被写体の像を含む領域を１つの適応的領域として入力画像を分割することを抑制することができる。すなわち、被写体像のブレ方向に応じたＰＳＦを用いて入力画像を補正することができるので、よりブレの少ない目的画像を生成することが可能となる。
　また、前記点広がり関数補間部は、算出された前記点広がり関数のうち少なくとも２つの点広がり関数が直線で表現される場合、当該少なくとも２つの点広がり関数のそれぞれを２以上に分割し、分割した点広がり関数の対応関係に基づいて、当該少なくとも２つの点広がり関数にそれぞれ対応する前記適応的領域の代表画素間に位置する画素の点広がり関数を補間することが好ましい。
　この構成により、点広がり関数が直線で表現される場合、容易に点広がり関数を補間することが可能となる。
　また、前記点広がり関数補間部は、算出された前記点広がり関数を動的計画法によるマッチング手法を用いて互いに対応付けることにより得られる対応関係に基づいて、当該点広がり関数にそれぞれ対応する前記適応的領域の代表画素間に位置する画素の点広がり関数を補間することが好ましい。
　この構成により、点広がり関数が直線で表現されない場合であっても、点広がり関数を補間することが可能となる。
　また、前記点広がり関数補間部は、算出された前記点広がり関数が互いに類似するか否かを判定し、互いに類似すると判定された点広がり関数にそれぞれ対応する適応的領域の代表画素間に位置する画素の点広がり関数を補間することが好ましい。
　この構成により、点広がり関数が互いに類似しない適応的領域に対しては、点広がり関数が補間されないので、互いに異なる動きをしている被写体像の境界に対して点広がり関数を補間する可能性を低減させることが可能となる。すなわち、実際の被写体の動きとは異なる動きに対応する点広がり関数を補間する可能性を低減させることが可能となる。
　なお、本発明は、このような画像補正装置として実現することができるだけでなく、このような画像補正装置が備える特徴的な構成部を備える集積回路として実現することもできる。
　また、本発明は、このような画像補正装置として実現することができるだけでなく、このような画像補正装置が備える特徴的な構成部の動作をステップとする画像補正方法として実現することもできる。さらに、本発明は、画像補正方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ－Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の記録媒体又はインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
　以上の説明から明らかなように、本発明に係る画像補正装置は、ブレが共通する領域が１つの適応的領域となるように、複数のブレを含む入力画像を複数の適応的領域に分割することができる。その結果、画像補正装置は、ブレが共通する領域ごとに入力画像を補正することができるので、複数のブレを含む入力画像を、当該入力画像よりもブレの少ない目的画像へ高精度に補正することが可能となる。
図１は、本発明の実施の形態１及び２に係る画像補正装置の機能構成を示すブロック図である。 図２は、本発明の実施の形態１に係るプログラム格納部の機能構成を示すブロック図である。 図３は、本発明の実施の形態１及び２に係る画像補正装置の全体的な処理の流れを示すフローチャートである。 図４は、本発明の実施の形態１に係る適応的領域分割部による処理の流れを示すフローチャートである。 図５は、本発明の実施の形態１に係る適応的領域分割部による領域分割の処理の流れを説明するための図である。 図６は、本発明の実施の形態１及び２に係るＰＳＦ補間部による処理の流れを示すフローチャートである。 図７は、本発明の実施の形態１及び２に係るＰＳＦ補間部によるＰＳＦの補間を説明するための図である。 図８は、本発明の実施の形態１及び２に係るＰＳＦ補間部によるＰＳＦの補間を説明するための図である。 図９は、本発明の実施の形態１に係る第１ＰＳＦ算出部による初期領域の決定に関する処理の流れを示すフローチャートである。 図１０は、本発明の実施の形態１に係る第１ＰＳＦ算出部による初期領域の決定に関する処理の流れを説明するための図である。 図１１は、本発明の実施の形態２に係るプログラム格納部の機能構成を示すブロック図である。 図１２は、本発明の実施の形態２に係る適応的領域分割部の処理の流れを示すフローチャートである。 図１３は、本発明に係るシステムＬＳＩの機能構成を示すブロック図である。 図１４Ａは、ＰＳＦを説明するための図である。 図１４Ｂは、ＰＳＦを説明するための図である。
　以下に、本発明の実施の形態について、図面を参照しながら説明する。
　（実施の形態１）
　図１は、本発明の実施の形態１に係る画像補正装置１００の機能構成を示すブロック図である。
　図１に示すように、画像補正装置１００は、演算制御部１０１、メモリ部１０２、表示部１０３、入力部１０４、通信Ｉ／Ｆ（インタフェース）部１０５、データ記憶部１０６、及びプログラム格納部１０７を備える。これらの各構成部１０１～１０７は、バス１０８を介して接続されている。
　演算制御部１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、数値プロセッサ等であり、ユーザからの指示等に従ってプログラム格納部１０７からメモリ部１０２に必要なプログラムをロードして実行し、その実行結果に従って、各構成部１０２～１０７を制御する。
　メモリ部１０２は、演算制御部１０１による作業領域を提供するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等である。
　表示部１０３は、ＣＲＴ（Ｃａｔｈｏｄｅ－Ｒａｙ　Ｔｕｂｅ）、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）等である。また、入力部１０４はキーボード、マウス等である。そして、これらの表示部１０３及び入力部１０４は、演算制御部１０１による制御の下で、画像補正装置１００とユーザとが対話する等のために用いられる。
　通信Ｉ／Ｆ部１０５は、ＬＡＮアダプタ等であり、画像補正装置１００とカメラ４００等との通信に用いられる。
　データ記憶部１０６は、カメラ４００等により取得された入力画像、及び入力画像を補正することにより得られる目的画像などを格納するハードディスク、フラッシュメモリ等である。
　プログラム格納部１０７は、画像補正装置１００の機能を実現する各種プログラムを格納しているＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等である。
　図２は、本発明の実施の形態１に係るプログラム格納部１０７の機能構成を示すブロック図である。図２に示すように、プログラム格納部１０７は、機能的に（演算制御部１０１によって実行された場合に機能する処理部として）、適応的領域分割部１１０、ＰＳＦ補間部１２０及び画像補正部１３０を有する。
　適応的領域分割部１１０は、入力画像を構成する画素の画素値に基づいて、ブレが共通する領域を１つの適応的領域として決定することにより、入力画像を複数の適応的領域に分割する。さらに、適応的領域分割部１１０は、分割した適応的領域ごとに、ＰＳＦを算出する。具体的には、適応的領域分割部１１０は、ＰＳＦの類似性に基づいて、ブレが共通する領域を１つの適応的領域として決定する。
　図２に示すように、適応的領域分割部１１０は、第１ＰＳＦ算出部１１１と、領域保持部１１２と、第２ＰＳＦ算出部１１３と、類似度判定部１１４と、適応的領域決定部１１５とを備える。
　第１ＰＳＦ算出部１１１は、入力画像の一部の領域である初期領域のＰＳＦを第１ＰＳＦとして算出する。具体的には、第１ＰＳＦ算出部１１１は、候補領域選択部１１１ａと、ブレ方向判定部１１１ｂと、初期領域決定部１１１ｃとを備える。そして、第１ＰＳＦ算出部１１１は、初期領域決定部１１１ｃにより決定された初期領域のＰＳＦを第１ＰＳＦとして算出する。
　候補領域選択部１１１ａは、入力画像の全部又は一部の領域を候補領域として選択する。また、候補領域選択部１１１ａは、ブレ方向判定部１１１ｂにより単一のブレ方向でないと判定された場合、候補領域よりも小さな領域を新たな候補領域として選択する。
　ブレ方向判定部１１１ｂは、候補領域選択部１１１ａにより選択された候補領域のブレ方向が単一のブレ方向であるか否かを判定する。
　初期領域決定部１１１ｃは、ブレ方向判定部１１１ｂにより単一のブレ方向であると判定された場合、候補領域を初期領域として決定する。
　領域保持部１１２は、初期領域を保持領域として保持する。また、領域保持部１１２は、後述する類似度判定部１１４により第１ＰＳＦと第２ＰＳＦとが類似すると判定された場合、評価領域を保持領域として保持する。
　第２ＰＳＦ算出部１１３は、初期領域を含む領域であって初期領域よりも大きな領域である評価領域のＰＳＦを第２ＰＳＦとして算出する。また、第２ＰＳＦ算出部１１３は、類似度判定部１１４により第１ＰＳＦと第２ＰＳＦとが類似すると判定された場合、評価領域を含む領域であって評価領域より大きな領域である新たな評価領域のＰＳＦを第２ＰＳＦとして算出する。
　類似度判定部１１４は、第１ＰＳＦと第２ＰＳＦとが類似するか否かを判定する。
　適応的領域決定部１１５は、類似度判定部１１４により第１ＰＳＦと第２ＰＳＦとが類似しないと判定された場合、領域保持部１１２に最後に保持された保持領域を適応的領域として決定する。つまり、適応的領域決定部１１５は、ＰＳＦの類似性に基づいて、ブレが共通する領域を１つの適応的領域として決定する。
　ＰＳＦ補間部１２０は、算出されたＰＳＦを用いて、代表画素間に位置する画素のＰＳＦを補間する。ここで代表画素とは、複数の領域のそれぞれを代表する画素である。例えば、代表画素は、各領域の中心、重心などの画素である。
　具体的には、ＰＳＦ補間部１２０は、例えば、適応的領域ごとに算出されたＰＳＦを動的計画法（Ｄｙｎａｍｉｃ　Ｐｒｏｇｒａｍｍｉｎｇ）によるマッチング手法（以下、「ＤＰマッチング」という。）を用いて互いに対応付ける。そして、ＰＳＦ補間部１２０は、このようにＰＳＦを対応付けることにより得られる対応関係に基づいて、当該ＰＳＦにそれぞれ対応する適応的領域の代表画素間に位置する画素のＰＳＦを補間する。
　なお、ＰＳＦ補間部１２０は、例えば、算出されたＰＳＦのうち少なくとも２つのＰＳＦが直線で表現される場合、当該少なくとも２つのＰＳＦを、分割して対応付けてもよい。具体的には、ＰＳＦ補間部１２０は、このようにＰＳＦを対応付けることにより得られる対応関係に基づいて、当該少なくとも２つのＰＳＦにそれぞれ対応する適応的領域の代表画素間に位置する画素のＰＳＦを補間してもよい。
　また、ＰＳＦ補間部１２０は、ＰＳＦが互いに類似するか否かを判定し、互いに類似すると判定されたＰＳＦにそれぞれ対応する適応的領域の代表画素間に位置する画素のＰＳＦを補間する。
　画像補正部１３０は、ＰＳＦ用いて入力画像を補正することにより、入力画像よりもブレの少ない目的画像を生成する。
　次に、以上のように構成された画像補正装置１００における各種動作について説明する。
　図３は、本発明の実施の形態１に係る画像補正装置１００の全体的な処理の流れを示すフローチャートである。
　まず、適応的領域分割部１１０は、データ記憶部１０６に格納された入力画像を構成する画素の画素値に応じて、入力画像を適応的な大きさの複数の適応的領域に分割する。さらに、適応的領域分割部１１０は、適応的領域ごとにＰＳＦを算出する（Ｓ１０１）。続いて、ＰＳＦ補間部１２０は、適応的領域ごとに算出されたＰＳＦを用いて、各適応的領域の代表画素間に位置する画素のＰＳＦを補間する（Ｓ１０２）。
　最後に、画像補正部１３０は、補間後の画素ごとのＰＳＦを用いて入力画像を補正することにより、入力画像よりもブレの少ない目的画像を生成する（Ｓ１０３）。例えば、画像補正部１３０は、下式（１）に示すリチャードソン・ルーシー法を用いて、ステップＳ１０１及びステップＳ１０２の処理に基づき得られる画素ごとのＰＳＦを用いて、入力画像を補正する。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｉは補正後の画像（目的画像）を示す。また、ＫはＰＳＦを示す。また、Ｂは入力画像を示す。
　なお、本実施の形態では、画像補正部１３０は、リチャードソン・ルーシー法を用いて入力画像を補正するが、フーリエ・ログ法、マキシマム・エントロピー法などの他の方法を用いて入力画像を補正してもよい。
　次に、適応的領域分割部１１０による領域分割の詳細について説明する。
　図４は、本発明の実施の形態１に係る適応的領域分割部１１０による処理（Ｓ１０１）の流れを示すフローチャートである。
　まず、第１ＰＳＦ算出部１１１は、入力画像の一部の領域である初期領域を決定する（Ｓ２０１）。初期領域を決定する処理の詳細については後述する。
　続いて、第１ＰＳＦ算出部１１１は、決定した初期領域のＰＳＦを第１ＰＳＦとして算出する（Ｓ２０２）。具体的には、第１ＰＳＦ算出部１１１は、１枚の画像からＰＳＦを算出する方法（例えば、非特許文献２「Ｒｅｍｏｖｉｎｇ　Ｃａｍｅｒａ　Ｓｈａｋｅ　ｆｒｏｍ　ａ　ｓｉｎｇｌｅ　ｉｍａｇｅ（Ｒｏｂ　Ｆｅｒｇｕｓ　ｅｔ．ａｌ、ＳＩＧＧＲＡＰＨ２００６）」参照）を用いて、ＰＳＦを算出する。
　非特許文献２に記載の方法を用いる場合、データ記憶部１０６には、ブレのない一般的な自然画像に表れる画像勾配の分布が予め格納される。そして、第１ＰＳＦ算出部１１１は、所与のＰＳＦを用いて初期領域を補正したときに得られる画像勾配の分布と、データ記憶部１０６に格納された画像勾配の分布との比較を繰り返すことにより、これらの画像勾配の分布が一致又は類似するようなＰＳＦを探索する。そして、第１ＰＳＦ算出部１１１は、このように探索した結果得られるＰＳＦを第１ＰＳＦとして算出する。
　次に、領域保持部１１２は、第１ＰＳＦ算出部１１１により決定された初期領域を保持領域として保持する（Ｓ２０３）。
　続いて、第２ＰＳＦ算出部１１３は、評価領域を選択する（Ｓ２０４）。この評価領域は、初期領域を含む領域であり、かつ、初期領域よりも大きな領域である。例えば、初期領域が矩形の領域である場合、第２ＰＳＦ算出部１１３は、初期領域よりもｘ方向に１画素、ｙ方向に１画素大きい領域を評価領域として選択する。そして、第２ＰＳＦ算出部１１３は、選択した評価領域のＰＳＦを第２ＰＳＦとして算出する（Ｓ２０５）。
　なお、第２ＰＳＦ算出部１１３は、ｘ方向及びｙ方向の両方とも初期領域より大きい領域を評価領域として決定する必要はない。例えば、第２ＰＳＦ算出部１１３は、ｘ方向及びｙ方向の一方のみについて、初期領域より広げた領域を評価領域として決定してもよい。さらに、第２ＰＳＦ算出部１１３は、例えば、初期領域の外縁の一部についてのみ、ｘ方向又はｙ方向に広げた領域を、評価領域として決定してもよい。これらにより、第２ＰＳＦ算出部１１３は、柔軟に評価領域を選択することができるので、同じ動きをする被写体の像を一つの領域として選択する可能性を高めることができる。
　次に、類似度判定部１１４は、第１ＰＳＦと第２ＰＳＦとが類似しているか否かを判定する（Ｓ２０６）。具体的には、類似度判定部１１４は、第１ＰＳＦ及び第２ＰＳＦを画像として表現したときの画像間距離を、ＰＳＦの類似度合いを示す類似度として算出する。例えば、類似度判定部１１４は、下式（２）により算出されるＬ１ノルムを類似度として算出する。なお、Ｌ１ノルムは、値が小さいほど類似度合いが高いことを示す。
Figure JPOXMLDOC01-appb-M000002
　ここで、Ｐ１ｉｊは、第１ＰＳＦを画像として表現した場合において、座標（ｉ，ｊ）によって特定される画素のＰＳＦ値を示す。また、Ｐ２ｉｊは、第２ＰＳＦを画像として表現した場合において、座標（ｉ，ｊ）によって特定される画素のＰＳＦ値を示す。
　類似度判定部１１４は、第１ＰＳＦと第２ＰＳＦとのＬ１ノルムが予め定められた閾値より小さい場合、第１ＰＳＦと第２ＰＳＦとが類似していると判定する。逆に、類似度判定部１１４は、第１ＰＳＦと第２ＰＳＦとのＬ１ノルムが予め定められた閾値以上の場合、第１ＰＳＦと第２ＰＳＦとが類似していないと判定する。
　なお、本実施の形態において、類似度判定部１１４は、Ｌ１ノルムを類似度として算出しているが、他の画像間の類似度判定方法を用いて類似度を算出してもよい。例えば、類似度判定部１１４は、Ｌ２ノルムを類似度として算出してもよい。
　ここで、第１ＰＳＦと第２ＰＳＦとが類似していると判定された場合（Ｓ２０６のＹｅｓ）、領域保持部１１２は評価領域を保持領域として保持する（Ｓ２０７）。さらに、第２ＰＳＦ算出部１１３は、新たな評価領域を選択する（Ｓ２０４）。この新たな評価領域は、ステップＳ２０７において保持された保持領域を含む領域であって、ステップＳ２０７において保持された保持領域より大きな領域である。そして、新たな評価領域を用いて、ステップＳ２０５及びステップＳ２０６の処理が実行される。このように、ステップＳ２０６において第１ＰＳＦと第２ＰＳＦとが類似していないと判定されるまで、ステップＳ２０４～Ｓ２０７の処理が繰り返される。
　一方、第１ＰＳＦと第２ＰＳＦとが類似していないと判定された場合（Ｓ２０６のＮｏ）、適応的領域決定部１１５は、ステップＳ２０７において最後に保持された保持領域を適応的領域として決定する（Ｓ２０８）。
　続いて、第１ＰＳＦ算出部１１１は、入力画像のすべての画素が既に決定された適応的領域に含まれるか否かを判定する（Ｓ２０９）。
　ここで、入力画像のすべての画素が既に決定された適応的領域に含まれていない場合（Ｓ２０９のＮｏ）、第１ＰＳＦ算出部１１１は、まだ適応的領域に含まれていない画素のみを含む領域を初期領域として決定する（Ｓ２０１）。例えば、第１ＰＳＦ算出部１１１は、決定された適応的領域の右端又は下端に隣接する画素を含むように初期領域を決定する。なお、第１ＰＳＦ算出部１１１は、隣接する画素ではなく、先見的知識により決められた画素数だけ離れた画素を含むように初期領域を決定してもよい。また、第１ＰＳＦ算出部１１１は、入力部１０４により受け付けられたユーザからの入力値により示された画素数だけ離れた画素を含むように初期領域を決定してもよい。
　一方、入力画像のすべての画素が既に決定された適応的領域に含まれている場合（Ｓ２０９のＹｅｓ）、図３のステップＳ１０２の処理が実行される。
　適応的領域分割部１１０は、上記のステップＳ２０１からステップＳ２０９までの処理を繰り返すことにより、入力画像を複数の適応的領域に分割する。
　このように、ＰＳＦが類似する領域が１つの領域となるように入力画像を分割することにより、異なる動きをする被写体の像の境界と領域の境界とを一致させることが可能となる。
　次に、上記の適応的領域分割部１１０による領域分割の処理の流れを、図５を用いて具体的に説明する。
　図５は、本発明の実施の形態１に係る適応的領域分割部１１０による領域分割の処理の流れを説明するための図である。
　まず、図５（ａ）に示すように、第１ＰＳＦ算出部１１１は、初期領域５０１を決定する。そして、第１ＰＳＦ算出部１１１は、初期領域５０１のＰＳＦである第１ＰＳＦ５０２（Ｐ１）を算出する。なお、ここでは初期領域５０１は矩形であるが、必ずしも初期領域５０１は矩形である必要はない。例えば、初期領域５０１は、ひし形、平行四辺形又は円形など任意の形状であってもよい。
　次に、図５（ｂ）に示すように、第２ＰＳＦ算出部１１３は、初期領域５０１を含む領域であり、かつ、初期領域５０１よりも大きな領域を評価領域５０３として選択する。そして、第２ＰＳＦ算出部１１３は、評価領域５０３のＰＳＦを第２ＰＳＦ５０４（Ｐ２）として算出する。なお、ここでは評価領域５０３は矩形であるが、必ずしも評価領域５０３は矩形である必要はない。例えば、評価領域５０３は、ひし形、平行四辺形又は円形など任意の形状であってもよい。
　ここで、類似度判定部１１４は、第１ＰＳＦ５０２と第２ＰＳＦ５０４とのＬ１ノルムを算出する。算出したＬ１ノルムが閾値ＴＨより小さいので、類似度判定部１１４は、第１ＰＳＦ５０２と第２ＰＳＦ５０４とは類似していると判定する。したがって、領域保持部１１２は、評価領域５０３を保持する。
　次に、第２ＰＳＦ算出部１１３は、図５（ｃ）に示すように、評価領域５０３を含む領域であり、かつ、評価領域５０３よりも大きな領域を評価領域５０５として選択する。そして、第２ＰＳＦ算出部１１３は、評価領域５０５のＰＳＦを第２ＰＳＦ５０６（Ｐ３）として算出する。
　ここで、類似度判定部１１４は、第１ＰＳＦ５０２と第２ＰＳＦ５０６とのＬ１ノルムを算出する。算出したＬ１ノルムが閾値ＴＨ以上であるので、類似度判定部１１４は、第１ＰＳＦ５０２と第２ＰＳＦ５０４とは類似していないと判定する。したがって、適応的領域決定部１１５は、領域保持部１１２により最後に保持された評価領域５０３を適応的領域として決定する。
　次に、図５（ｅ）に示すように、第１ＰＳＦ算出部１１１は、決定された適応的領域に隣接する領域を初期領域５０７として決定する。
　このように、初期領域の決定から適応的領域の決定までの処理を繰り返すことにより、適応的領域分割部１１０は、図５（ｆ）に示すように、入力画像を複数の適応的領域に分割する。
　次に、ＰＳＦ補間部１２０によるＰＳＦを補間する処理の詳細について説明する。分割した領域間でＰＳＦのずれが生じる場合、ブレの境界ができてしまうため、補正後の目的画像は違和感のある画像となってしまう。そこで、ＰＳＦ補間部１２０は、補正後の目的画像の違和感を低減するために、以下に示すようにＰＳＦを補間する。
　図６は、本発明の実施の形態１に係るＰＳＦ補間部１２０による処理（Ｓ１０２）の流れを示すフローチャートである。
　まず、ＰＳＦ補間部１２０は、適応的領域分割部１１０により分割された複数の適応的領域ごとに算出される複数のＰＳＦの中から、少なくとも２つのＰＳＦを含むＰＳＦ群を選択する（Ｓ３０１）。例えば、ＰＳＦ補間部１２０は、互いに隣接する２つの適応的領域のＰＳＦを選択する。
　続いて、ＰＳＦ補間部１２０は、選択されたＰＳＦ群に含まれるＰＳＦ間において、対応する点である対応点を探索する（Ｓ３０２）。例えば、図７に示すように、２つのＰＳＦのそれぞれが１つの直線で表現される場合、ＰＳＦ補間部１２０は、２つのＰＳＦのそれぞれをＮ等分（Ｎは正の整数）する。そして、ＰＳＦ補間部１２０は、２つのＰＳＦ間において、Ｎ等分したＰＳＦを互いに対応付けることにより対応点を探索する。また、例えば、図８に示すように、２つのＰＳＦの少なくとも一方が１つの直線で表現されない場合、ＤＰマッチングにより対応点を探索すればよい。なお、ここで探索された対応点の組み合わせを対応関係と呼ぶ。
　次に、ＰＳＦ補間部１２０は、探索された対応点間の距離を算出する（Ｓ３０３）。具体的には、ＰＳＦ補間部１２０は、図５のステップＳ２０６と同様に、例えばＬ１ノルム等を距離として算出する。Ｌ１ノルムを距離として算出する場合、Ｌ１ノルムが小さいほど類似度合いが高いことを示す。
　次に、ＰＳＦ補間部１２０は、算出した距離が予め定められた閾値より小さいか否かを判定する（Ｓ３０４）。つまり、ＰＳＦ補間部１２０は、ＰＳＦ群に含まれるＰＳＦが互いに類似するか否かを判定する。
　ここで、距離が予め定められた閾値以上であると判定された場合（Ｓ３０４のＮｏ）、ＰＳＦ補間部１２０は、ステップＳ３０６の処理を実行する。つまり、ＰＳＦ補間部１２０は、ＰＳＦが互いに類似しないと判定された場合、当該ＰＳＦに対応する適応的領域においてＰＳＦを補間しない。すなわち、適応的領域内の各画素のＰＳＦは、当該適応的領域に対して算出されたＰＳＦで一様となる。
　このように、ＰＳＦが互いに類似しないと判定された場合にＰＳＦ補間部１２０がＰＳＦを補間しないのは、互いに類似しないＰＳＦに対応する適応的領域のそれぞれに含まれる被写体像は、それぞれ異なる動きをしている被写体の像である可能性が高いからである。すなわち、このように異なる被写体の像を含む複数の適応的領域においてＰＳＦが補間された場合、本来ありえない被写体の動きに対応するＰＳＦを補間することになりかねないからである。
　一方、距離が予め定められた閾値より小さいと判定された場合（Ｓ３０２のＹｅｓ）、ＰＳＦ補間部１２０は、当該ＰＳＦに対応する適応的領域においてＰＳＦを補間する（Ｓ３０５）。つまり、ＰＳＦ補間部１２０は、ＰＳＦが互いに類似すると判定された場合、適応的領域の代表画素間に位置する画素のＰＳＦを補間する。つまり、ＰＳＦ補間部１２０は、各適応的領域内外の画素であって代表画素以外の画素のＰＳＦを、代表画素から距離及びＰＳＦの対応関係に基づいて補間する。具体的には、ＰＳＦ補間部１２０は、補間したい画素の位置と各代表画素との距離に応じて、ＰＳＦの対応関係に基づいた新たなＰＳＦを算出し、算出したＰＳＦを当該画素のＰＳＦとして補間する。
　すなわち、ＰＳＦ補間部１２０は、ＰＳＦが互いに類似すると判定された場合にのみ、当該ＰＳＦに対応する適応的領域においてＰＳＦを補間する。これは、ＰＳＦが類似する場合、当該ＰＳＦに対応する適応的領域のそれぞれに含まれる被写体像は、同様の動きをしている１つの被写体の像である可能性が高いからである。このように１つの被写体の像を含む複数の適応的領域間において、ＰＳＦ補間部１２０がＰＳＦを補間することにより、目的画像において、適応的領域の境界に生じる違和感を減少させることが可能となる。なお、ＰＳＦ補間部１２０は、線形補間、多項式補間又はスプライン補間等のいずれの補間方法により、ＰＳＦを補間してもよい。
　続いて、ＰＳＦ補間部１２０は、すべてのＰＳＦがすでに選択されたか否かを判定する（Ｓ３０６）。ここで、ＰＳＦのいずれか１つでも選択されていない場合（Ｓ３０６のＮｏ）、ＰＳＦ補間部１２０は、まだ選択されていないＰＳＦを含むＰＳＦ群を選択する（Ｓ３０１）。一方、すべてのＰＳＦが選択されている場合（Ｓ３０６のＹｅｓ）、図３のステップＳ１０３の処理が実行される。
　このように、ＰＳＦ補間部１２０は、適応的領域ごとに算出されたＰＳＦを用いて、適応的領域のそれぞれを代表する画素間に位置する画素のＰＳＦを補間する。その結果、ＰＳＦ補間部１２０は、隣接する適応的領域の境界において、不自然にＰＳＦが大きく変化することを抑制することが可能となる。すなわち、画像補正部１３０は、適応的領域の境界において違和感のない目的画像を生成することが可能となる。
　次に、第１ＰＳＦ算出部１１１による初期領域の決定に関する方法について説明する。初期領域が小さすぎる場合、第１ＰＳＦ算出部１１１は、テクスチャであるのか、又は、ブレであるのかを区別することが難しいため、ＰＳＦを算出することが難しい。一方、初期領域が大きすぎる場合、異なる動きをする被写体の像が初期領域に含まれる可能性が高いため、第１ＰＳＦ算出部１１１は、被写体の動きに応じたＰＳＦを算出することが難しい。そこで以下に、異なる動きをする複数の被写体の像が含まれないように、大きな領域から順に縮小しながら初期領域を決定する方法について説明する。
　図９は、本発明の実施の形態１に係る第１ＰＳＦ算出部１１１による初期領域の決定に関する処理（Ｓ２０１）の流れを示すフローチャートである。
　まず、候補領域選択部１１１ａは、入力画像の全部又は一部の領域を候補領域として選択する（Ｓ４０１）。続いて、ブレ方向判定部１１１ｂは、選択した候補領域の画素値を離散フーリエ変換（ＤＦＴ：Ｄｉｓｃｒｅｔｅ　Ｆｏｕｒｉｅｒ　Ｔｒａｎｓｆｏｒｍ）等を用いて周波数空間に変換する（Ｓ４０２）。
　そして、ブレ方向判定部１１１ｂは、周波数空間に変換することにより得られた周波数分布がｓｉｎｃ関数で表現できるか否かを判定する（Ｓ４０３）。画像空間において矩形波だったものは、周波数空間ではｓｉｎｃ関数（式（３））で表現される。
Figure JPOXMLDOC01-appb-M000003
　したがって、画像のブレが単一方向である場合、画素値を周波数空間に変換することにより得られた周波数分布は、ｓｉｎｃ関数を用いて表現される。逆に、画像のブレが単一方向でない場合、画素値を周波数空間に変換することにより得られた周波数分布は、ｓｉｎｃ関数を用いて表現されずに複数の周波数成分が集合した周波数分布として表現される。そこで、ブレ方向判定部１１１ｂは、周波数空間に変換することにより得られた周波数分布がｓｉｎｃ関数を用いて表現できるか否かを判定することにより、候補領域のブレ方向が単一のブレ方向であるか否かを判定する。
　具体的には、ブレ方向判定部１１１ｂは、周波数空間に変換することにより得られた周波数分布と複数のｓｉｎｃ関数のそれぞれとの相関値を算出する。ここで複数のｓｉｎｃ関数とは、複数の振幅及び複数の位相を組み合わせた場合のそれぞれに対応するｓｉｎｃ関数である。また、ブレ方向判定部１１１ｂは、Ｌ１ノルム、Ｌ２ノルム又は正規化相関などの画像間の類似度を算出する方法を用いて、相関値を算出する。
　そして、ブレ方向判定部１１１ｂは、相関値が予め定められた閾値を超えるｓｉｎｃ関数があるか否かを判定する。ここで、相関値が予め定められた閾値を超えるｓｉｎｃ関数がある場合、ブレ方向判定部１１１ｂは、周波数分布がｓｉｎｃ関数を用いて表現できると判定する。逆に、相関値が予め定められて閾値を超えるｓｉｎｃ関数がない場合、ブレ方向判定部１１１ｂは、周波数分布がｓｉｎｃ関数で表現できないと判定する。
　ここで、周波数分布がｓｉｎｃ関数を用いて表現できると判定された場合（Ｓ４０３のＹｅｓ）、候補領域のブレ方向は単一のブレ方向であるので、初期領域決定部１１１ｃは、候補領域を初期領域として決定する（Ｓ４０５）。
　一方、周波数分布がｓｉｎｃ関数を用いて表現できると判定された場合（Ｓ４０３のＮｏ）、候補領域のブレ方向は単一のブレ方向ではないので、初期領域決定部１１１ｃは、候補領域を初期領域として決定しない。そこで、ブレ方向判定部１１１ｂは、候補領域の大きさが予め定められた閾値より小さいか否かを判定する（Ｓ４０４）。ここで、予め定められた閾値とは、高精度に入力画像のブレを補正することが可能なＰＳＦを算出することができる領域の大きさを示す値である。この領域の大きさは、画像が撮影されたときの露光時間に応じて異なる大きさである。例えば、露光時間が１秒程度である場合、閾値は１００画素（１０×１０画素）程度の値であればよい。
　ここで、候補領域の大きさが予め定められた閾値以上であると判定された場合（Ｓ４０４のＮｏ）、候補領域選択部１１１ａは、現在の候補領域よりも小さな領域を新たな候補領域として選択する（Ｓ４０１）。
　一方、候補領域の大きさが予め定められた閾値より小さいと判定された場合（Ｓ４０４のＹｅｓ）、初期領域決定部１１１ｃは、現在選択されている候補領域を初期領域として決定する（Ｓ４０５）。これは、候補領域が小さいため、候補領域に含まれる被写体像が単一の被写体の像であると考えられるからである。すなわち、候補領域に含まれる被写体像が複数の方向に動いた被写体の像と考えられるので、初期領域決定部１１１ｃは、候補領域をさらに小さくすることなく、現在選択されている候補領域を初期領域として決定する。
　このように、第１ＰＳＦ算出部１１１は、周波数分布がｓｉｎｃ関数で表現できると判定されるまで、又は、予め定められた大きさまで、候補領域を縮小しながら初期領域を決定する。したがって、第１ＰＳＦ算出部１１１は、異なるブレ方向のＰＳＦを含まない小さな領域を初期領域として決定することができる。
　次に、上記の第１ＰＳＦ算出部１１１による初期領域を決定する処理の流れを、図１０を用いて具体的に説明する。
　図１０は、本発明の実施の形態１に係る第１ＰＳＦ算出部１１１による初期領域の決定に関する処理の流れを説明するための図である。
　まず、候補領域選択部１１１ａは、図１０（ａ）に示すように、まだ適応的領域として決定されていない領域であって、比較的大きな領域を候補領域６０１として選択する。なお、候補領域選択部１１１ａは、画像の全部を候補領域と選択してもよい。
　次に、ブレ方向判定部１１１ｂは、候補領域６０１の画素値を離散フーリエ変換等により周波数成分に変換する。図１０（ｂ）は、変換された周波数成分を表す画像６０２を示す図である。そして、ブレ方向判定部１１１ｂは、図１０（ｃ）に示すように、複数の振幅及び位相のｓｉｎｃ関数のそれぞれに対応する複数の画像と、変換により得られた周波数成分を表す画像６０２との相関値を算出する。
　候補領域６０１は複数のブレ方向を含むので、図１０（ｂ）に示す画像６０２は、周波数成分を示す点が縦横に広がった画像となっている。したがって、画像６０２とｓｉｎｃ関数に対応する画像との相関値は小さい。つまり、画像６０２と類似する、ｓｉｎｃ関数に対応する画像は存在しない。
　したがって、ブレ方向判定部１１１ｂは、候補領域６０１のブレ方向は単一のブレ方向でないと判定する。そして、候補領域選択部１１１ａは、図１０（ｄ）に示すように、候補領域６０１より小さい領域を新たな候補領域６０３として選択する。そして、ブレ方向判定部１１１ｂは、候補領域６０３の画素値を離散フーリエ変換等を用いて周波数成分に変換する。図１０（ｅ）は、変換された周波数成分を表す画像６０４を示す図である。そして、ブレ方向判定部１１１ｂは、図１０（ｆ）に示すように、複数の振幅及び位相のｓｉｎｃ関数のそれぞれに対応する複数の画像と、変換を用いて得られた周波数成分を表す画像６０４との相関値を算出する。
　候補領域６０３のブレ方向は単一のブレ方向であるので、図１０（ｅ）に示す画像６０４は、周波数成分を示す点が１つの直線に並んだ画像となっている。したがって、画像６０４とｓｉｎｃ関数に対応する画像との相関値は大きい。つまり、画像６０４と類似するｓｉｎｃ関数に対応する画像が存在する。したがって、ブレ方向判定部１１１ｂは、候補領域６０３のブレ方向が単一のブレ方向であると判定する。そして、初期領域決定部１１１ｃは、候補領域６０３を初期領域として決定する。
　このように、第１ＰＳＦ算出部１１１は、ｓｉｎｃ関数で表現できるか否かを判断基準として初期領域を決定することにより、テクスチャによるグラデーションであるのか、又はブレによるグラデーションであるのかを判定することが可能となる。
　以上のように、本実施の形態に係る画像補正装置１００は、ブレが共通する領域が１つの適応的領域となるように、入力画像を複数の適応的領域に分割することができる。その結果、画像補正装置１００は、ブレが共通する領域ごとにＰＳＦを用いて入力画像を補正することができるので、複数のブレを含む入力画像を、当該入力画像よりもブレの少ない目的画像へ高精度に補正することが可能となる。さらに、画像補正装置１００は、領域ごとに算出されるＰＳＦを用いて代表画素間に位置する画素のＰＳＦを補間することができるので、分割された領域の境界においてＰＳＦが不連続となることにより目的画像に違和感が生じるのを抑制することが可能となる。また、画像補正装置１００は、入力画像以外の画像を用いなくても、入力画像を補正することが可能となる。
　また、画像補正装置１００は、ＰＳＦが類似する領域が１つの適応的領域となるように入力画像を適応的領域に分割することができる。したがって、画像補正装置１００は、異なる方向に動く複数の被写体を撮影することにより得られた１枚の入力画像において、被写体に対応した領域に分割することが可能となる。すなわち、画像補正部１３０が被写体像ごとのブレ方向に合致したＰＳＦを用いて入力画像を補正することができるので、画像補正装置１００は、よりブレの少ない目的画像を生成することが可能となる。
　また、画像補正装置１００は、適応的領域を決定する際の初期領域を単一のブレ方向の領域に決定することができるので、ブレ方向が異なる被写体像が適応的領域に含まれる可能性を低減させることができる。すなわち、画像補正装置１００は、被写体像のブレ方向に合致したＰＳＦを用いて入力画像を補正することができるので、よりブレの少ない目的画像を生成することが可能となる。
　また、ＰＳＦ補間部１２０は、ＰＳＦが互いに類似しない適応的領域に対してＰＳＦを補間しない。したがって、ＰＳＦ補間部１２０は、互いに異なる動きをしている被写体像の境界に対してＰＳＦを補間する可能性を低減させることが可能となる。すなわち、ＰＳＦ補間部１２０は、実際の被写体の動きとは異なる動きに対応するＰＳＦを補間する可能性を低減させることが可能となる。
　なお、本実施の形態において、適応的領域分割部１１０は、ＰＳＦが類似する領域が１つの領域となるように適応的領域を決定していたが、本発明が適用される画像補正装置１００は、このような画像補正装置に限定されるものではない。例えば、適応的領域分割部１１０は、類似するテクスチャは同じ動きをする可能性が高いという先見的知識を利用して、それぞれがブレの共通する領域である複数の適応的領域に入力画像を分割してもよい。また、適応的領域分割部１１０は、例えば、コンピュータビジョン分野において利用される領域分割手法（例えばグラフカットなど）も併用して、それぞれがブレの共通する領域である複数の適応的領域に入力画像を分割してもよい。これにより、適応的領域分割部１１０は、柔軟なテクスチャ分割が可能になる。
　また、複数枚の画像において動きが小さいなどの入力画像の特性がわかっている場合（集合写真のように動きが少ない場合）、画像補正装置１００は、露光時間を長くして撮影された複数枚の画像から動きのある領域のみを画像間差分などを用いて抽出し、抽出した領域についてのみ上述したＰＳＦ補間及び画像補正を行ってもよい。これにより、画像補正装置１００は、トータルの計算コスト、メモリコスト等を削減できる。
　また、本実施の形態において、第１ＰＳＦ算出部１１１は、候補領域を縮小しながら初期領域を決定していたが、例えば、入力画像の露光時間に対応する、予め定められた大きさの領域を、初期領域として決定してもよい。この場合、データ記憶部１０６には、露光時間と領域の大きさとを対応付けたテーブルが格納されていることが好ましい。そして、第１ＰＳＦ算出部１１１は、データ記憶部１０６に格納されたテーブルを参照することにより、入力画像の露光時間に対応した領域の大きさを取得し、取得した大きさの領域を初期領域として決定することが好ましい。
　（実施の形態２）
　次に、本発明の実施の形態２について、図面を参照しながら説明する。
　実施の形態２に係る画像補正装置２００と実施の形態１に係る画像補正装置１００とは、プログラム格納部１０７が備える適応的領域分割部の構成が異なるが、他の構成要素については同じである。したがって、以下において、実施の形態１と同一の構成となるブロック図及び同一の処理の流れのとなるフローチャートについては、図示及び説明を省略する。また、実施の形態１の構成要素と同一の機能を有する構成要素には同一の符号を付し、説明を省略する。
　図１１は、本発明の実施の形態２に係るプログラム格納部１０７の機能構成を示すブロック図である。
　本実施の形態に係る適応的領域分割部２１０は、単一のブレ方向であるか否かに基づいて、ブレが共通する領域を１つの適応的領域として決定する。図１１に示すように、適応的領域分割部２１０は、候補領域選択部２１１と、ブレ方向判定部２１２と、適応的領域決定部２１３と、ＰＳＦ算出部２１４とを備える。
　候補領域選択部２１１は、入力画像の全部又は一部の領域である候補領域を決定する。また、候補領域選択部２１１は、ブレ方向判定部２１２により単一のブレ方向でないと判定された場合、候補領域よりも小さな領域を新たな候補領域として選択する。
　ブレ方向判定部２１２は、候補領域選択部２１１により選択された候補領域のブレ方向が単一のブレ方向であるか否かを判定する。
　適応的領域決定部２１３は、ブレ方向判定部２１２により単一のブレ方向であると判定された場合、候補領域を適応的領域として決定する。つまり、適応的領域決定部２１３は、単一のブレ方向であるか否かに基づいて、ブレが共通する領域を１つの適応的領域として決定する。
　ＰＳＦ算出部２１４は、適応的領域決定部２１３により決定された適応的領域のＰＳＦを算出する。
　次に、以上のように構成された適応的領域分割部２１０の動作について説明する。
　図１２は、本発明の実施の形態２に係る適応的領域分割部２１０の処理（Ｓ１０１）の流れを示すフローチャートである。
　まず、候補領域選択部２１１は、入力画像の全部又は一部の領域を候補領域として選択する（Ｓ５０１）。続いて、ブレ方向判定部２１２は、選択した候補領域の画素値を離散フーリエ変換等により周波数空間に変換する（Ｓ５０２）。
　そして、ブレ方向判定部２１２は、周波数空間に変換することにより得られた周波数分布がｓｉｎｃ関数で表現できるか否かを判定する（Ｓ５０３）。つまり、ブレ方向判定部２１２は、候補領域においてブレ方向が単一であるか否かを判定する。
　具体的には、ブレ方向判定部２１２は、周波数空間に変換することにより得られた周波数分布と複数のｓｉｎｃ関数のそれぞれとの相関値を算出する。ここで複数のｓｉｎｃ関数とは、複数の振幅及び複数の位相を組み合わせた場合のそれぞれに対応するｓｉｎｃ関数である。また、ブレ方向判定部２１２は、Ｌ１ノルム、Ｌ２ノルム又は正規化相関などの画像間の類似度を算出する方法を用いて、相関値を算出する。
　そして、ブレ方向判定部２１２は、複数のｓｉｎｃ関数のうち、相関値が予め定められた閾値を超えるｓｉｎｃ関数があるか否かを判定する。ここで、相関値が予め定められた閾値を超えるｓｉｎｃ関数がある場合、ブレ方向判定部２１２は、周波数分布がｓｉｎｃ関数を用いて表現できると判定する。逆に、相関値が予め定められて閾値を超えるｓｉｎｃ関数がない場合、ブレ方向判定部２１２は、周波数分布がｓｉｎｃ関数を用いて表現できないと判定する。
　ここで、周波数分布がｓｉｎｃ関数を用いて表現できると判定された場合（Ｓ５０３のＹｅｓ）、候補領域のブレ方向は単一のブレ方向であるので、適応的領域決定部２１３は、候補領域を適応的領域として決定する（Ｓ５０５）。
　一方、周波数分布がｓｉｎｃ関数を用いて表現できると判定された場合（Ｓ５０３のＮｏ）、候補領域のブレ方向は単一のブレ方向ではないので、適応的領域決定部２１３は、候補領域を適応的領域として決定しない。そこで、ブレ方向判定部２１２は、候補領域の大きさが予め定められた閾値より小さいか否かを判定する（Ｓ５０４）。ここで、予め定められた閾値とは、高精度に入力画像のブレを補正することが可能なＰＳＦを算出することができる領域の大きさを示す値である。この領域の大きさは、画像が撮影されたときの露光時間に応じて異なる大きさである。例えば、露光時間が１秒程度である場合、閾値は１００画素（１０×１０画素）程度の値を利用すればよい。
　ここで、候補領域の大きさが予め定められた閾値以上であると判定された場合（Ｓ５０４のＮｏ）、候補領域選択部２１１は、現在の候補領域よりも小さな領域を新たな候補領域として選択する（Ｓ５０１）。
　一方、候補領域の大きさが予め定められた閾値より小さいと判定された場合（Ｓ５０４のＹｅｓ）、適応的領域決定部２１３は、現在選択されている候補領域を適応的領域として決定する（Ｓ５０５）。これは、候補領域が小さいため、候補領域に含まれる被写体像が単一の被写体の像であると考えられるからである。すなわち、候補領域に含まれる被写体像が複数の方向に動いた単一の被写体の像と考えられるので、適応的領域決定部２１３は、候補領域をさらに小さくすることなく、現在選択されている候補領域を適応的領域として決定する。
　このように、第１ＰＳＦ算出部１１１は、周波数分布がｓｉｎｃ関数を用いて表現できると判定されるまで、又は、予め定められた大きさまで、候補領域を縮小しながら適応的領域を決定する。したがって、第１ＰＳＦ算出部１１１は、異なるブレ方向のＰＳＦを含まない領域を適応的領域として決定することができる。
　なお、上記のように領域を縮小しながら適応的領域を決定する際に、単一のブレ方向であるか否かを判断基準に用いるのは、初めに比較的大きな領域を候補領域として選択するため、動く方向が異なる複数の被写体の像が領域内に含まれている可能性が高いからである。すなわち、領域を縮小しながら適応的領域を決定する際にＰＳＦの類似度を判断基準に適応的領域を決定した場合、異なるブレ方向のＰＳＦを含む領域を適応的領域として決定してしまう可能性が高いからである。
　以上のように、本実施の形態に係る画像補正装置２００は、単一のブレ方向の領域を適応的領域として決定することができるので、異なる方向に動く複数の被写体の像を含む領域を１つの適応的領域として入力画像を分割することを抑制することができる。すなわち、画像補正装置２００は、被写体像のブレ方向に応じたＰＳＦを用いて入力画像を補正することができるので、よりブレの少ない目的画像を生成することが可能となる。
　以上、本発明に係る画像補正装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
　例えば、上記実施の形態に係る画像補正装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩである。具体的には、システムＬＳＩは、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。さらに具体的には、例えば、図１３に示すように、適応的領域分割部１１０、ＰＳＦ補間部１２０、画像補正部１３０は、１個のシステムＬＳＩ３００から構成されてもよい。
　また、本発明は、上記実施の形態に係る画像補正装置と、光学系及び撮像素子等からなる撮影部とを備える画像撮影装置として実現されてもよい。
　本発明に係る画像補正装置等は、高精度の被写体ブレ補正機能を有し、デジタルスチルカメラ又はセキュリティカメラの高感度化を実現できるため、夜間での撮影、暗環境におけるカメラによる警備等として有用である。
　１００、２００　　画像補正装置
　１０１　　演算制御部
　１０２　　メモリ部
　１０３　　表示部
　１０４　　入力部
　１０５　　通信Ｉ／Ｆ部
　１０６　　データ記憶部
　１０７　　プログラム格納部
　１０８　　バス
　１１０、２１０　　適応的領域分割部
　１１１　　第１ＰＳＦ算出部
　１１１ａ、２１１　候補領域選択部
　１１１ｂ、２１２　ブレ方向判定部
　１１１ｃ　初期領域決定部
　１１２　　領域保持部
　１１３　　第２ＰＳＦ算出部
　１１４　　類似度判定部
　１１５、２１３　　適応的領域決定部
　１２０　　ＰＳＦ補間部
　１３０　　画像補正部
　２１４　　ＰＳＦ算出部
　３００　　システムＬＳＩ
　４００　　カメラ

Claims (13)

  1. 　入力画像を補正することにより、前記入力画像よりもブレの少ない目的画像を生成する画像補正装置であって、
    　前記入力画像を構成する画素の画素値に基づいて、ブレが共通する領域を１つの適応的領域として決定することにより、前記入力画像を複数の適応的領域に分割し、分割した適応的領域ごとに、画像のブレの特徴を示す点広がり関数を算出する適応的領域分割部と、
    　算出された前記点広がり関数を用いて、前記複数の適応的領域のそれぞれを代表する画素である代表画素間に位置する画素の点広がり関数を補間する点広がり関数補間部と、
    　補間後の前記点広がり関数を用いて前記入力画像を補正することにより、前記目的画像を生成する画像補正部とを備える
    　画像補正装置。
  2. 　前記適応的領域分割部は、点広がり関数の類似性に基づいて、ブレが共通する領域を１つの適応的領域として決定する
    　請求項１に記載の画像補正装置。
  3. 　前記適応的領域分割部は、
    　前記入力画像の一部の領域である初期領域の点広がり関数を第１点広がり関数として算出する第１点広がり関数算出部と、
    　前記初期領域を保持領域として保持する領域保持部と、
    　前記初期領域を含む領域であって前記初期領域よりも大きな領域である評価領域の点広がり関数を第２点広がり関数として算出する第２点広がり関数算出部と、
    　前記第１点広がり関数と前記第２点広がり関数とが類似するか否かを判定する類似度判定部と、
    　前記類似度判定部により前記第１点広がり関数と前記第２点広がり関数とが類似しないと判定された場合、前記領域保持部に最後に保持された保持領域を前記適応的領域として決定することにより、ブレが共通する領域を１つの適応的領域として決定する適応的領域決定部とを備え、
    　前記領域保持部は、前記類似度判定部により前記第１点広がり関数と前記第２点広がり関数とが類似すると判定された場合、前記評価領域を保持領域として保持し、
    　前記第２点広がり関数算出部は、前記類似度判定部により前記第１点広がり関数と前記第２点広がり関数とが類似すると判定された場合、前記評価領域を含む領域であって前記評価領域より大きな領域である新たな評価領域の点広がり関数を前記第２点広がり関数として算出する
    　請求項２に記載の画像補正装置。
  4. 　前記第１点広がり関数算出部は、
    　前記入力画像の全部又は一部の領域を候補領域として選択する候補領域選択部と、
    　前記候補領域選択部により選択された候補領域のブレ方向が単一のブレ方向であるか否かを判定するブレ方向判定部と、
    　前記ブレ方向判定部により単一のブレ方向であると判定された場合、前記候補領域を前記初期領域として決定する初期領域決定部とを備え、
    　前記候補領域選択部は、前記ブレ方向判定部により単一のブレ方向でないと判定された場合、前記候補領域よりも小さな領域を新たな候補領域として選択する
    　請求項３に記載の画像補正装置。
  5. 　前記適応的領域分割部は、単一のブレ方向であるか否かに基づいて、ブレが共通する領域を１つの適応的領域として決定する
    　請求項１に記載の画像補正装置。
  6. 　前記適応的領域分割部は、
    　前記入力画像の全部又は一部の領域を候補領域として選択する候補領域選択部と、
    　前記候補領域選択部により選択された候補領域のブレ方向が単一のブレ方向であるか否かを判定するブレ方向判定部と、
    　前記ブレ方向判定部により単一のブレ方向であると判定された場合、前記候補領域を前記適応的領域として決定することにより、ブレが共通する領域を１つの適応的領域として決定する適応的領域決定部とを備え、
    　前記候補領域選択部は、前記ブレ方向判定部により単一のブレ方向でないと判定された場合、前記候補領域よりも小さな領域を新たな候補領域として選択する
    　請求項５に記載の画像補正装置。
  7. 　前記点広がり関数補間部は、算出された前記点広がり関数のうち少なくとも２つの点広がり関数が直線で表現される場合、当該少なくとも２つの点広がり関数のそれぞれを２以上に分割し、分割した点広がり関数を用いて当該少なくとも２つの点広がり関数を互いに対応付けることにより得られる対応関係に基づいて、当該少なくとも２つの点広がり関数にそれぞれ対応する前記適応的領域の代表画素間に位置する画素の点広がり関数を補間する
    　請求項１に記載の画像補正装置。
  8. 　前記点広がり関数補間部は、算出された前記点広がり関数が互いに類似するか否かを判定し、互いに類似すると判定された点広がり関数にそれぞれ対応する適応的領域の代表画素間に位置する画素の点広がり関数を補間する
    　請求項７に記載の画像補正装置。
  9. 　前記点広がり関数補間部は、算出された前記点広がり関数を動的計画法によるマッチング手法を用いて互いに対応付けることにより得られる対応関係に基づいて、当該点広がり関数にそれぞれ対応する前記適応的領域の代表画素間に位置する画素の点広がり関数を補間する
    　請求項１に記載の画像補正装置。
  10. 　前記点広がり関数補間部は、算出された前記点広がり関数が互いに類似するか否かを判定し、互いに類似すると判定された点広がり関数にそれぞれ対応する適応的領域の代表画素間に位置する画素の点広がり関数を補間する
    　請求項９に記載の画像補正装置。
  11. 　入力画像を補正することにより、前記入力画像よりもブレの少ない目的画像を生成する画像補正方法であって、
    　前記入力画像を構成する画素の画素値に基づいて、ブレが共通する領域を１つの適応的領域として決定することにより、前記入力画像を適応的領域に分割し、分割した適応的領域ごとに、画像のブレの特徴を示す点広がり関数を算出する適応的領域分割ステップと、
    　算出された前記点広がり関数を用いて、前記複数の適応的領域のそれぞれを代表する画素である代表画素間に位置する画素の点広がり関数を補間する点広がり関数補間ステップと、
    　補間後の前記点広がり関数を用いて前記入力画像を補正することにより、前記目的画像を生成する画像補正ステップとを含む
    　画像補正方法。
  12. 　入力画像を補正することにより、前記入力画像よりもブレの少ない目的画像を生成する集積回路であって、
    　前記入力画像を構成する画素の画素値に基づいて、ブレが共通する領域を１つの適応的領域として決定することにより、前記入力画像を複数の適応的領域に分割し、分割した適応的領域ごとに、画像のブレの特徴を示す点広がり関数を算出する適応的領域分割部と、
    　算出された前記点広がり関数を用いて、前記複数の適応的領域のそれぞれを代表する画素である代表画素間に位置する画素の点広がり関数を補間する点広がり関数補間部と、
    　補間後の前記点広がり関数を用いて前記入力画像を補正することにより、前記目的画像を生成する画像補正部とを備える
    　集積回路。
  13. 　請求項１１に記載の画像補正方法をコンピュータに実行させるためのプログラム。
PCT/JP2010/001115 2009-02-25 2010-02-22 画像補正装置及び画像補正方法 WO2010098054A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US12/988,890 US8422827B2 (en) 2009-02-25 2010-02-22 Image correction apparatus and image correction method
JP2010533363A JP5331816B2 (ja) 2009-02-25 2010-02-22 画像補正装置及び画像補正方法
CN2010800014220A CN102017607B (zh) 2009-02-25 2010-02-22 图像校正装置以及图像校正方法
EP10745941.4A EP2403235B1 (en) 2009-02-25 2010-02-22 Image correction device and image correction method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009042741 2009-02-25
JP2009-042741 2009-02-25

Publications (1)

Publication Number Publication Date
WO2010098054A1 true WO2010098054A1 (ja) 2010-09-02

Family

ID=42665272

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/001115 WO2010098054A1 (ja) 2009-02-25 2010-02-22 画像補正装置及び画像補正方法

Country Status (5)

Country Link
US (1) US8422827B2 (ja)
EP (1) EP2403235B1 (ja)
JP (1) JP5331816B2 (ja)
CN (1) CN102017607B (ja)
WO (1) WO2010098054A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012101995A1 (en) * 2011-01-25 2012-08-02 Panasonic Corporation Object separating apparatus, image restoration apparatus, object separating method and image restoration method
JP2012216947A (ja) * 2011-03-31 2012-11-08 Fujifilm Corp 撮像装置及び画像処理方法
WO2013061664A1 (ja) * 2011-10-28 2013-05-02 日立アロカメディカル株式会社 超音波イメージング装置、超音波イメージング方法および超音波イメージング用プログラム
WO2014010726A1 (ja) * 2012-07-12 2014-01-16 株式会社ニコン 画像処理装置及び画像処理プログラム
KR101527656B1 (ko) * 2013-12-12 2015-06-10 한국과학기술원 의료 영상에서 비강체 영상 정합을 이용한 점상 강도 분포 함수를 보간하는 방법 및 시스템

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8624986B2 (en) * 2011-03-31 2014-01-07 Sony Corporation Motion robust depth estimation using convolution and wavelet transforms
JP2013005258A (ja) * 2011-06-17 2013-01-07 Panasonic Corp ブレ補正装置、ブレ補正方法及び帳票
US9124797B2 (en) 2011-06-28 2015-09-01 Microsoft Technology Licensing, Llc Image enhancement via lens simulation
US9137526B2 (en) * 2012-05-07 2015-09-15 Microsoft Technology Licensing, Llc Image enhancement via calibrated lens simulation
CN102789574B (zh) * 2012-07-02 2015-07-29 湖北微驾技术有限公司 基于三棱镜光学传感器的指纹图像几何矫正算法
WO2014074138A1 (en) * 2012-11-09 2014-05-15 Nikon Corporation Globally dominant point spread function estimation
AU2012258467A1 (en) * 2012-12-03 2014-06-19 Canon Kabushiki Kaisha Bokeh amplification
US10165263B2 (en) * 2013-09-30 2018-12-25 Nikon Corporation Point spread function estimation of optics blur
US9684970B2 (en) * 2015-02-27 2017-06-20 Qualcomm Incorporated Fast adaptive estimation of motion blur for coherent rendering
WO2018129692A1 (en) * 2017-01-12 2018-07-19 Intel Corporation Image refocusing
CN110991550B (zh) * 2019-12-13 2023-10-17 歌尔科技有限公司 一种视频监控方法、装置、电子设备及存储介质
CN111476746A (zh) * 2020-03-19 2020-07-31 航天信德智图（北京）科技有限公司 一种基于ihs变换与自适应区域特征的遥感图像融合方法
US20230319401A1 (en) * 2022-03-31 2023-10-05 Qualcomm Incorporated Image capture using dynamic lens positions

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002112099A (ja) * 2000-09-28 2002-04-12 Nikon Corp 画像修復装置および画像修復方法
JP2006221347A (ja) * 2005-02-09 2006-08-24 Tokyo Institute Of Technology ぶれ情報検出方法
JP2008176735A (ja) * 2007-01-22 2008-07-31 Toshiba Corp 画像処理装置及び方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3189870B2 (ja) * 1996-12-24 2001-07-16 シャープ株式会社 画像処理装置
US20010008418A1 (en) 2000-01-13 2001-07-19 Minolta Co., Ltd. Image processing apparatus and method
JP2001197355A (ja) 2000-01-13 2001-07-19 Minolta Co Ltd デジタル撮像装置および画像復元方法
JPWO2005069216A1 (ja) 2004-01-15 2010-02-25 松下電器産業株式会社 光学的伝達関数の測定方法、画像復元方法、およびデジタル撮像装置
JP2005309560A (ja) * 2004-04-19 2005-11-04 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム
US7991240B2 (en) * 2007-09-17 2011-08-02 Aptina Imaging Corporation Methods, systems and apparatuses for modeling optical images
US8040382B2 (en) * 2008-01-07 2011-10-18 Dp Technologies, Inc. Method and apparatus for improving photo image quality

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002112099A (ja) * 2000-09-28 2002-04-12 Nikon Corp 画像修復装置および画像修復方法
JP2006221347A (ja) * 2005-02-09 2006-08-24 Tokyo Institute Of Technology ぶれ情報検出方法
JP2008176735A (ja) * 2007-01-22 2008-07-31 Toshiba Corp 画像処理装置及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2403235A4 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012101995A1 (en) * 2011-01-25 2012-08-02 Panasonic Corporation Object separating apparatus, image restoration apparatus, object separating method and image restoration method
JP2012216947A (ja) * 2011-03-31 2012-11-08 Fujifilm Corp 撮像装置及び画像処理方法
WO2013061664A1 (ja) * 2011-10-28 2013-05-02 日立アロカメディカル株式会社 超音波イメージング装置、超音波イメージング方法および超音波イメージング用プログラム
JPWO2013061664A1 (ja) * 2011-10-28 2015-04-02 日立アロカメディカル株式会社 超音波イメージング装置、超音波イメージング方法および超音波イメージング用プログラム
WO2014010726A1 (ja) * 2012-07-12 2014-01-16 株式会社ニコン 画像処理装置及び画像処理プログラム
JPWO2014010726A1 (ja) * 2012-07-12 2016-06-23 株式会社ニコン 画像処理装置及び画像処理プログラム
KR101527656B1 (ko) * 2013-12-12 2015-06-10 한국과학기술원 의료 영상에서 비강체 영상 정합을 이용한 점상 강도 분포 함수를 보간하는 방법 및 시스템

Also Published As

Publication number Publication date
US20110033132A1 (en) 2011-02-10
CN102017607B (zh) 2013-12-25
EP2403235A4 (en) 2013-01-16
JPWO2010098054A1 (ja) 2012-08-30
CN102017607A (zh) 2011-04-13
EP2403235B1 (en) 2014-07-09
EP2403235A1 (en) 2012-01-04
JP5331816B2 (ja) 2013-10-30
US8422827B2 (en) 2013-04-16

Similar Documents

Publication Publication Date Title
JP5331816B2 (ja) 画像補正装置及び画像補正方法
EP2574038B1 (en) Image capturing apparatus, image processing apparatus, image processing method, and image processing program
JP5909540B2 (ja) 画像処理表示装置
JP6271990B2 (ja) 画像処理装置、画像処理方法
JP5906493B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP5499050B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
JP2008176735A (ja) 画像処理装置及び方法
JP2011119802A (ja) 画像処理装置、画像処理方法
JP5388072B2 (ja) モーションブラー制御装置、方法、及びプログラム
JP5184574B2 (ja) 撮像装置、画像処理装置、および画像処理方法
JP5765893B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
KR20110075366A (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체
JP7025237B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
JP6486453B2 (ja) 画像処理装置、画像処理方法、プログラム
JP2016184888A (ja) 画像処理装置、撮像装置、画像処理方法及びコンピュータプログラム
JP2007179211A (ja) 画像処理装置、画像処理方法、およびそのプログラム
JP2018180964A (ja) 画像処理装置及び画像処理方法
JP6245847B2 (ja) 画像処理装置および画像処理方法
JP2017028583A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2017229025A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2015119428A (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
JP6381212B2 (ja) 撮像装置及びその制御方法
JP6566780B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6548409B2 (ja) 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
JP6194793B2 (ja) 画像補正装置、画像補正方法及び画像補正プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080001422.0

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2010533363

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10745941

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12988890

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2010745941

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE