WO2018037521A1 - 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体 - Google Patents

画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体 Download PDF

Info

Publication number
WO2018037521A1
WO2018037521A1 PCT/JP2016/074723 JP2016074723W WO2018037521A1 WO 2018037521 A1 WO2018037521 A1 WO 2018037521A1 JP 2016074723 W JP2016074723 W JP 2016074723W WO 2018037521 A1 WO2018037521 A1 WO 2018037521A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
image
processing method
correction
partial area
Prior art date
Application number
PCT/JP2016/074723
Other languages
English (en)
French (fr)
Inventor
法人 日浅
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to JP2018535995A priority Critical patent/JP6728365B2/ja
Priority to PCT/JP2016/074723 priority patent/WO2018037521A1/ja
Priority to CN201680088585.4A priority patent/CN109644230B/zh
Priority to US15/684,468 priority patent/US10354369B2/en
Publication of WO2018037521A1 publication Critical patent/WO2018037521A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks

Definitions

  • the present invention relates to an image processing method for correcting optical deterioration such as aberration and diffraction generated by an optical system of an image pickup apparatus for an image taken using the image pickup apparatus.
  • Patent Document 1 proposes a method of correcting aberrations using a Wiener filter. Since the aberration changes depending on the image height, a blur correction filter set for each of a plurality of image heights is used.
  • Patent Document 2 proposes a method using the Richardson-Lucy (RL) method instead of the Wiener filter.
  • Patent Document 1 Since the technique of Patent Document 1 is a technique using a so-called inverse filter, a frequency component whose MTF (Modulation Transfer Function) of optical degradation is close to 0 cannot be restored in principle.
  • Patent Document 2 since the RL method is a super-resolution process including estimation, a frequency component having an MTF close to 0 can be restored.
  • both Patent Documents 1 and 2 have a problem that noise amplification and ringing (including overshoot and undershoot) occur as harmful effects. Therefore, even if the resolution is improved, the image quality deteriorates due to these problems.
  • An image processing method acquires a partial area of an input image captured using an imaging device, and acquires previously learned correction information that differs depending on the position of the partial area. And a correction step of generating a correction partial region in which optical degradation of the partial region by the imaging device is corrected using the partial region and the correction information.
  • n is an integer of 2 or more and n is an integer from 1 to N
  • the partial region is converted to an n-th linear type by each of a plurality of linear functions based on the correction information, and an n-th non-linear type by a non-linear function.
  • Intermediate data is generated by sequentially performing conversion until n becomes 1 to N, and N + 1-th linear conversion is performed on the intermediate data by one or more linear functions based on the correction information.
  • An image processing apparatus having an image processing unit that executes the image processing method, an imaging apparatus, a program that causes a computer to execute the image processing method, and a storage medium that stores the program are also embodiments of the present invention. .
  • the figure which showed the network structure of the blurring correction in Example 1 1 is a block diagram of an image pickup apparatus in Embodiment 1.
  • 1 is an external view of an image pickup apparatus in Embodiment 1.
  • the figure which showed the learning flow of the correction information in Example 1 and 2 Block diagram of an image processing system in Embodiment 2 External view of image processing system in Embodiment 2
  • the figure which showed the network structure of the blurring correction in Example 2 The figure explaining the activation function in Example 2
  • optical degradation in an image (captured image) captured using an imaging device is corrected using deep learning (deep learning).
  • optical degradation refers to degradation caused by aberration, diffraction, or defocusing that occurs in an optical system in the imaging apparatus.
  • the optical system in the imaging apparatus includes not only a lens but also an optical element such as a low-pass filter.
  • the Wiener filter obtains a blur-corrected image by inputting a blur image into one function.
  • the RL method Patent Document 2
  • a blur image is input to one function
  • the output is input to the same function as a new input
  • a blur correction image is obtained by repeating this.
  • deep learning repeats the process of inputting blurred images into a number of different functions and further inputting their outputs into a number of functions different from the aforementioned functions. Details of this processing will be described later.
  • deep learning uses a plurality of functions compared to the methods used in Patent Documents 1 and 2, and therefore, the expressibility of the model is high. Therefore, it is possible to express a solution that cannot be described by the Wiener filter or the RL method.
  • correction processing for optical deterioration which has been difficult to achieve with the methods described in Patent Documents 1 and 2, has little adverse effect and has a high correction effect, can be performed by using deep learning.
  • FIG. 2 shows a basic configuration of the imaging apparatus 100 according to the first embodiment.
  • FIG. 3 illustrates an appearance of the imaging apparatus 100 according to the first embodiment.
  • the optical degradation due to the aberration and diffraction of the optical system is to be corrected.
  • Defocus correction will be described in a second embodiment.
  • the imaging apparatus 100 includes an image acquisition unit 101 that acquires information on the subject space as an image.
  • the image acquisition unit 101 includes an imaging optical system 101a that collects light from the subject space, and an image sensor 101b having a plurality of pixels.
  • the image sensor 101b is, for example, a CCD (Charge Coupled Device) sensor, a CMOS (Complementary Metal-Oxide Semiconductor) sensor, or the like.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal-Oxide Semiconductor
  • the image processing unit 102 performs blur correction by applying the image processing method of the present invention to a blurred image (input image).
  • the image processing unit 102 includes a learning unit 102a and a correction unit 102b.
  • correction information corresponding to optical deterioration (aberration and diffraction) of the imaging optical system 101a stored in the storage unit 103 is called up and used. Details regarding this processing will be described later.
  • the blurred image (corrected image) can be displayed on the display unit 104 such as a liquid crystal display or stored in the recording medium 105.
  • the blur correction may be performed at the timing when the blurred image is captured by the image acquisition unit 101, or the blur image may be stored in the recording medium 105 and the blur correction may be performed at an arbitrary timing.
  • information on the aperture value, shooting distance, and focal length (imaging condition information) of the imaging optical system 101a at the time of shooting is stored in the recording medium 105 together with the blurred image. By reading the photographing condition information, it is possible to acquire aberration and diffraction information corresponding to the blurred image.
  • the imaging optical system 101a is not a zoom lens but a single focal lens, since the focal distance is constant, photographing condition information that does not include information on the focal distance may be acquired. When defocusing is corrected, photographing condition information including distance information of the subject space is further required.
  • the imaging apparatus 100 is an interchangeable lens type, shooting condition information including lens identification information for identifying which lens is mounted at the time of shooting is necessary. Note that the captured image may be a moving image, and blur correction may be performed on each frame. The series of control described above is performed by the system controller 106.
  • FIG. 4 is a flowchart of blur correction, which is executed by the correction unit 102b.
  • step S101 a blurred image (input image) and shooting condition information of the blurred image are acquired.
  • the imaging optical system 101a is a zoom lens
  • the focal length magnification state, zoom state
  • the aperture state, the focus state, and the zoom state are collectively referred to as a lens state.
  • the image sensor 101b is configured with an RGB (Red, Green, Blue) Bayer array
  • the blurred image may be either before or after demosaicing.
  • step S102 a partial area that is a part of the blurred image is acquired.
  • the blur correction is performed in units of the partial area.
  • step S103 correction information for correcting optical degradation of the partial area is acquired from the photographing condition information and the position of the partial area.
  • the optical deterioration due to the aberration and diffraction of the imaging optical system 101a to be corrected in the present embodiment changes according to the lens state and the image height of the imaging optical system 101a, so that the correction information also differs accordingly. Therefore, in order to acquire correction information corresponding to the partial area, shooting condition information and information regarding the position of the partial area are required.
  • step S104 a corrected partial area in which optical degradation in the partial area is corrected is generated using the correction information. Details of the blur correction will be described with reference to FIG.
  • FIG. 1 shows a network structure of CNN (Convolutional Neural Network) which is one of deep learning.
  • CNN Convolutional Neural Network
  • DBN Deep Belief Network
  • CNN using convolution has good model matching. Details of CNN and DBN are described in Non-Patent Document 1 and Non-Patent Document 2, respectively.
  • CNN has a multi-layer structure, and linear conversion and non-linear conversion using correction information are executed in each layer.
  • n is an integer from 1 to N
  • the nth layer is referred to as the nth layer
  • the linear conversion and nonlinear conversion in the nth layer are referred to as the nth linear conversion and the nth nonlinear conversion, respectively.
  • N is an integer of 2 or more.
  • the partial area 201 is subjected to a convolution (first linear conversion) with each of the plurality of filters 202 in the first layer, and then converted with a non-linear function called an activation function (first non-linear conversion). )
  • the partial area has three channels of RGB.
  • the number of channels is not limited to this.
  • each channel may be individually input to the CNN. In this case, since aberration and diffraction change depending on the wavelength of light, different correction information is used for each channel. When inputting a plurality of channels at once, the different correction information is used simultaneously.
  • the coefficients constituting the filter 202 are determined from the correction information.
  • the correction information may be a filter coefficient itself or a coefficient when the filter is fitted with a predetermined function.
  • the number of channels of each filter 202 matches the partial area 201, and when the number of channels in the partial area 201 is 2 or more, a three-dimensional filter is formed (the third dimension represents the number of channels). Further, a constant (which may be negative) determined from correction information may be added to the result of the convolution.
  • non-linear conversion by an activation function (described as AF in FIG. 1) is performed.
  • Examples of the activation function f (x) include the following formulas (1) to (3).
  • Formula (1) is called a sigmoid function
  • Formula (2) is called a hyperbolic tangent function
  • Formula (3) is called ReLU (Rectified Linear Unit).
  • max represents a MAX function that outputs the maximum value among the arguments.
  • Expressions (1) to (3) are all monotonically increasing functions. Further, although max out may be used as the activation function, an example using max out will be described in Example 2.
  • a partial region that has been subjected to linear conversion and non-linear conversion in the first layer is referred to as a first conversion partial region 203.
  • each channel component of the first conversion partial area 203 is generated from the convolution of each of the partial area 201 and the filter 202. Therefore, the number of channels in the first conversion partial area 203 is the same as the number of filters 202.
  • convolution second linear conversion
  • non-linear conversion using an activation function, for the first conversion partial region 203.
  • the filter 204 used in the second layer is generally not the same as the filter 202 used in the first layer.
  • the filter size and number need not match. However, the number of channels of the filter 204 and the number of channels of the first conversion partial area 203 are the same.
  • the intermediate data 210 is obtained by repeating the same calculation up to the Nth layer.
  • a corrected partial region 212 corrected for optical deterioration is obtained from convolution of the intermediate data 210 and one or more filters 211 and addition of a constant (N + 1 linear conversion) in the (N + 1) th layer.
  • the filter 211 and the constant are also determined from the correction information.
  • the number of channels of the correction partial area 212 is the same as that of the partial area 201, and therefore the number of filters 211 is also the same as that of the partial area 201.
  • the component of each channel in the correction partial area 212 is obtained from an operation including convolution of the intermediate data 210 and each of the filters 211 (which may be one). Note that the sizes of the partial area 201 and the corrected partial area 212 do not have to match. At the time of convolution, there is no data outside of the partial area, so if the calculation is performed only in the area where the data exists, the convolution result becomes smaller in size. However, the size can be maintained by setting periodic boundary conditions.
  • CNN includes an activation function (nonlinear function)
  • an activation function nonlinear function
  • deep learning since deep learning has more layers than a conventional neural network, higher performance can be achieved.
  • the case of having three or more layers is called deep learning.
  • the presence of an activation function is particularly important. If the activation function does not exist or is a linear function, even if the network structure is multi-layered, there is a single-layer linear conversion equivalent to it.
  • step S105 it is determined whether or not blur correction has been completed for a predetermined area of the blurred image. If there is a partial area that has not been subjected to blur correction in the predetermined area, the process returns to step S102 to acquire a partial area that has not been subjected to blur correction and generate a corrected partial area (steps S103 and S104). ). When the blur correction is completed in all the predetermined areas, the process proceeds to step S106, and a corrected image is output. Through the above processing, an image in which the optical deterioration of the imaging optical system 101a is corrected can be obtained.
  • correction information learning will be described with reference to the flowchart of FIG.
  • the learning may be performed by the image processing unit 102 of the imaging device 100 or an arithmetic device different from the imaging device 100 before the blur correction.
  • a case where learning is executed by the learning unit 102a will be described as an example.
  • the correction information is learned by generating a blurred image in which the reference image is deteriorated by the optical deterioration of the imaging optical system 101a and using the correspondence between the two.
  • step S201 information on optical deterioration (in the first embodiment, aberration and diffraction) in the imaging optical system 101a is acquired.
  • the deterioration due to aberration and diffraction changes depending on the lens state, the image height, or the wavelength of light. Therefore, the lens state, the image height, and the wavelength for which correction information is to be obtained are selected, and the corresponding optical deterioration information is acquired.
  • information on optical degradation is stored in the storage unit 103.
  • the information on optical degradation is, for example, information on PSF (Point Spread Function, point spread function), OTF (Optical Transfer Function, optical transfer function), and the like.
  • a reference image is acquired.
  • the reference image may be singular or plural.
  • the reference image includes various frequency components. For example, when there is no edge in the reference image, there is no learning data for returning a blurred edge to a sharp edge, so there is a possibility that the blur correction effect for the edge cannot be sufficiently obtained.
  • the reference image also includes a luminance saturation portion where ringing is likely to occur due to blur correction. At this time, in order to obtain a correct blurred image, it is desirable that the reference image has a luminance value equal to or higher than a saturation value (high dynamic range).
  • a reference image having a dynamic range larger than the dynamic range of the input image for learning. This is because even if the PSF is convoluted with respect to an image that has already been saturated with luminance, it does not match the image obtained by capturing the subject space (there is no luminance saturation). Learning the relationship before and after blurring of the luminance saturation part has an effect of making it difficult for ringing to occur during blur correction.
  • a degradation reference image is generated from the reference image using information on optical degradation.
  • the optical degradation information is PSF
  • a degradation reference image can be obtained by convolution with the reference image.
  • OTF it is obtained by taking the product of the spatial frequency spectrum of the reference image and performing inverse Fourier transform.
  • noise it is desirable to add noise to the degraded reference image as necessary. This is because shot noise or the like exists in the actual blurred image acquired by the image sensor 101b. By adding noise to the degraded reference image, it is possible to suppress the adverse effect of noise amplification during blur correction.
  • a degraded reference image is generated for each.
  • step S204 a plurality of pairs of learning partial areas and learning deteriorated partial areas are acquired.
  • the learning partial area is acquired from the reference image, and the size is the same as the corrected partial area in step S104.
  • the learning degradation partial area is acquired from the degradation reference image so that the center of the area is at the same position as the learning partial area and the image.
  • the size is the same as the partial area of the blurred image in step S102.
  • step S205 correction information is learned from a plurality of pairs of learning partial areas and learning degraded partial areas (referred to collectively as learning pairs). Learning uses the same network structure as blur correction.
  • a learning degradation partial area is input to the network structure shown in FIG. 1, and an error between the output result and the learning partial area is calculated.
  • the coefficient of each filter used in the first to nth layers and the constant to be added (correction information) are updated and optimized by using, for example, an error back propagation method.
  • the initial value of each filter and constant may be anything. For example, it may be determined from a random number.
  • pre-training such as Auto Encoder that pre-learns initial values for each layer may be performed. The Auto Encoder is described in Non-Patent Document 3.
  • the method of inputting all learning pairs into the network structure and updating correction information using all the information is called batch learning.
  • this learning method has a drawback that the calculation load becomes enormous as the number of learning pairs increases.
  • a learning method that uses only one learning pair for updating correction information and uses a different learning pair for each update is called online learning.
  • This method has an advantage that the amount of calculation does not increase even if the number of learning pairs increases, but there is a problem that it is greatly affected by noise existing in one learning pair instead. Therefore, it is desirable to learn using a mini-batch method located between these two methods. In the mini-batch method, a small number is extracted from all learning pairs, and correction information is updated using them. In the next update, a small number of different learning pairs are extracted and used. By repeating this, the drawbacks of batch learning and online learning can be reduced, and a high blur correction effect can be easily obtained.
  • step S206 the learned correction information is output.
  • the correction information is stored in the storage unit 103.
  • steps S201 to S206 are executed for optical degradation of all lens states, image heights, and wavelengths in the imaging optical system 101a, correction information for the imaging optical system 101a is generated.
  • the degradation reference image is generated by image processing, but an image actually captured using the imaging device 100 may be substituted.
  • an image actually captured using the imaging device 100 may be substituted.
  • by printing a reference image and photographing it with the imaging apparatus 100 it is possible to obtain a reference image with optical degradation.
  • the specific optical degradation for example, PSF on the axis
  • the size of the partial area of the blurred image in step S102 is determined based on the information on optical degradation acting on the partial area. For example, if the PSF has an extent of about m ⁇ m pixels, the point image in the subject space is blurred and spreads to about m ⁇ m pixels. That is, since the original point image information is included in an area of about m ⁇ m pixels, it is desirable to determine the size of the partial area so that the information is included.
  • the filter is convolved in each layer to correct optical degradation, so that the range including the range affected by these filters is the amount of blurring of the optical degradation. If it is smaller, it cannot be corrected correctly.
  • the filter size of the first layer is 5 ⁇ 5
  • the filter size of the second layer is 3 ⁇ 3
  • the range that can be used for correction of a pixel is 7 centered on the pixel. ⁇ 7 pixels. Therefore, in this network structure, high-precision correction cannot be performed unless the extent of optical degradation is 7 pixels or less. Therefore, it is desirable to determine the range (determined by the filter size of each layer) used for correcting a certain pixel based on the spread of optical degradation.
  • the size of the filter of each layer may be determined so as to satisfy the following conditional expression (4).
  • d is the spread of PSF (corresponding to optical degradation) for pixels of the blurred image
  • N + 1 is the total number of layers.
  • s m is the size of the filter used in the m linear transformation, a one-dimensional size of the filter in each of the first to N + 1 linear transformation and s 1 to s N + 1. If the filter of the plurality of sizes in the m linear transformation are used in admixture, s m is the maximum filter size.
  • the upper limit of Expression (4) indicates that the range that can be used for correcting a certain pixel is equal to or greater than the magnitude of deterioration. The lower limit cannot theoretically be exceeded.
  • the PSF spread d is obtained by dividing the width from the center of gravity of the PSF to the position where the PSF value attenuates to a threshold value or less by the pixel length.
  • the aberration and diffraction do not change in shape depending on the azimuth when the imaging optical system 101a has rotational symmetry with respect to the optical axis (the PSF rotates by the azimuth). Therefore, the same correction information can be used for partial areas having the same image height, and the effect of reducing the learning load and reducing the capacity of the correction information can be obtained.
  • the following two methods can be considered to realize this. The first is to rotate the partial area so as to cancel the azimuth angle before blur correction. The second is to rotate the first to nth layer filters in accordance with the azimuth angle of the partial region to be corrected.
  • the optical degradation information used during learning does not include distortion components.
  • the blur correction model in FIG. 1 does not assume that a subject in a partial area goes out of the area before or after correction, or that a subject outside the area enters the area. Therefore, unless the distortion is sufficiently small with respect to the size of the partial area, the distortion is ignored in the learning and blur correction, and after performing the blur correction of the present invention, a distortion correction process may be applied separately. desirable.
  • the image height used in learning and blur correction is considered as an image with distortion. That is, when the distortion is negative, the image height of 100% indicates a position larger than 100% after distortion correction. Note that it is not necessary to preliminarily add distortion to the reference image at the time of learning.
  • distortion correction processing can be performed before blur correction. In this case, since interpolation processing is performed before blur correction, it is desirable to perform distortion correction processing after blur correction.
  • the chromatic aberration of magnification is not included in the information on the optical degradation during learning as well.
  • the reason for this is the same as distortion, because the subject moves in and out of the partial area.
  • chromatic aberration of magnification is different from distortion aberration, and is corrected from a blurred image before using the blur correction of the present invention. That is, it is preferable to execute the first linear conversion after correcting the chromatic aberration of magnification in the partial area. This is because if the lateral chromatic aberration is not corrected in advance, the edge may become a double edge. Even if the partial area has a plurality of channels, such a problem does not occur when blur correction is individually performed for each channel.
  • a device for improving the performance of CNN may be used in combination.
  • data augmentation may be used in which learning data is increased by giving various deformations to the reference images.
  • ZCA whitening or the like that normalizes the average value of the pixels of the reference image to 0 and the variance to 1 and eliminates the redundancy of adjacent pixels may be used in combination.
  • Data augmentation and ZCA whitening are described in detail in Non-Patent Document 4 and Non-Patent Document 5, respectively.
  • the image processing method of the present embodiment is executed according to a program for causing the imaging apparatus 100 to function as a computer that executes the image processing method of the present embodiment.
  • the program may be recorded on a computer-readable recording medium, for example.
  • Example 2 in which the image processing method of the present invention is applied to an image processing system will be described.
  • an image processing apparatus that performs blur correction according to the present invention
  • an imaging apparatus that obtains a blurred image
  • a server that performs learning. Further, defocusing is handled as optical deterioration to be corrected.
  • FIG. 6 shows a basic configuration of the image processing system according to the second embodiment.
  • FIG. 7 shows the appearance of the image processing system according to the second embodiment.
  • the imaging apparatus 300 includes a depth map acquisition unit that acquires a depth map of the subject space (information on the distribution of the subject distance).
  • a depth map acquisition unit that acquires a depth map of the subject space (information on the distribution of the subject distance).
  • a configuration for acquiring a depth map for example, an imaging system of multiple viewpoints using parallax (multi-lens camera, plenoptic camera, etc.), ToF (Time of Flight), or DFD (Depth from Defocus) is used.
  • ToF Time of Flight
  • DFD Depth from Defocus
  • Other basic configurations of the imaging apparatus 300 are the same as those illustrated in FIG. 2 except for an image processing unit related to blur correction and learning.
  • the blurred image (input image) and the shooting condition information (including the depth map) shot by the imaging device 300 are stored in the storage unit 302 in the image processing device 301.
  • the image processing apparatus 301 is connected to the network 304 by wire or wireless, and similarly accesses the server 305 connected thereto.
  • the server 305 includes a learning unit 307 that learns correction information for correcting optical degradation that occurs in the imaging apparatus 300, and a storage unit 306 that stores the correction information.
  • the image processing apparatus 301 acquires correction information from the storage unit 306 of the server 305, and corrects optical deterioration of the blurred image by the correction unit 303.
  • the generated corrected image is output to at least one of the display device 308, the recording medium 309, and the output device 310.
  • the display device 308 is, for example, a liquid crystal display or a projector. The user can perform work while confirming an image being processed via the display device 308.
  • the recording medium 309 is, for example, a semiconductor memory, a hard disk, a network server, or the like.
  • the output device 310 is a printer or the like.
  • the image processing apparatus 301 may have a function of performing development processing and other image processing as necessary.
  • step S301 photographing condition information including a blurred image photographed by the imaging apparatus 300 and a depth map of the blurred image is acquired.
  • the imaging apparatus 300 is an interchangeable lens camera, the identification information of the lens attached at the time of shooting is also included in the shooting condition information.
  • step S302 using the depth map acquired in step S301, a partial area is acquired from an area that can be regarded as having substantially the same distance (an area that can be corrected using the same correction information).
  • step S303 correction information corresponding to the defocus amount of the partial area is acquired from the shooting distance (focus state) at the time of shooting and the distance information (depth information) of the subject in the partial area. Since the subject distance differs depending on the position of the partial area, the correction information varies depending on the position of the partial area. Further, since the vignetting of the imaging optical system included in the imaging apparatus 300 changes depending on the image height, the blurred image changes according to the image height even with the same defocus amount. Therefore, correction information is determined based on the image height.
  • step S304 a corrected image in which blurring due to defocusing is corrected is generated using the network structure shown in FIG.
  • max out is used for the activation function.
  • convolution is calculated with each of the plurality of filters 402 in the first layer, and a constant is added (first linear conversion).
  • Each coefficient and constant of the filter 402 are determined by correction information.
  • the result of each linear conversion is input to the activation function (max out).
  • the max out will be described with reference to FIG. max out is an activation function that outputs the maximum value for each pixel of the linear conversion results 421 to 423.
  • the pixel 441 becomes the maximum value among the pixels 431 to 433 at the same position in the linear conversion results 421 to 423. That is, max out is a MAX function that takes the results 421 to 423 of the linear conversion as arguments and outputs the maximum value among the arguments to each pixel.
  • the number of channels in the first conversion partial area 403 is 1.
  • step S305 it is determined whether or not blur correction has been completed for a predetermined area of the blurred image. If there is a partial area that has not been subjected to blur correction in the predetermined area, the process returns to step S302 to acquire a partial area that has not been subjected to blur correction, and generate corrected partial areas (steps S303 and S304). ). If the blur correction is completed in all the predetermined areas, the process proceeds to step S306.
  • step S306 a corrected image in which the focus shift is corrected by defocus correction or a corrected image in which the depth of field is extended is output.
  • the correction information used in the blur correction is learned according to the flowchart shown in FIG.
  • the blur due to defocus is targeted for correction.
  • the focal length magnification state
  • aperture value aperture state (including vignetting)
  • shooting distance focus state
  • subject distance information are used. Get information on defocus blur determined by Since steps S202 to S206 are the same as those in the first embodiment, description thereof is omitted.
  • the image processing method of the present embodiment is executed according to a program for causing the image processing apparatus 301 to function as a computer that executes the image processing method of the present embodiment.
  • the program may be recorded on a computer-readable recording medium, for example.
  • the image processing method for correcting aberration and diffraction is executed by the image processing system as shown in the second embodiment, or the image processing method of the second embodiment is shown in the first embodiment. It can also be executed by a simple imaging device. Further, all of blur due to aberration, diffraction, and defocus may be corrected as optical deterioration.
  • the blurred image captured by the imaging device and the imaging condition information are transmitted to the server on the network from the imaging device or the image processing device connected to the imaging device by wire or wirelessly.
  • An image processing method may be executed.
  • the corrected image generated by the server on the network can be acquired by accessing the server from the imaging device or the image processing device.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

撮像装置の光学的劣化を高精度、且つ弊害を抑制して補正する画像処理方法を提供する。　撮像装置を用いて撮影された入力画像の部分領域を取得する工程と、前記部分領域の位置に応じて異なる、予め学習された補正情報を取得する工程と、前記部分領域と前記補正情報を用いて、前記撮像装置による前記部分領域の光学的劣化を補正した補正部分領域を生成する補正工程と、を有し、前記補正工程は、Ｎを２以上の整数、ｎを１からＮまでの整数としたとき、前記部分領域に対して、前記補正情報に基づく複数の線型関数の各々による第ｎ線型変換と、非線型関数による第ｎ非線型変換と、をｎが１からＮになるまで順に実行することで中間データを生成し、前記中間データに対して、前記補正情報に基づく１つ以上の線型関数による第Ｎ＋１線型変換を実行することにより前記補正部分領域を生成することを特徴とする。

Description

画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体
　本発明は、撮像装置を用いて撮影された画像について、撮像装置の光学系によって発生する収差や回折などの光学的劣化を補正する画像処理方法に関する。
　表示装置の高精細化に伴い、撮像装置を用いて撮影された画像（撮影画像）の更なる高画質化が望まれている。しかし、撮影画像には、撮像装置内の光学系によって収差や回折などの光学的劣化（ぼけ）が発生している。そのため、被写体空間の情報が失われ、画質の低下を招いていた。
　撮影画像の光学的劣化（ぼけ）を補正し、より高解像な画像を得る手法がこれまで数多く提案されている。特許文献１には、Ｗｉｅｎｅｒフィルタを用いて収差を補正する手法が提案されている。収差は像高によって変化するため、複数の像高にそれぞれ設定されているぼけ補正のフィルタを使用する。特許文献２には、Ｗｉｅｎｅｒフィルタの代わりに、Ｒｉｃｈａｒｄｓｏｎ－Ｌｕｃｙ（ＲＬ）法を用いた手法が提案されている。
特開２０１５－２１６５７６号公報 特開２０１３－０２５４７３号公報
Ｙ．ＬｅＣｕｎ，ｅｔ　ａｌ．"Ｇｒａｄｉｅｎｔ－ｂａｓｅｄ　Ｌｅａｒｎｉｎｇ　Ａｐｐｌｉｅｄ　ｔｏ　Ｄｏｃｕｍｅｎｔ　Ｒｅｃｏｇｎｉｔｉｏｎ"，Ｐｒｏｃ．ｏｆ　Ｔｈｅ　ＩＥＥＥ，１９９８． Ｇ．Ｅ．Ｈｉｎｔｏｎ，ｅｔ　ａｌ．"Ａ　ｆａｓｔ　ｌｅａｒｎｉｎｇ　ａｌｇｏｒｉｔｈｍ　ｆｏｒ　ｄｅｅｐ　ｂｅｌｉｅｆ　ｎｅｔｓ"，Ｎｅｕｒａｌ　Ｃｏｍｐｕｔ．　２００６　Ｊｕｌ；１８（７）：１５２７－５４． Ｇ．Ｅ．Ｈｉｎｔｏｎ　＆　Ｒ．Ｒ．Ｓａｌａｋｈｕｔｄｉｎｏｖ（２００６－０７－２８）．"Ｒｅｄｕｃｉｎｇ　ｔｈｅ　Ｄｉｍｅｎｓｉｏｎａｌｉｔｙ　ｏｆ　Ｄａｔａ　ｗｉｔｈ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ"，Ｓｃｉｅｎｃｅ　３１３（５７８６）：５０４－５０７． Ｐ．Ｙ．Ｓｉｍａｒｄ，ｅｔ　ａｌ．"Ｂｅｓｔ　Ｐｒａｃｔｉｃｅｓ　ｆｏｒ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ　Ａｐｐｌｉｅｄ　ｔｏ　Ｖｉｓｕａｌ　Ｄｏｃｕｍｅｎｔ　Ａｎａｌｙｓｉｓ"，ＩＣＤＡＲ２００３． Ａ．Ｋｒｉｚｈｅｖｓｋｙ，"Ｌｅａｒｎｉｎｇ　Ｍｕｌｔｉｐｌｅ　Ｌａｙｅｒｓ　ｏｆ　Ｆｅａｔｕｒｅｓ　ｆｒｏｍ　Ｔｉｎｙ　Ｉｍａｇｅｓ"，２００９，ｈｔｔｐｓ：／／ｗｗｗ．ｃｓ．ｔｏｒｏｎｔｏ．ｅｄｕ／～ｋｒｉｚ／ｌｅａｒｎｉｎｇ－ｆｅａｔｕｒｅｓ－２００９－ＴＲ．ｐｄｆ
　特許文献１の手法は、所謂、逆フィルタを用いた手法のため、光学的劣化のＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ　Ｔｒａｎｓｆｅｒ　Ｆｕｎｃｔｉｏｎ）が０に近い周波数成分は、原理的に復元できない。一方、特許文献２では、ＲＬ法が推定を含む超解像処理のため、ＭＴＦが０に近い周波数成分も復元することができる。ただし、特許文献１及び２は共に、弊害としてノイズの増幅やリンギング（オーバーシュートとアンダーシュートも含む）が発生する問題がある。故に、解像感が向上しても、これらの弊害によって画質が低下してしまう。
　本発明の一実施形態としての画像処理方法は、撮像装置を用いて撮影された入力画像の部分領域を取得する工程と、前記部分領域の位置に応じて異なる、予め学習された補正情報を取得する工程と、前記部分領域と前記補正情報を用いて、前記撮像装置による前記部分領域の光学的劣化を補正した補正部分領域を生成する補正工程と、を有し、前記補正工程は、Ｎを２以上の整数、ｎを１からＮまでの整数としたとき、前記部分領域に対して、前記補正情報に基づく複数の線型関数の各々による第ｎ線型変換と、非線型関数による第ｎ非線型変換と、をｎが１からＮになるまで順に実行することで中間データを生成し、前記中間データに対して、前記補正情報に基づく１つ以上の線型関数による第Ｎ＋１線型変換を実行することにより前記補正部分領域を生成することを特徴とする。
　また、上記の画像処理方法を実行する画像処理部を有する画像処理装置、撮像装置、上記の画像処理方法をコンピュータに実行させるプログラム、該プログラムを記憶した記憶媒体も本発明の一実施形態である。
　本発明によれば、撮影画像における光学的劣化を高精度、且つ弊害を抑制して補正することができる。
実施例１におけるぼけ補正のネットワーク構造を示した図 実施例１における撮像装置のブロック図 実施例１における撮像装置の外観図 実施例１におけるぼけ補正のフローを示した図 実施例１及び２における補正情報の学習フローを示した図 実施例２における画像処理システムのブロック図 実施例２における画像処理システムの外観図 実施例２におけるぼけ補正のフローを示した図 実施例２におけるぼけ補正のネットワーク構造を示した図 実施例２における活性化関数を説明した図
　以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
　まず、具体的な実施例の説明に先立って、本発明の要旨を説明する。本発明では、ディープラーニング（深層学習）を用いて、撮像装置を用いて撮影された画像（撮影画像）における光学的劣化を補正する。ここで光学的劣化とは、撮像装置内の光学系で発生する収差や回折、或いはデフォーカスによる劣化を指す。なお、撮像装置内の光学系には、レンズだけでなく、ローパスフィルタなどの光学素子も含まれる。
　ここで、ディープラーニングを用いた本発明の画像処理方法と、特許文献１及び２の画像処理方法の違いに関して、簡単に説明する。Ｗｉｅｎｅｒフィルタ（特許文献１）では、ぼけ画像を１つの関数に入力することで、ぼけ補正画像を得る。ＲＬ法（特許文献２）では、ぼけ画像を１つの関数に入力し、その出力を新たな入力として同一の関数へ入力し、それを反復することでぼけ補正画像を得る。これらに対し、ディープラーニングは、ぼけ画像を多数の異なる関数へ入力し、それらの出力を前述の関数とは異なる多数の関数へさらに入力するという処理を繰り返す。該処理の詳細に関しては、後述する。このように、特許文献１及び２で用いられた手法に対して、ディープラーニングは複数の関数を利用するため、モデルの表現性が高い。そのため、ＷｉｅｎｅｒフィルタやＲＬ法では記述できない解も表現することが可能となる。
　さらに、ディープラーニングでは、各関数で使用されるパラメータが学習によって自動的に最適値へ設定される。特許文献１及び２の手法では、パラメータを手動で決定する必要があるため、それぞれの解空間の中で最適解を得ることが容易ではない。
　これらの理由から、特許文献１及び２に記載された手法では達成困難であった、弊害が少なく、且つ補正効果の高い光学的劣化の補正処理が、ディープラーニングを用いることで可能となる。
　本発明の画像処理方法を撮像装置へ適用した実施例１について述べる。図２は、実施例１の撮像装置１００の基本構成を示している。図３は、実施例１の撮像装置１００の外観を示している。実施例１では、光学系の収差と回折による光学的劣化を補正対象とする。デフォーカスの補正に関しては、実施例２で説明する。
　撮像装置１００は、被写体空間の情報を画像として取得する画像取得部１０１を有している。画像取得部１０１は、被写体空間からの光を集光する結像光学系１０１ａと、複数の画素を有する撮像素子１０１ｂを有している。撮像素子１０１ｂは、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ－Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどである。撮像素子１０１ｂで取得された画像には、結像光学系１０１ａの収差や回折、又は撮影時におけるデフォーカスなどが作用しており、被写体空間の情報の一部が失われている。そのため、撮像素子１０１ｂで取得された画像を以後、ぼけ画像と呼称する。
　画像処理部１０２は、ぼけ画像（入力画像）に対して本発明の画像処理方法を適用することにより、ぼけ補正を行う。画像処理部１０２は、学習部１０２ａ、補正部１０２ｂを有している。ぼけ補正の際には、記憶部１０３に記憶された結像光学系１０１ａの光学的劣化（収差と回折）に対応する補正情報が呼び出されて使用される。この処理に関する詳細は後述する。ぼけ補正された画像（補正画像）は、液晶ディスプレイなどの表示部１０４に表示させたり、記録媒体１０５に保存したりすることができる。
　なお、画像取得部１０１によってぼけ画像が撮影されたタイミングでぼけ補正を行ってもよいし、ぼけ画像を記録媒体１０５に保存しておき、任意のタイミングでぼけ補正を行ってもよい。任意のタイミングでぼけを補正する場合、撮影時における結像光学系１０１ａの絞り値や撮影距離、焦点距離に関する情報（撮影条件情報）を、ぼけ画像と合わせて記録媒体１０５に保存しておく。撮影条件情報を読み出すことで、ぼけ画像に対応した収差と回折の情報を取得することができる。
　結像光学系１０１ａがズームレンズではなく単焦点レンズである場合は、焦点距離が一定であるため、焦点距離に関する情報を含まない撮影条件情報が取得されるようにしてもよい。デフォーカスを補正する場合は、さらに被写体空間の距離情報を含む撮影条件情報が必要である。撮像装置１００がレンズ交換式である場合は、撮影時にどのレンズが装着されていたかを識別するためのレンズ識別情報を含む撮影条件情報が必要である。なお、撮影画像は動画でもよく、各フレームに対してぼけ補正を行なえばよい。以上の一連の制御は、システムコントローラ１０６によって行われる。
　次に、画像処理部１０２で行われるぼけ補正について説明する。該ぼけ補正では、事前に学習された補正情報を用いるが、この学習方法に関しては、後述する。
　図４は、ぼけ補正のフローチャートであり、補正部１０２ｂによって実行される。ステップＳ１０１では、ぼけ画像（入力画像）と該ぼけ画像の撮影条件情報を取得する。実施例１では、結像光学系１０１ａがズームレンズのため、絞り値（絞り状態）、撮影距離（フォーカス状態）に加えて、焦点距離（変倍状態、ズーム状態）も撮影条件情報として取得する。ここで、絞り状態、フォーカス状態、変倍状態をまとめてレンズステートと呼ぶこととする。また、撮像素子１０１ｂがＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）のベイヤー配列で構成されていた場合、ぼけ画像はデモザイキング前後のどちらの画像でもよい。
　ステップＳ１０２では、ぼけ画像の一部である部分領域が取得される。ぼけ補正は、該部分領域を単位として行なう。
　ステップＳ１０３では、撮影条件情報と部分領域の位置から、部分領域の光学的劣化を補正するための補正情報を取得する。本実施例で補正する結像光学系１０１ａの収差と回折による光学的劣化は、結像光学系１０１ａのレンズステートと像高に応じて変化するため、それに応じて補正情報も異なることとなる。故に、部分領域に対応する補正情報を取得するために、撮影条件情報と部分領域の位置に関する情報が必要となる。
　ステップＳ１０４では、補正情報を用いて、部分領域における光学的劣化を補正した補正部分領域を生成する。ぼけ補正の詳細に関して、図１を用いて説明する。図１は、ディープラーニングの１つであるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）のネットワーク構造を示している。ただし、本発明はＣＮＮのみに限定されない。例えば、ＤＢＮ（Ｄｅｅｐ　Ｂｅｌｉｅｆ　Ｎｅｔｗｏｒｋ）などを用いても構わない。ただし、被写体に対する光学的劣化の作用がコンボリューションで記述されるため、コンボリューションを用いるＣＮＮが、モデルのマッチングがよい。ＣＮＮとＤＢＮの詳細に関しては、それぞれ非特許文献１及び非特許文献２に記載されている。
　ＣＮＮは、複数の層構造になっており、各層で補正情報を用いた線型変換と非線型変換が実行される。ここで、ｎを１からＮまでの整数としたとき、ｎ番目の層を第ｎ層、第ｎ層における線型変換と非線型変換をそれぞれ第ｎ線型変換、第ｎ非線型変換と呼称する。ただし、Ｎは２以上の整数である。部分領域２０１は、第１層で複数のフィルタ２０２それぞれとのコンボリューション（第１線型変換）が演算され、その後、活性化関数（Ａｃｔｉｖａｔｉｏｎ　Ｆｕｎｃｔｉｏｎ）と呼ばれる非線型関数で変換（第１非線型変換）される。図１中で部分領域２０１が複数枚描画されているのは、複数のチャンネルを有しているからである。実施例１では、部分領域がＲＧＢの３チャンネルを有している。ただし、チャンネル数はこれに限定されない。また、部分領域がＲＧＢの３チャンネルを有していても、１チャンネルずつ個別にＣＮＮへ入力しても構わない。この場合、収差と回折は光の波長によっても変化するため、チャンネルごとに異なる補正情報を使用する。複数チャンネルを一括で入力する場合は、前記の異なる補正情報が同時に使用される。
　フィルタ２０２は複数存在し、それぞれと部分領域２０１とのコンボリューションを個別に算出する。フィルタ２０２を構成する係数は、補正情報から決定される。補正情報はフィルタの係数そのものでもよいし、フィルタを所定の関数でフィッティングした際の係数でもよい。フィルタ２０２それぞれのチャンネル数は、部分領域２０１と一致し、部分領域２０１のチャンネル数が２以上の場合、３次元フィルタとなる（３次元目がチャンネル数を表す）。また、前記コンボリューションの結果に対して、補正情報から決定される定数（負もとり得る）を加算してもよい。
　フィルタ２０２による線型変換の後、活性化関数（図１中ではＡＦと記載）による非線型変換が施される。活性化関数ｆ（ｘ）の例としては、以下の式（１）乃至（３）が挙げられる。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　式（１）はシグモイド関数、式（２）はハイパボリックタンジェント関数、式（３）はＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ　Ｌｉｎｅａｒ　Ｕｎｉｔ）と呼ばれる。式（３）中のｍａｘは、引数のうち最大値を出力するＭＡＸ関数を表す。式（１）乃至（３）は、全て単調増加関数である。また、活性化関数としてｍａｘ　ｏｕｔを使用してもよいが、ｍａｘ　ｏｕｔを使用した例は、実施例２で説明する。第１層で線型変換と非線型変換を施された部分領域を、第１変換部分領域２０３と呼称する。ここで、第１変換部分領域２０３の各チャンネル成分は、部分領域２０１とフィルタ２０２それぞれのコンボリューションから生成される。そのため、第１変換部分領域２０３のチャンネル数は、フィルタ２０２の数と同じになる。
　第２層では、第１変換部分領域２０３に対して、第１層と同様に補正情報から決定される複数のフィルタ２０４とのコンボリューション（第２線型変換）と、活性化関数による非線型変換（第２非線型変換）を行なう。第２層で使用するフィルタ２０４は、第１層で使用するフィルタ２０２と一般に同一ではない。フィルタのサイズや数も一致しなくて良い。ただし、フィルタ２０４のチャンネル数と第１変換部分領域２０３のチャンネル数は一致する。同様の演算を第Ｎ層まで繰り返すことで、中間データ２１０を得る。最後に、第Ｎ＋１層で中間データ２１０と１つ以上のフィルタ２１１とのコンボリューションと定数の加算（第Ｎ＋1線型変換）から、光学的劣化の補正された補正部分領域２１２を得る。該フィルタ２１１と該定数も、補正情報から決定される。補正部分領域２１２のチャンネル数は、部分領域２０１と同じであり、そのためフィルタ２１１の数も部分領域２０１と同じになる。補正部分領域２１２の各チャンネルの成分は、中間データ２１０とフィルタ２１１それぞれ（１つの場合もある）とのコンボリューションを含む演算から求められる。なお、部分領域２０１と補正部分領域２１２のサイズは一致しなくてよい。コンボリューション時、部分領域の外側にはデータが存在しないため、データの存在する領域のみで演算すると、コンボリューション結果はサイズが小さくなる。ただし、周期境界条件などを設定することで、サイズを保つこともできる。
　ＣＮＮは、活性化関数（非線型関数）を含むため、線型演算の逆フィルタでは求められない解を得ることができる。また、ディープラーニングは従来のニューラルネットワークに対して層の数が多いため、より高い性能を出すことができる。一般に、３層以上を有する場合（線型変換と非線形変換とを順に２回以上実行する場合）をディープラーニングと呼ぶ。ディープラーニングが性能を発揮するためには、特に活性化関数の存在が重要である。もし、活性化関数が存在しない、或いは線型関数だった場合、ネットワーク構造をいくら多層にしても、それと等価な単層の線型変換が存在するためである。
　ステップＳ１０５では、ぼけ画像のうち既定の領域に対して、ぼけ補正が完了したか否かの判定を行なう。既定の領域において、ぼけ補正が行われていない部分領域がある場合は、ステップＳ１０２へ戻り、ぼけ補正されていない部分領域を取得して、補正部分領域を生成する処理を行なう（ステップＳ１０３、Ｓ１０４）。既定の領域の全領域においてぼけ補正が完了した場合は、ステップＳ１０６へ進み、補正画像を出力する。以上の処理によって、結像光学系１０１ａの光学的劣化を補正した画像を得ることができる。
　次に、補正情報の学習に関して、図５のフローチャートを用いて説明する。学習は、ぼけ補正前であれば、撮像装置１００の画像処理部１０２で行なってもよいし、撮像装置１００とは別の演算装置で行なってもよい。本実施例では、学習部１０２ａで学習を実行する場合を例に挙げて説明する。補正情報の学習は、参照画像を結像光学系１０１ａの光学的劣化によって劣化させたぼけ画像を生成し、両者の対応関係を用いることで行う。
　ステップＳ２０１では、結像光学系１０１ａにおける光学的劣化（実施例１では収差と回折）の情報を取得する。前述の通り収差と回折による劣化は、レンズステートや像高、又は光の波長によって変化する。そのため、補正情報を求めたいレンズステート、像高、波長を選択して、それに対応する光学的劣化の情報を取得する。本実施例において、光学的劣化の情報は、記憶部１０３に記憶されている。光学的劣化の情報は、例えばＰＳＦ（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ、点像分布関数）やＯＴＦ（Ｏｐｔｉｃａｌ　Ｔｒａｎｓｆｅｒ　Ｆｕｎｃｔｉｏｎ、光学伝達関数）などに関する情報である。
　ステップＳ２０２では、参照画像を取得する。参照画像は、単数でも複数でもよい。参照画像とそれをぼかした画像から補正情報を学習するため、参照画像には様々な周波数成分が含まれていることが望ましい。例えば、参照画像にエッジがない場合、ぼけたエッジを鮮鋭なエッジに戻す学習データが存在しないため、エッジに対するぼけ補正効果が充分に得られない可能性がある。また、ぼけ補正でリンギングの発生しやすい輝度飽和部なども、参照画像に含まれていることが望ましい。この際、正しいぼけ画像を得るため、参照画像は飽和値以上の輝度の値を有している（ハイダイナミックレンジである）ことが望ましい。すなわち、入力画像のダイナミックレンジよりも大きいダイナミックレンジを有する参照画像を学習に用いることが好ましい。これは、既に輝度飽和している画像に対してＰＳＦをコンボリューションしても、被写体空間（輝度飽和は存在しない）を撮像した画像とは一致しないためである。輝度飽和部のぼけ前後の関係を学習することで、ぼけ補正時にリンギングが発生しにくくなる効果がある。
　ステップＳ２０３では、光学的劣化の情報を用いて、参照画像から劣化参照画像を生成する。光学的劣化の情報がＰＳＦなら、参照画像とのコンボリューションをとることで、劣化参照画像を得ることができる。ＯＴＦなら、参照画像の空間周波数スペクトルと積をとり、逆Ｆｏｕｒｉｅｒ変換することで得られる。またこの際、必要に応じて劣化参照画像にノイズを付与しておくことが望ましい。撮像素子１０１ｂで取得された実際のぼけ画像には、ショットノイズなどが存在しているためである。劣化参照画像にノイズを付与することで、ぼけ補正時にノイズが増幅される弊害を抑制できる。参照画像が複数の場合は、それぞれに対して劣化参照画像を生成する。
　ステップＳ２０４では、学習用部分領域と学習用劣化部分領域のペア（組）を複数取得する。学習用部分領域は参照画像から取得され、サイズはステップＳ１０４における補正部分領域と同じである。学習用劣化部分領域は、劣化参照画像から、該領域の中心が学習用部分領域と画像に対して同じ位置になるように取得される。そのサイズは、ステップＳ１０２におけるぼけ画像の部分領域と同じである。
　ステップＳ２０５では、複数の学習用部分領域と学習用劣化部分領域のペア（合わせて学習用ペアと呼称する）から、補正情報を学習する。学習では、ぼけ補正と同じネットワーク構造を使用する。本実施例では、図１に示したネットワーク構造に対して学習用劣化部分領域を入力し、その出力結果と学習用部分領域の誤差を算出する。該誤差が最小化されるように、例えば誤差逆伝播法（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）などを用いて、第１乃至第ｎ層で用いる各フィルタの係数や加算する定数（補正情報）を更新、最適化する。各フィルタと定数の初期値はなんでもよい。例えば、乱数から決定するとよい。或いは、各層ごとに初期値を事前学習するＡｕｔｏ　Ｅｎｃｏｄｅｒなどのプレトレーニングを行なってもよい。Ａｕｔｏ　Ｅｎｃｏｄｅｒに関しては、非特許文献３に記載されている。
　学習用ペアを全てネットワーク構造へ入力し、それら全ての情報を使って補正情報を更新する手法をバッチ学習と呼ぶ。ただし、この学習方法は学習ペアの数が増えるにつれて、計算負荷が膨大になってしまう欠点がある。逆に、補正情報の更新に１つの学習ペアのみを使用し、更新ごとに異なる学習用ペアを使用する学習手法をオンライン学習と呼ぶ。この手法は、学習ペアが増えても計算量が増大しない利点があるが、その代わりに１つの学習用ペアに存在するノイズの影響を大きく受ける問題がある。そのため、これら２つの手法の中間に位置するミニバッチ法を用いて学習することが望ましい。ミニバッチ法は、全学習用ペアの中から少数を抽出し、それらを用いて補正情報の更新を行なう。次の更新では、異なる少数の学習用ペアを抽出して使用する。これを繰り返すことで、バッチ学習とオンライン学習の欠点を小さくすることができ、高いぼけ補正効果を得やすくなる。
　ステップＳ２０６では、学習された補正情報を出力する。本実施例では、補正情報は記憶部１０３に記憶される。
　ステップＳ２０１乃至Ｓ２０６を、結像光学系１０１ａにおける全レンズステート、像高、及び波長の光学的劣化に対して実行すれば、結像光学系１０１ａに対する補正情報が生成される。
　以上の処理によって、弊害が少なく、且つ補正効果の高い光学的劣化の補正情報を学習することができる。
　なお、本実施例では劣化参照画像を画像処理によって生成したが、実際に撮像装置１００を用いて撮影した画像で代用してもよい。例えば、参照画像を印刷して撮像装置１００で撮影することで、光学的劣化の作用した参照画像を得ることができる。ただし、撮像装置１００の配置誤差などによる画像の位置ずれや、一度の撮影で得られる特定の光学的劣化（例えば軸上のＰＳＦ）に対する学習ペアが少ないことから、画像処理で生成する方が望ましい。
　また、ステップＳ１０２におけるぼけ画像の部分領域のサイズは、該部分領域に作用している光学的劣化の情報に基づいて決定することが望ましい。例えば、ＰＳＦがｍ×ｍ画素程度の拡がりを持っていたとすると、被写体空間の点像はｍ×ｍ画素程度にぼけて広がることとなる。つまり、元の点像の情報はｍ×ｍ画素程度の領域に含まれているため、それらの情報が含まれるように部分領域のサイズを決定することが望ましい。
　同様に、ＣＮＮ（図１のネットワーク構造）では、各層でフィルタをコンボリューションして光学的劣化の補正を行なうため、それらのフィルタが影響する範囲を合わせた範囲が、前記光学的劣化のぼけ量より小さいと正しく補正できない。例えば、全層数が２で、第１層のフィルタサイズが５×５、第２層のフィルタサイズが３×３の場合、ある画素の補正に使用できる範囲は、該画素を中心にした７×７画素となる。そのため、このネットワーク構造では、光学的劣化の拡がりが７画素以下になっていないと、高精度な補正ができない。故に、光学的劣化の拡がりに基づいて、ある画素の補正に使用される範囲（各層のフィルタのサイズで決まる）を決定することが望ましい。
　より詳細には、以下の条件式（４）を満たすように、各層のフィルタのサイズを決定するとよい。
Figure JPOXMLDOC01-appb-M000005
　ここで、ｄはぼけ画像の画素に対するＰＳＦ（光学的劣化に対応）の拡がり、Ｎ＋１は全層数である。また、ｓｍは第ｍ線型変換で使用するフィルタのサイズであり、第１乃至第Ｎ＋１線型変換のそれぞれにおけるフィルタの１次元サイズをｓ１乃至ｓＮ＋１とする。第ｍ線型変換で複数のサイズのフィルタが混合して使用される場合、ｓｍは最大のフィルタサイズになる。式（４）の上限は、ある画素の補正に使用できる範囲が、劣化の大きさ以上であることを示している。下限は理論的に超えることができない。ここで、ＰＳＦの拡がりｄは、ＰＳＦの重心からＰＳＦの値が閾値以下まで減衰する位置までの幅を、画素の長さで除したものである。
　さらに、収差と回折は、結像光学系１０１ａが光軸に対して回転対称性を有している場合、方位角によって形状が変化しない（方位角だけＰＳＦが回転する）。故に、同じ像高の部分領域に対しては同一の補正情報を使用することができ、学習負荷の軽減や補正情報の容量削減の効果が得られる。これを実現するには、以下の２つの方法が考えられる。１つ目は、ぼけ補正前に方位角を打ち消すよう、部分領域を回転することである。２つ目は、第１乃至第ｎ層のフィルタを補正する部分領域の方位角に合わせて回転することである。
　また、学習時に使用する光学的劣化の情報は、歪曲成分を含まないことが望ましい。図１のぼけ補正モデルは、補正前後で部分領域内の被写体が領域外へ出て行くこと、或いは領域外の被写体が領域内へ入ってくることを想定していないためである。故に、部分領域のサイズに対して歪曲収差が充分に小さい場合を除いて、学習、及びぼけ補正では歪曲収差を無視し、本発明のぼけ補正を行なった後に別途、歪曲補正処理をかけることが望ましい。この際、学習、及びぼけ補正で使用する像高は、歪曲収差が入った状態の像で考える。つまり、歪曲が負のとき、像高１０割は歪曲補正後には１０割よりも大きい位置を指している。なお、学習時の参照画像に予め歪曲収差を付与しておく必要はない。また、ぼけ補正の前に歪曲補正処理を行うこともできるが、この場合はぼけ補正前に補間処理が入るため、ぼけ補正後に歪曲補正処理を行うことが望ましい。
　部分領域が複数のチャンネルを持ち、それらを一括でネットワーク構造へ入力する場合、倍率色収差も同様に学習時の光学的劣化の情報に含まれないことが望ましい。この理由は歪曲と同じで、部分領域の内外に被写体が移動してしまうからである。ただし、倍率色収差は歪曲収差と異なり、本発明のぼけ補正を使用する前にぼけ画像から補正しておく。すなわち、部分領域の倍率色収差を補正してから１回目の線型変換を実行することが好ましい。事前に倍率色収差を補正しないと、エッジが二重エッジなどになってしまう可能性があるためである。なお、部分領域が複数のチャンネルを持っていても、各チャンネルで個別にぼけ補正を行なう場合は、このような問題は発生しない。
　また、本発明と合わせて、ＣＮＮの性能を向上させる工夫を併用してもよい。例えば、参照画像の数が充分でない場合に、参照画像に様々な変形を与えて学習データを増大させるデータオーグメンテーションを用いてもよい。或いは、学習精度の向上のため、参照画像の画素の平均値を０、分散を１に正規化し、隣接する画素の冗長性をなくすＺＣＡホワイトニングなどを併用してもよい。データオーグメンテーションとＺＣＡホワイトニングに関しては、非特許文献４及び非特許文献５にそれぞれ詳しく記載されている。
　本実施例の画像処理方法は、撮像装置１００を、本実施例の画像処理方法を実行するコンピュータとして機能させるためのプログラムにしたがって実行される。なお、プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録してもよい。
　以上の構成によって、撮像装置を用いて撮影された画像の光学的劣化を高精度、且つ弊害を抑制して補正することが可能な撮像装置を提供することができる。
　本発明の画像処理方法を画像処理システムに適用した実施例２に関して述べる。実施例２では、本発明のぼけ補正を行なう画像処理装置と、ぼけ画像を得る撮像装置、学習を行なうサーバーが個別に存在している。また、補正する光学的劣化として、デフォーカスを扱う。
　図６は、実施例２の画像処理システムの基本構成を示している。図７は、実施例２の画像処理システムの外観を示している。撮像装置３００は、被写体空間のデプスマップ（被写体距離の分布に関する情報）を取得するデプスマップ取得部を有している。デプスマップを取得する構成としては、例えば、視差を利用した複数視点の撮像系（多眼カメラやプレノプティックカメラなど）や、ＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）、或いはＤＦＤ（Ｄｅｐｔｈ　ｆｒｏｍ　Ｄｅｆｏｃｕｓ）などが知られている。撮像装置３００のその他の基本構成に関しては、ぼけ補正と学習に関する画像処理部を除いて、図２に示したものと同様である。
　撮像装置３００で撮影されたぼけ画像（入力画像）と撮影条件情報（デプスマップを含む）は、画像処理装置３０１内の記憶部３０２に記憶される。画像処理装置３０１は、ネットワーク３０４と有線、又は無線で接続されており、同様に接続されたサーバー３０５にアクセスする。サーバー３０５は、撮像装置３００で発生する光学的劣化を補正するための補正情報を学習する学習部３０７と、該補正情報を記憶する記憶部３０６を有している。画像処理装置３０１は、サーバー３０５の記憶部３０６から補正情報を取得し、補正部３０３でぼけ画像の光学的劣化を補正する。
　生成された補正画像は、表示装置３０８、記録媒体３０９、出力装置３１０の少なくとも何れかに出力される。表示装置３０８は、例えば液晶ディスプレイやプロジェクタなどである。ユーザーは表示装置３０８を介して、処理途中の画像を確認しながら作業を行うことができる。記録媒体３０９は、例えば半導体メモリ、ハードディスク、ネットワーク上のサーバー等である。出力装置３１０は、プリンタなどである。画像処理装置３０１は、必要に応じて現像処理やその他の画像処理を行う機能を有していてよい。
　次に、図８のフローチャートを用いて、補正部３０３で行なわれるぼけ補正処理を説明する。
　ステップＳ３０１では、撮像装置３００で撮影されたぼけ画像と、該ぼけ画像のデプスマップを含む撮影条件情報を取得する。また、本実施例では撮像装置３００がレンズ交換式カメラのため、撮影時に装着していたレンズの識別情報も撮影条件情報に含まれる。
　ステップＳ３０２では、ステップＳ３０１で取得したデプスマップを用いて、距離が概ね同一とみなせる領域（同じ補正情報を用いて補正可能な領域）から部分領域を取得する。
　ステップＳ３０３では、撮影時の撮影距離（フォーカス状態）と部分領域における被写体の距離情報（デプス情報）から、部分領域のデフォーカス量に応じた補正情報を取得する。部分領域の位置に応じて、被写体距離は異なるので、部分領域の位置によって補正情報は異なることとなる。また、像高によって、撮像装置３００内に含まれる結像光学系のヴィネッティングが変化するため、同じデフォーカス量でも像高に応じてぼけ像が変化する。そのため、像高に基づいて補正情報が決定される。
　ステップＳ３０４では、図９に示したネットワーク構造を用いて、デフォーカスによるぼけを補正した補正画像を生成する。図９に示した本実施例のネットワーク構造と図１に示した実施例１のネットワーク構造の違いは、活性化関数にｍａｘ　ｏｕｔを使用していることである。部分領域４０１は、第１層で複数のフィルタ４０２それぞれとコンボリューションが演算され、さらに定数が加算される（第１線型変換）。フィルタ４０２の各係数と定数は、補正情報によって決定される。各線型変換の結果は、活性化関数（ｍａｘ　ｏｕｔ）に入力される。図１０を用いて、ｍａｘ　ｏｕｔの説明を行なう。ｍａｘ　ｏｕｔは、線型変換の結果４２１乃至４２３の各画素に対して、その最大値を出力する活性化関数である。例えば、第１層でのｍａｘ　ｏｕｔの出力（第１変換部分領域）４０３において、画素４４１は、線型変換の結果４２１乃至４２３における同一位置の画素４３１乃至４３３のうちの最大値となる。つまり、ｍａｘ　ｏｕｔは線型変換の結果４２１乃至４２３を引数として、該引数のうち最大値を各画素に対して出力するＭＡＸ関数である。またその性質から、第１変換部分領域４０３のチャンネル数は１となる。図９における第２層以降の説明は、図１と同様である。
　ステップＳ３０５では、ぼけ画像のうち既定の領域に対して、ぼけ補正が完了したか否かの判定を行なう。既定の領域において、ぼけ補正が行われていない部分領域がある場合は、ステップＳ３０２へ戻り、ぼけ補正されていない部分領域を取得して、補正部分領域を生成する処理を行なう（ステップＳ３０３、Ｓ３０４）。既定の領域の全領域においてぼけ補正が完了した場合は、ステップＳ３０６へ進む。
　ステップＳ３０６では、デフォーカス補正によって、ピントずれが補正された補正画像、或いは被写界深度の拡張された補正画像が出力される。
　ぼけ補正で使用される補正情報は、実施例１と同様に図５に示したフローチャートに従って学習される。本実施例では、デフォーカスによるぼけを補正対象とする。このため、光学的劣化の情報の取得（ステップＳ２０１）では、焦点距離（変倍状態）、絞り値（絞り状態（ヴィネッティングを含む））、撮影距離（フォーカス状態）、被写体の距離情報に基づいて決定されるデフォーカスのぼけに関する情報を取得する。ステップＳ２０２乃至Ｓ２０６は実施例１と同様であるため、説明を省略する。
　本実施例の画像処理方法は、画像処理装置３０１を、本実施例の画像処理方法を実行するコンピュータとして機能させるためのプログラムにしたがって実行される。なお、プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録してもよい。
　以上の構成によって、撮像装置の光学的劣化を高精度、且つ弊害を抑制して補正することが可能な画像処理システムを提供することができる。
　以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されたものではなく、その要旨の範囲内で様々な変形、及び変更が可能である。
　すなわち、実施例１で示したように収差と回折を補正する画像処理方法を実施例２で示すような画像処理システムで実行したり、実施例２の画像処理方法を実施例１で示したような撮像装置で実行したりすることもできる。また、光学的劣化として収差と回折とデフォーカスによるぼけの全てを補正するようにしてもよい。
　また、撮像装置で撮影されたぼけ画像と撮影条件情報を、撮像装置または該撮像装置に有線または無線で接続された画像処理装置からネットワーク上のサーバーに送信し、ネットワーク上のサーバーにおいて本発明の画像処理方法を実行してもよい。ネットワーク上のサーバーで生成された補正画像は撮像装置または画像処理装置からサーバーにアクセスすることにより取得することができる。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　２０１、４０１　　部分領域
　２０２、４０２　　フィルタ
　２０３、４０３　　第１変換部分領域
　２０４、４０４　　フィルタ
　２１０、４１０　　中間データ
　２１１、４１１　　フィルタ
　２１２、４１２　　補正部分領域
　４２１、４２２、４２３　　線型変換の結果
　４３１、４３２、４３３　　ｍａｘ　ｏｕｔへ入力される画素
　４４１　　ｍａｘ　ｏｕｔから出力される画素

Claims (22)

  1. 　撮像装置を用いて撮影された入力画像の部分領域を取得する工程と、
    　前記部分領域の位置に応じて異なる、予め学習された補正情報を取得する工程と、
    　前記部分領域と前記補正情報を用いて、前記撮像装置による前記部分領域の光学的劣化を補正した補正部分領域を生成する補正工程と、を有し、
    　前記補正工程は、Ｎを２以上の整数、ｎを１からＮまでの整数としたとき、前記部分領域に対して、前記補正情報に基づく複数の線型関数の各々による第ｎ線型変換と、非線型関数による第ｎ非線型変換と、をｎが１からＮになるまで順に実行することで中間データを生成し、前記中間データに対して、前記補正情報に基づく１つ以上の線型関数による第Ｎ＋１線型変換を実行することにより前記補正部分領域を生成することを特徴とする画像処理方法。
  2. 　前記第１乃至第Ｎ線型変換は、前記補正情報に基づく複数のフィルタの各々とのコンボリューションを含むことを特徴とする請求項１に記載の画像処理方法。
  3. 　前記コンボリューションは、実行されるたびに異なるフィルタが用いられることを特徴とする請求項２に記載の画像処理方法。
  4. 　前記第Ｎ＋１線型変換は、１つ以上のフィルタとのコンボリューションであり、
    　前記第１乃至第Ｎ＋１線型変換のそれぞれにおけるフィルタのサイズは、前記光学的劣化の情報に基づいて決定されることを特徴とする請求項２又は３に記載の画像処理方法。
  5. 　前記第Ｎ＋１線型変換は、１つ以上のフィルタとのコンボリューションであり、
    　前記光学的劣化に対応する点像分布関数の拡がりをｄとし、前記第１乃至第Ｎ＋１線型変換のそれぞれにおけるフィルタの１次元サイズをｓ１乃至ｓＮ＋１としたとき、
    Figure JPOXMLDOC01-appb-M000001
     なる条件式を満たすことを特徴とする請求項２乃至４の何れか１項に記載の画像処理方法。
  6. 　前記中間データに用いられるフィルタの数は、前記部分領域のチャンネル数と同一であり、
    　前記補正部分領域の各チャンネル成分は、前記中間データと前記フィルタの各々とのコンボリューションを含む演算で算出されること特徴とする請求項１乃至５の何れか１項に記載の画像処理方法。
  7. 　前記非線型関数は、単調増加関数、又は引数のうち最大値を出力するＭＡＸ関数を含むことを特徴とする請求項１乃至６の何れか１項に記載の画像処理方法。
  8. 　前記部分領域のサイズは、前記光学的劣化の情報に基づいて決定されることを特徴とする請求項１乃至７の何れか１項に記載の画像処理方法。
  9. 　前記補正情報は、像高が同一の前記部分領域に対しては同一の値を取得し、
    　前記部分領域を回転してから前記補正工程を実行することを特徴とする請求項１乃至８の何れか１項に記載の画像処理方法。
  10. 　前記補正情報は、像高が同一の前記部分領域に対しては同一の値を取得し、
    　前記補正情報に基づく複数のフィルタを回転してから前記補正工程を実行することを特徴とする請求項２乃至８の何れか１項に記載の画像処理方法。
  11. 　前記補正情報は、参照画像と前記光学的劣化の情報を用いて学習されたものであることを特徴とする請求項１乃至１０の何れか１項に記載の画像処理方法。
  12. 　前記学習に用いられる参照画像は、前記入力画像のダイナミックレンジよりも大きいダイナミックレンジを有する画像を含むことを特徴とする請求項１１に記載の画像処理方法。
  13. 　前記補正情報は、前記光学的劣化の情報を用いて前記参照画像から劣化参照画像を生成し、前記参照画像の部分領域と前記劣化参照画像の部分領域との複数の組を用いて学習されたものであることを特徴とする請求項１１または１２に記載の画像処理方法。
  14. 　前記補正情報は、前記参照画像の部分領域とノイズが付与された劣化参照画像の部分領域との複数の組を用いて学習されたものであることを特徴とする請求項１３に記載の画像処理方法。
  15. 　前記学習に用いられる光学的劣化の情報は、歪曲収差を含まないことを特徴とする請求項１１乃至１４の何れか１項に記載の画像処理方法。
  16. 　前記入力画像の各部分領域について補正部分領域を生成することにより得られる補正画像に対して歪曲収差の補正処理を行うことを特徴とする請求項１５に記載の画像処理方法。
  17. 　前記部分領域は、複数のチャンネルを有し、
    　前記補正工程は、前記部分領域の倍率色収差を補正してから１回目の前記線型変換を実行することを特徴とする請求項１乃至１６の何れか１項に記載の画像処理方法。
  18. 　前記部分領域は、複数のチャンネルを有し、
    　前記補正情報は、前記チャンネルによって異なる値であり、
    　前記補正工程は、前記部分領域のチャンネルごとに実行されることを特徴とする請求項１乃至１６の何れか１項に記載の画像処理方法。
  19. 　請求項１乃至１８の何れか１項に記載の画像処理方法を実行する画像処理部と、
    　前記補正情報を記憶する記憶部と、を有することを特徴とする画像処理装置。
  20. 　被写体空間の画像を入力画像として取得する画像取得部と、
    　請求項１乃至１８の何れか１項に記載の画像処理方法を実行する画像処理部と、
    　前記補正情報を記憶する記憶部と、を有することを特徴とする撮像装置。
  21. 　コンピュータに画像処理を実行させるプログラムであって、
    　請求項１乃至１８の何れか１項に記載の画像処理方法を前記画像処理として実行させるプログラム。
  22. 　請求項２１に記載のプログラムを記憶したコンピュータが読み取り可能な記録媒体。
PCT/JP2016/074723 2016-08-25 2016-08-25 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体 WO2018037521A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018535995A JP6728365B2 (ja) 2016-08-25 2016-08-25 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体
PCT/JP2016/074723 WO2018037521A1 (ja) 2016-08-25 2016-08-25 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体
CN201680088585.4A CN109644230B (zh) 2016-08-25 2016-08-25 图像处理方法、图像处理装置、图像拾取装置和存储介质
US15/684,468 US10354369B2 (en) 2016-08-25 2017-08-23 Image processing method, image processing apparatus, image pickup apparatus, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/074723 WO2018037521A1 (ja) 2016-08-25 2016-08-25 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体

Publications (1)

Publication Number Publication Date
WO2018037521A1 true WO2018037521A1 (ja) 2018-03-01

Family

ID=61243063

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/074723 WO2018037521A1 (ja) 2016-08-25 2016-08-25 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体

Country Status (4)

Country Link
US (1) US10354369B2 (ja)
JP (1) JP6728365B2 (ja)
CN (1) CN109644230B (ja)
WO (1) WO2018037521A1 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6476531B1 (ja) * 2018-03-06 2019-03-06 株式会社ツバサファクトリー 処理装置、処理方法、コンピュータプログラム及び処理システム
JP2019212139A (ja) * 2018-06-07 2019-12-12 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
WO2020045598A1 (ja) * 2018-08-31 2020-03-05 ソニーセミコンダクタソリューションズ株式会社 電子機器及び固体撮像装置
JP2020061129A (ja) * 2018-10-04 2020-04-16 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理システム、プログラム、および、記憶媒体
JP2020201540A (ja) * 2019-06-06 2020-12-17 キヤノン株式会社 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム
KR102212964B1 (ko) * 2019-10-10 2021-02-08 주식회사 인트로메딕 디블러링 영상 처리 방법 및 장치
WO2021060445A1 (ja) * 2019-09-27 2021-04-01 国立大学法人大阪大学 画像処理装置、ニューラルネットワークおよび画像処理方法
JP2021056678A (ja) * 2019-09-27 2021-04-08 キヤノン株式会社 画像処理方法、プログラム、画像処理装置、学習済みモデルの製造方法、および、画像処理システム
JP2021064217A (ja) * 2019-10-15 2021-04-22 エヌエイチエヌ コーポレーション サーバ、プログラム、方法及びシステム
JPWO2021095256A1 (ja) * 2019-11-15 2021-05-20
CN113228096A (zh) * 2018-12-18 2021-08-06 莱卡微系统Cms有限责任公司 通过机器学习进行光学矫正
JP2021149473A (ja) * 2020-03-18 2021-09-27 株式会社リコー 画像処理装置、画像処理方法および画像処理プログラム
JP7365204B2 (ja) 2019-11-18 2023-10-19 株式会社東海理化電機製作所 学習装置、および学習方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10365606B2 (en) * 2017-04-07 2019-07-30 Thanh Nguyen Apparatus, optical system, and method for digital holographic microscopy
DE102018201794B3 (de) * 2018-02-06 2019-04-11 Heidelberger Druckmaschinen Ag Adaptive Bildglättung
JP7169768B2 (ja) * 2018-05-08 2022-11-11 キヤノン株式会社 画像処理装置、画像処理方法
US11195257B2 (en) * 2018-08-24 2021-12-07 Canon Kabushiki Kaisha Image processing method, image processing apparatus, imaging apparatus, lens apparatus, storage medium, and image processing system
US11030724B2 (en) 2018-09-13 2021-06-08 Samsung Electronics Co., Ltd. Method and apparatus for restoring image
US11080832B2 (en) * 2018-09-26 2021-08-03 Canon Kabushiki Kaisha Image processing method, image processing apparatus, imaging apparatus, and storage medium
US11308592B2 (en) * 2018-10-04 2022-04-19 Canon Kabushiki Kaisha Image processing method, image processing apparatus, imaging apparatus, and storage medium, that correct a captured image using a neutral network
EP3900327B1 (en) * 2019-02-27 2024-10-09 Huawei Technologies Co., Ltd. An image processing apparatus and method
EP3931795A1 (en) * 2019-03-21 2022-01-05 Huawei Technologies Co., Ltd. Depth of field image refocusing
CN113139911A (zh) * 2020-01-20 2021-07-20 北京迈格威科技有限公司 图像处理方法及装置、图像处理模型的训练方法及装置
CN111968052B (zh) * 2020-08-11 2024-04-30 北京小米松果电子有限公司 图像处理方法、图像处理装置及存储介质
CN111932462B (zh) * 2020-08-18 2023-01-03 Oppo（重庆）智能科技有限公司 图像降质模型的训练方法、装置和电子设备、存储介质
JP7225315B2 (ja) * 2021-06-17 2023-02-20 キヤノン株式会社 画像処理方法、画像処理装置、画像処理システム、およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04200081A (ja) * 1990-11-29 1992-07-21 Olympus Optical Co Ltd 撮像装置
JPH1131214A (ja) * 1997-07-10 1999-02-02 Hitachi Medical Corp 画像処理装置
JP2001197332A (ja) * 1999-11-26 2001-07-19 Inst Fuer Neurosimulation & Bildtechnologien Gmbh 画像再生システムの欠陥を判定し且つ少なくとも部分的に補正する方法及び該方法を実施するための装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7843493B2 (en) * 2006-01-31 2010-11-30 Konica Minolta Holdings, Inc. Image sensing apparatus and image processing method
US8144984B2 (en) * 2006-12-08 2012-03-27 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program for color fringing estimation and compensation
US8547444B2 (en) * 2007-06-05 2013-10-01 DigitalOptics Corporation International Non-linear transformations for enhancement of images
JP5506272B2 (ja) * 2009-07-31 2014-05-28 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
JP5809865B2 (ja) 2011-07-19 2015-11-11 株式会社 日立産業制御ソリューションズ 画像処理装置及び画像処理方法
JP5361976B2 (ja) * 2011-08-25 2013-12-04 キヤノン株式会社 画像処理プログラム、画像処理方法、画像処理装置及び撮像装置
JP5844940B2 (ja) * 2013-03-18 2016-01-20 富士フイルム株式会社 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム、並びに記録媒体
JP2015216576A (ja) 2014-05-13 2015-12-03 ソニー株式会社 画像処理装置、画像処理方法、撮像装置、電子機器、並びにプログラム
JP6573386B2 (ja) * 2014-12-01 2019-09-11 キヤノン株式会社 制御装置、レンズ装置、画像処理システム、制御方法、画像処理方法、プログラム、および、記憶媒体
CA3017697C (en) * 2016-03-17 2021-01-26 Imagia Cybernetics Inc. Method and system for processing a task with robustness to missing input information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04200081A (ja) * 1990-11-29 1992-07-21 Olympus Optical Co Ltd 撮像装置
JPH1131214A (ja) * 1997-07-10 1999-02-02 Hitachi Medical Corp 画像処理装置
JP2001197332A (ja) * 1999-11-26 2001-07-19 Inst Fuer Neurosimulation & Bildtechnologien Gmbh 画像再生システムの欠陥を判定し且つ少なくとも部分的に補正する方法及び該方法を実施するための装置

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019172262A1 (ja) * 2018-03-06 2019-09-12 株式会社ツバサファクトリー 処理装置、処理方法、コンピュータプログラム及び処理システム
JP2019153229A (ja) * 2018-03-06 2019-09-12 株式会社ツバサファクトリー 処理装置、処理方法、コンピュータプログラム及び処理システム
JP6476531B1 (ja) * 2018-03-06 2019-03-06 株式会社ツバサファクトリー 処理装置、処理方法、コンピュータプログラム及び処理システム
JP2019212139A (ja) * 2018-06-07 2019-12-12 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
JP7129229B2 (ja) 2018-06-07 2022-09-01 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
TWI820194B (zh) * 2018-08-31 2023-11-01 日商索尼半導體解決方案公司 電子機器及固體攝像裝置
WO2020045598A1 (ja) * 2018-08-31 2020-03-05 ソニーセミコンダクタソリューションズ株式会社 電子機器及び固体撮像装置
JPWO2020045598A1 (ja) * 2018-08-31 2021-09-24 ソニーセミコンダクタソリューションズ株式会社 電子機器及び固体撮像装置
US11889177B2 (en) 2018-08-31 2024-01-30 Sony Semiconductor Solutions Corporation Electronic device and solid-state imaging device
JP7386792B2 (ja) 2018-08-31 2023-11-27 ソニーセミコンダクタソリューションズ株式会社 電子機器及び固体撮像装置
JP7414430B2 (ja) 2018-10-04 2024-01-16 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理システム、プログラム、および、記憶媒体
JP2020061129A (ja) * 2018-10-04 2020-04-16 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理システム、プログラム、および、記憶媒体
JP2022514580A (ja) * 2018-12-18 2022-02-14 ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツング 機械学習による光学補正
JP7192128B2 (ja) 2018-12-18 2022-12-19 ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツング 機械学習による光学補正
CN113228096A (zh) * 2018-12-18 2021-08-06 莱卡微系统Cms有限责任公司 通过机器学习进行光学矫正
US11972542B2 (en) 2018-12-18 2024-04-30 Leica Microsystems Cms Gmbh Optical correction via machine learning
US11694310B2 (en) 2019-06-06 2023-07-04 Canon Kabushiki Kaisha Image processing method, image processing apparatus, image processing system, and manufacturing method of learnt weight
JP2022048221A (ja) * 2019-06-06 2022-03-25 キヤノン株式会社 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム
JP2020201540A (ja) * 2019-06-06 2020-12-17 キヤノン株式会社 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム
JP7439145B2 (ja) 2019-06-06 2024-02-27 キヤノン株式会社 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの生成方法、および、プログラム
JP7016835B2 (ja) 2019-06-06 2022-02-07 キヤノン株式会社 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム
WO2021060445A1 (ja) * 2019-09-27 2021-04-01 国立大学法人大阪大学 画像処理装置、ニューラルネットワークおよび画像処理方法
JP7455542B2 (ja) 2019-09-27 2024-03-26 キヤノン株式会社 画像処理方法、プログラム、画像処理装置、学習済みモデルの製造方法、および、画像処理システム
JP2021056678A (ja) * 2019-09-27 2021-04-08 キヤノン株式会社 画像処理方法、プログラム、画像処理装置、学習済みモデルの製造方法、および、画像処理システム
KR102212964B1 (ko) * 2019-10-10 2021-02-08 주식회사 인트로메딕 디블러링 영상 처리 방법 및 장치
JP2021064217A (ja) * 2019-10-15 2021-04-22 エヌエイチエヌ コーポレーション サーバ、プログラム、方法及びシステム
JPWO2021095256A1 (ja) * 2019-11-15 2021-05-20
WO2021095256A1 (ja) * 2019-11-15 2021-05-20 オリンパス株式会社 画像処理システム、画像処理方法、及び、プログラム
JP7365204B2 (ja) 2019-11-18 2023-10-19 株式会社東海理化電機製作所 学習装置、および学習方法
JP2021149473A (ja) * 2020-03-18 2021-09-27 株式会社リコー 画像処理装置、画像処理方法および画像処理プログラム

Also Published As

Publication number Publication date
US10354369B2 (en) 2019-07-16
JP6728365B2 (ja) 2020-07-22
CN109644230B (zh) 2020-10-30
US20180061020A1 (en) 2018-03-01
JPWO2018037521A1 (ja) 2019-06-20
CN109644230A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
JP6728365B2 (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体
JP5824297B2 (ja) 画像処理装置及び方法、及び撮像装置
JP6327922B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP5868076B2 (ja) 画像処理装置及び画像処理方法
JP6910780B2 (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
JP5344648B2 (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
CN111010504B (zh) 图像处理方法、装置和系统、摄像装置及存储介质
US11830173B2 (en) Manufacturing method of learning data, learning method, learning data manufacturing apparatus, learning apparatus, and memory medium
US10482620B2 (en) Method and device for producing depth information
TWI507808B (zh) 攝影裝置
WO2011121763A1 (ja) 画像処理装置、およびそれを用いた撮像装置
JP5730036B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム。
JP2015115733A (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP7146461B2 (ja) 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
JP2012156715A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム。
JP6682184B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
JP6487008B1 (ja) 高解像度撮像装置
JP2020030569A (ja) 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体
US11080832B2 (en) Image processing method, image processing apparatus, imaging apparatus, and storage medium
JP7414430B2 (ja) 画像処理方法、画像処理装置、撮像装置、画像処理システム、プログラム、および、記憶媒体
JP7309520B2 (ja) 画像処理方法、画像処理装置、撮像装置、プログラム、記憶媒体、画像処理システム、および、学習済みモデルの製造方法
JP2021140758A (ja) 学習データの製造方法、学習方法、学習データ製造装置、学習装置、およびプログラム
JP2012156714A (ja) プログラム、画像処理装置、画像処理方法および撮像装置。
JP2019212139A (ja) 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
JP6221399B2 (ja) 撮像システムおよび結像光学系および撮像システムの製造方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16914195

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018535995

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16914195

Country of ref document: EP

Kind code of ref document: A1