WO2011121760A1 - 画像処理装置、およびそれを用いた撮像装置 - Google Patents

画像処理装置、およびそれを用いた撮像装置 Download PDF

Info

Publication number
WO2011121760A1
WO2011121760A1 PCT/JP2010/055858 JP2010055858W WO2011121760A1 WO 2011121760 A1 WO2011121760 A1 WO 2011121760A1 JP 2010055858 W JP2010055858 W JP 2010055858W WO 2011121760 A1 WO2011121760 A1 WO 2011121760A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
difference information
recovery
adjustment coefficient
input image
Prior art date
Application number
PCT/JP2010/055858
Other languages
English (en)
French (fr)
Other versions
WO2011121760A9 (ja
Inventor
弘至 畠山
信彦 田村
常文 田中
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to JP2012507981A priority Critical patent/JP5054248B2/ja
Priority to PCT/JP2010/055858 priority patent/WO2011121760A1/ja
Publication of WO2011121760A1 publication Critical patent/WO2011121760A1/ja
Priority to US13/371,173 priority patent/US8565524B2/en
Publication of WO2011121760A9 publication Critical patent/WO2011121760A9/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • G06T5/73—

Definitions

  • the present invention relates to an image processing apparatus that performs image processing, and more particularly to an image processing apparatus that performs image restoration (restoration).
  • An image obtained by an imaging device such as a digital camera is blurred and the image quality is deteriorated.
  • Factors that cause image blur include spherical aberration, coma aberration, field curvature, and astigmatism of the imaging system.
  • image restoration processing processing for correcting image degradation using information on the optical transfer function of the imaging system.
  • a Wiener filter that controls the degree of recovery according to the intensity ratio (SNR) of an image signal and a noise signal is known as an image recovery filter (filter) used for image recovery processing.
  • Patent Document 1 by applying the Wiener filter and adjusting the adjustment parameter ⁇ of the filter, the degree of image restoration can be changed in a range from a filter that outputs an input image as it is to a filter that maximizes image restoration.
  • An image restoration filter is disclosed.
  • an object of the present invention is to provide an image processing apparatus capable of obtaining a high-quality image.
  • Image recovery processing means for performing recovery processing on the input image and generating a recovered image; Difference information generating means for calculating difference information between the restored image and the input image; Adjustment coefficient setting means capable of setting a plurality of different adjustment coefficients for the input image; Correction difference information generating means for generating correction difference information based on the adjustment coefficient and the difference information; The correction difference information is combined with the input image to generate a recovery adjustment image.
  • the effect of the present invention is that a high-quality image can be obtained.
  • Block diagram showing functional configuration of image processing apparatus Explanatory drawing of the image processing method which is an Example of this invention
  • Second explanatory diagram of linearity of adjustment coefficient Flowchart illustrating an image processing method according to an embodiment Explanatory drawing about image restoration filter and adjustment coefficient setting for each pixel
  • Explanatory drawing about image feature A flowchart showing an example of an image processing procedure based on a feature amount of a pixel
  • Image restoration filter selection and correction illustration 7 is a flowchart illustrating an image processing procedure in the first embodiment.
  • Explanatory drawing of the image processing system in Example 2 of this invention Explanation of correction information
  • the image recovery processing unit 11 recovers (restores) the acquired input image (degraded image) and generates a recovered image.
  • the difference information acquisition unit 12 calculates the difference between the input image and the restored image and acquires (generates) difference information.
  • the pixel feature amount acquisition unit 13 acquires the feature amount of the pixel of the input image or the restored image.
  • the adjustment coefficient setting unit 14 obtains an adjustment coefficient for adjusting the degree of image restoration.
  • the correction difference information generation unit 15 generates correction difference information based on the adjustment coefficient and the difference information.
  • the synthesizing unit 16 synthesizes the correction difference information with the input image.
  • a recovery adjustment image (output image, corrected image) is obtained by the series of processes described above. Data such as images in each process is exchanged via connection means 10 such as a bus. In addition, it has the input means 17, the storage means 18, the control means 19 which controls each function, the output means 20, etc. which were shown in FIG. 1 as needed.
  • the storage unit 18 stores an input image, an image restoration filter, a restored image, difference information, pixel feature amount or data related thereto, an adjustment coefficient, correction difference information, and the like.
  • the above-described image processing method will be described with reference to FIG.
  • the symbols g, f, fd, S, and Sd in FIG. 2 represent images in each processing step, and the symbol m represents a color component of the image.
  • a m that is, (A R , A G , A B ) is (A R component, A G component, and A B component).
  • an image having a plurality of colors, particularly R, G, and B colors will be described.
  • the input image may be a single color image.
  • the input image g m is a digital image obtained by receiving light with an imaging device via an imaging system (imaging optical system, imaging lens), and optical transmission due to aberration of the imaging system including a lens and various optical filters. Deteriorated by function (OTF).
  • imaging system can use a mirror (reflection surface) having a curvature in addition to the lens.
  • the image processing method as an embodiment of the present invention can be applied to an input image generated by an imaging system that does not include an imaging optical system, for example.
  • an image pickup device such as a scanner (reading device) or an X-ray image pickup device that picks up an image with an image pickup element in close contact with the subject surface does not have an image pickup optical system such as a lens, but is generated by image sampling by the image pickup element.
  • the image will deteriorate considerably.
  • the deterioration characteristic in this case is not due to the optical transfer function of the imaging optical system (the optical transfer function in a narrow sense), but is due to the system transfer function of the imaging system, and this system transfer function is the optical transfer function (OTF). It can be said that it is equivalent.
  • the “optical transfer function” referred to in the embodiments of the present invention is an optical transfer function in a broad sense including the system transfer function of such an imaging system that does not include such an imaging optical system.
  • the input image g m obtained through the imaging system may be a mosaic image (RAW image) having a signal value of one color component per pixel, or a signal value of a plurality of color components per pixel. It may be a demosaic image.
  • This demosaic image may be a mosaic image obtained by color interpolation processing (demosaicing processing).
  • the mosaic image and the demosaic image have different color components, but both can have a plurality of color components in one pixel.
  • An example of a method for acquiring an input image g m having a plurality of color components will be given.
  • a color filter having a different spectral transmittance is arranged in each pixel of the image sensor, and a pixel having a signal value of one color component in one pixel Get an image.
  • Multiple disc contrast in the case of obtaining an input image g m by using an imaging device, for example 3 plates, by placing different color filters of the spectral transmittance to each imaging device, different color components for each image pickup element Can be obtained. In this case, particularly without performing color interpolation processing, it is possible to obtain an input image g m having a signal value of a plurality of color components for one pixel.
  • the zoom position (focal length) of an input image g m is a lens (imaging system), an aperture value, to have the subject distance (focus distance) feature amount of the image pickup state or pixels, such as information (correction information) Can do. Details of the correction information will be described later.
  • Recovery process R the recovery process G
  • recovery process B is therefore almost the same, these recovery process is a process of performing an image restoration filter convolution for each pixel of an input image g m (convolution integral, sum of products).
  • This image restoration filter can be obtained by performing an inverse Fourier transform on a function generated based on the inverse function of the transfer function of the imaging system.
  • the recovery processing may be performed on the demosaic image when the required accuracy of recovery is low or when only images that have been subjected to various image processing can be obtained.
  • better nonlinear processing has not been performed on the input image g m, it is possible to perform image restoration with higher accuracy, it is more preferable to carry out the recovery process on the mosaic image.
  • the recovery image fd m sharpness of image is improved is produced. If the restored image fd m has a desired image quality, the restored image fd m may be used as the output image f m . However, If you with color (false color) had occurred in the recovery image fd m, etc. that you want to change the sharpness of the restored image fd m (the recovery degree), which does not meet the desired image quality, the following The correction process described is performed.
  • color is an artifact that can be generated by the recovery process, and by increasing the degree of image recovery by the recovery process, color (false color) appears remarkably instead of improving sharpness. This can occur by using an image restoration filter that corrects a previously assumed deterioration characteristic for an image having a deterioration characteristic different from the deterioration characteristic assumed in advance. It often occurs at the edge of an image.
  • Color synthesis recovery component information Sd m (correction difference information) is generated by multiplying the generated recovery component information S m by a color synthesis ratio adjustment coefficient ⁇ expressed in a matrix (formula 2).
  • the color synthesis ratio adjustment coefficient ⁇ is a matrix having 3 ⁇ 3 coefficient elements.
  • Omega mn of formula 2 to produce a color combining restoration component information Sd m of the first color component m represent the coefficients to be multiplied to the second color component n.
  • ⁇ for n indicates that the sum of ⁇ mn S n is taken for R, G, and B.
  • the color composition recovery component information Sd R for R includes the color composition ratio adjustment coefficients ⁇ RR , ⁇ RG , and the signal values of the R, G, and B recovery component information S R , S G , and S B.
  • omega RR multiplied by the omega RB respectively S R, ⁇ RG S G is generated by synthesizing omega RB S B.
  • Expression 3 is developed from Expression 2 for the color components m and n.
  • the first example is a color synthesis ratio adjustment factor to obtain the same image as the restored image fd m as corrected image f m omega, the remaining ingredients diagonal component of the color combination ratio adjustment coefficient equation 3 omega as 1 Is set to 0 (unit matrix).
  • the color combining restoration component information Sd m is equal to the restoration component information S m color component m of their own, (strong recovery degree) high sharpness as the corrected image f m image can be obtained.
  • the second example is a color composition ratio adjustment coefficient ⁇ for preventing coloring, and all elements of the color composition ratio adjustment coefficient ⁇ in Expression 3 are set to 1/3.
  • color combining restoration component information Sd m is the recovery component information S R of all the color components, S G, the S B were averaged, S R, S G, even if you have different S B, color
  • the combined recovery component information Sd R , Sd G and Sd B all have the same value.
  • the fact that the color synthesis recovery component information Sd m is the same for all color components means that there is no difference in additional information regarding the color components when the color synthesis recovery component information Sd m is synthesized with the input image g m in the subsequent process.
  • the coloring of the image can be eliminated or suppressed. Furthermore, even if the restoration component information Sm is averaged, there is not a little positive correlation (similarity) between the restoration component information S R , S G , and S B of each color component, so that the sharpness of the corrected image f m is increased. Can also be improved.
  • the balance between coloring and the degree of recovery (sharpness) can be adjusted, and an image having a desired image quality can be obtained.
  • Equation 2 by coupling an input image g m color combining recovery component obtained by Equation 3 information Sd m and the original for each color component, the corrected image f m (output image f m) are generated .
  • the degree of restoration can be changed without recalculating the image restoration filter.
  • a high-quality image can be obtained while reducing the burden.
  • the first condition is that the sum for each row of the matrix ⁇ of Equation 3 is set to 1 as shown in Equation 5.
  • This constraint condition means that, for example, the mixture ratio of the recovery component information S R , S G , and S B for generating the color composition recovery component information Sd R of the R color component is normalized.
  • the mixture ratio to normalize can be compared easily or are weighted in any ratio, respectively in different colors synthesized restoration component information Sd m is.
  • Equation 6 The second condition is that the sum for each column of the matrix ⁇ shown in Equation 3 is set to 1 as shown in Equation 6.
  • This constraint condition means that when generating each color synthesis recovery component information Sd R , Sd G , Sd B , the recovery component information S R , S G , S B is distributed to each color component and used up. .
  • the color composition ratio adjustment coefficient ⁇ that satisfies the above two constraints can be expressed as Equation 7.
  • each color synthesizing restoration component information Sd m is more preferable difference is small between the color components. That is, the variance of each column of Equation 7 may be reduced, and the coefficient of Equation 7 can be expressed as Equation 8 when the variance of each column is minimized.
  • the ability to control suitable adjustment parameters with a small degree of freedom also on the side of providing an imaging device or an image processing device can improve the work efficiency in the device development process and production process.
  • the corrected image f m is the input image g m It becomes itself.
  • the corrected image f m may be the same as the input image g m. This is important from the viewpoint of system stability because at least the original captured image can be reproduced when a high-quality recovered image cannot be obtained for some reason.
  • the color composition ratio adjustment coefficient ⁇ may be adjusted within the range of 0 ⁇ ⁇ ⁇ 1 without being limited to 1/3 ⁇ ⁇ ⁇ 1.
  • the sharpness can be further enhanced by setting the value on the right side of Expression 5 to be larger than 1.
  • the setting freedom degree of each element of the matrix ⁇ is not limited to one, but can be adjusted with nine degrees of freedom or a reduced degree of freedom based on another constraint condition. For example, if the setting is based on Expression 7, the degree of freedom can be set to 6.
  • the present invention can generate a high-quality image while suppressing an increase in data capacity. Can do.
  • Recovery intensity adjustment factor ⁇ is a coefficient that determines the operation amount of the difference information Sd m with respect to the input image g m (addition amount or subtraction amount). Corrected image f m has been described to be obtained in Equation 3, performs processing expressed in Equation 9 here. By multiplying the recovered intensity adjustment factor ⁇ in ⁇ matrix determined by Equation 8, Equation 9, to obtain a corrected image f m.
  • Equation 9 the second term on the right side of Equation 9 is 0 (zero), so that the input image g m itself can be obtained as the corrected image f m .
  • the basic range of the recovery intensity adjustment coefficient mu is 0 ⁇ ⁇ ⁇ 1, can also be obtained corrected image f m emphasizing the sharpness by the mu> 1.
  • the recovery intensity adjustment coefficient ⁇ can be easily adjusted for the degree of recovery for each pixel, and a high-quality image can be obtained.
  • Equation 10 is an equation for changing the recovery strength adjustment coefficient ⁇ for each color component.
  • the recovery degree (the amount of calculation of difference information) can be adjusted for each color component.
  • OTF optical transfer function
  • the degree of recovery for each color component This is effective when adjusting strength. More specifically, changing the spectral characteristics of the illumination light source is equivalent to changing the intensity ratio for each wavelength, so the aberration amount changes for each color component. Therefore, the recovery intensity adjustment factor ⁇ by setting for each color component, it is possible to obtain a corrected image f m which is suitable for each color component in accordance with the spectral characteristic at the time of shooting.
  • the recovery intensity adjustment coefficient ⁇ 0 as in the case of the color composition ratio adjustment coefficient ⁇ , when an adverse effect such as noise, ringing, or false color appears in the image for some reason, at least a captured image ( It can be said that the stability of the system is high.
  • the image having a soft taste an off flare may remain aberration up sharp image removal of the aberration, image quality required as an output image f m is varied by the user or the subject is there. It is possible to cope with such various demands by adjusting the recovery strength adjustment coefficient ⁇ .
  • the color composition ratio adjustment coefficient ⁇ is used to adjust the balance between the degree of recovery and the risk of false color occurrence, and a certain color composition ratio adjustment coefficient.
  • the degree of recovery at ⁇ can be adjusted with the recovery intensity adjustment coefficient ⁇ .
  • the adjustment values of the color composition ratio adjustment coefficient ⁇ and the recovery intensity adjustment coefficient ⁇ can be changed according to setting information relating to changes in the SN ratio, such as ISO sensitivity settings. Also, depending on the combination of the pixel value and its difference (pixel feature amount), the zoom position (focal distance), the subject distance (focus distance), the aperture value, etc., and the above-mentioned manufacturing error correspondence Therefore, it can be used by appropriately changing.
  • the double vertical line with 2 on the right side indicates the two-dimensional norm, and the denominators X and Y indicate the number of pixels in the horizontal and vertical directions of the image.
  • Expression 9 is substituted as the corrected image f m and Expression 8 is substituted as the color composition ratio adjustment coefficient ⁇
  • the evaluation function J m becomes a linear expression with respect to the color composition ratio adjustment coefficient ⁇ and the recovery intensity adjustment coefficient ⁇ , and is linear. It can be seen that the degree of recovery can be adjusted. Due to the linearity of the recovery degree adjustment, the number of adjustment coefficients (adjustment parameters) can be reduced.
  • the setting value and the response (recovered image) can be easily associated.
  • FIG. 4 (B) shows the experimental results of evaluating the linearity of the recovery degree adjustment using the test image of FIG. 4 (A). From this result, it can be seen that the linearity shown in FIG. 3 is correctly reproduced.
  • step S501 the image restoration processing unit performs image restoration processing on the input image (captured image) using the generated image restoration filter or an image restoration filter stored in advance in the storage unit or the like.
  • step S501 the difference information acquisition unit subtracts the recovered image from the input image to calculate difference information.
  • step S502 the adjustment coefficient setting means adjusts based on the adjustment coefficient stored in advance for the restored image, the adjustment coefficient selected by the user, or the adjustment coefficient set as correction information in the input image. Set the coefficient. Then, the correction difference information generation unit generates correction difference information based on the difference information and the input image, and the synthesis unit performs an image synthesis process for synthesizing the correction difference information with the input image, thereby generating a restored image.
  • step S503 the restored image is evaluated, and it is determined whether to use it as a corrected image (output image) as it is or to change the degree of restoration.
  • the process proceeds to step S504, where the adjustment coefficient setting means changes (sets) the adjustment coefficient, and image synthesis processing (synthesis processing) is performed again (S502).
  • the determination in step S503 may be performed by obtaining a determination result input by an input unit or the like based on subjective evaluation by the user, or an image evaluation function stored in advance in a storage unit. You may determine based on. If it is determined in step S503 that the degree of recovery is not changed, the recovery image generated in the previous process is output as an output image.
  • step S503 when the recovery degree of the recovered image using the image recovery filter generated in step S501 is changed, there is no need to return to step S501. That is, since it is not necessary to repeat the recalculation and convolution processing of the image restoration filter with a large processing load, the processing load can be reduced.
  • FIG. 6A is a schematic diagram of convolution processing using an image restoration filter for a predetermined region (image region) composed of a plurality of pixels.
  • the 7 ⁇ 7 pixel image restoration filter f1 and the image restoration filter f2 are convolved with the black pixels ⁇ and ⁇ at the center of each filter to thereby obtain the respective central pixels ⁇ and ⁇ .
  • Recovery (restoration) processing is performed.
  • the image restoration filters f1 and f2 can be changed according to the aberration for each position (predetermined region) of the image, but the image restoration filters f1 and f2 in FIG. 6A are the same image restoration filter.
  • the pixels ⁇ and ⁇ are corrected to appropriate values by the convolution process shown in FIG.
  • the degree of restoration of the image is uniform as shown in FIG. 6B. Even if the pixels ⁇ and ⁇ correspond to the edge portion of the image, a restored image as shown in FIG. 6B is obtained unless the image restoration filter is appropriately changed for each pixel. If the image restoration filter is changed in accordance with the feature amounts of the pixels ⁇ and ⁇ , a large burden is imposed on the processing as described above.
  • the degree of recovery for each pixel can be easily adjusted as shown in FIG. 6C, so that the burden of image recovery processing can be reduced.
  • a recovery process suitable for the aberration of each pixel can be performed, so that a high-quality image can be obtained.
  • the restoration process using the image restoration filter having a large processing load is performed on an area having a certain number of pixels or more. If the restoration degree is changed by an adjustment coefficient according to the feature amount of the pixel in the region having the number of pixels smaller than the number of pixels (minimum one pixel), the burden of image processing is reduced. A high-quality image can be obtained while reducing.
  • the feature amount includes, for example, a pixel value, a luminance value, a difference between pixel values (luminance values), a signal value, an image type, and the like.
  • the pixel value is a value of each pixel of each color component
  • the luminance value is a value obtained by mixing a plurality of color components at a certain ratio.
  • the restoration strength adjustment coefficient ⁇ is described as an example of the adjustment coefficient.
  • the linearity with the color composition ratio adjustment coefficient ⁇ can be replaced with the color composition ratio adjustment coefficient ⁇ .
  • FIG. 7A shows a part of the image, and the pixel value changes from a white painted portion to a shaded portion and a black painted portion in the horizontal direction.
  • FIG. 7C shows the differential value of the cross section of FIG.
  • FIG. 7C shows an edge extracted by an edge detection filter. From FIG. 7C, it can be seen that the white areas and black areas in FIG. 7A are flat portions where there is no change in pixel value, and the shaded portions are edge portions where there is a change in pixel value. Such flat portions and edge portions are examples of feature amounts.
  • the differential value changes due to the change of the pixel value also in the shaded part detected as the edge part. This is also a feature amount.
  • the recovery strength adjustment coefficient ⁇ is set so that the degree of recovery is high for this edge part.
  • a portion with relatively little shading that is not an edge portion in other words, a flat portion has little influence on the sharpness of the entire image even if the degree of recovery is increased, but rather it will be harmful if the noise in this portion is increased. Then, the recovery strength adjustment coefficient ⁇ is set so that the recovery degree becomes low.
  • the recovery degree adjustment coefficient is set to 0 (zero), and no recovery is performed.
  • the difference is equal to or greater than the threshold value, other conditions (color synthesis adjustment coefficient ⁇ , etc.) Recovery can be performed with the determined adjustment factor.
  • This processing flow will be described later.
  • this threshold value for example, it can be set to N times the standard deviation of noise of a certain pixel value.
  • N can be changed according to the target image quality. This is an idea that in a region where the difference in pixel values is highly likely to be buried in noise, there is no distinction between the subject image and noise in the first place, and there is no point in recovering this, so recovery is not performed.
  • the recovery degree may be controlled in a multivariate manner according to a difference in pixel values. That is, the feature amount is set as a difference in pixel value from adjacent pixels, and the value of the adjustment coefficient is set according to the difference in pixel value. More specifically, when the difference between the first pixel values is smaller than the difference between the second pixel values, the adjustment coefficient of the pixel corresponding to the first difference is the adjustment of the pixel corresponding to the second difference. A value smaller than the coefficient is set.
  • the adjacent pixel here also includes a pixel located oblique to a specific pixel.
  • brightness features include brightness values.
  • the feature value is a luminance value
  • the SN ratio between the original image signal and the noise signal is small in the portion where the luminance value is low, so noise is more conspicuous if the recovery level is high, so the recovery intensity adjustment is made so that the recovery level is low
  • Set the coefficient ⁇ since the SN ratio is high in the portion where the luminance value is high, the recovery strength adjustment coefficient ⁇ is set so that the recovery degree becomes strong. That is, the higher the luminance value, the larger the adjustment coefficient value is set.
  • the SN ratio is a value obtained by dividing the pixel value of the input image by the standard deviation of noise.
  • the original image signal is limited (clipped) at the upper limit of the range of the image sensor, which is significantly different from the state in which the state of aberration is also assumed. , False colors are likely to occur.
  • an adjustment coefficient is set for the pixel so that the degree of recovery is low. If necessary, the coefficient value may be set to 0 (zero) so that the saturated portion does not recover. Conversely, for pixels whose luminance values are not saturated, a restored image may be generated according to the adjustment coefficient set by the adjustment coefficient setting means.
  • the adjustment coefficient may not be set for each pixel as an initial value, and the adjustment coefficient may be set for a specific pixel after determining whether or not the luminance value is saturated.
  • the luminance value immediately before saturation here is, for example, 254 which is the upper limit of the range of the image sensor when the pixel value 255 is the maximum value in an 8-bit image.
  • image symmetry When there is a manufacturing error in the imaging system (imaging optical system), the degree of deterioration may be different at symmetrical positions in the image, which may appear as blur on the image or a relative colored difference.
  • the adjustment coefficient of the color composition ratio adjustment coefficient ⁇ and the recovery intensity adjustment coefficient ⁇ according to the fluctuation of the blur amount of the image position, it is possible to absorb the manufacturing error.
  • Other types of features include the type of subject, and the degree of recovery can be adjusted according to the type of subject by recognizing the subject.
  • some recent digital cameras have a face recognition function. If artifacts such as false colors occur on a person's face due to image restoration, the image becomes very unnatural, and it is preferable to adjust the degree of restoration appropriately. Information obtained by such image recognition is also a part of the feature amount.
  • the feature amount is detected for each of the R, G, and B color components.
  • the feature amount may be detected only for the G color component.
  • the target image whose feature value is to be detected may be an input image or a restored image.
  • FIG. 9 shows a basic configuration of an imaging apparatus equipped with the image processing apparatus that is Embodiment 1 of the present invention.
  • the imaging optical system (imaging system) 101 forms a subject image (not shown) on the imaging element 102.
  • the light imaged by the image sensor 102 is converted into an electric signal, converted into a digital signal by the A / D converter 103, and input to the image processing unit 104.
  • the image processing unit 104 performs various types of image processing, image restoration processing, and the like on the input digital image data (input image).
  • the image processing unit 104 functions as an image restoration processing unit, a difference information generation unit, a pixel feature amount acquisition unit, an adjustment coefficient setting unit, a correction difference information generation unit, and a synthesis unit.
  • the image processing unit 104 is information indicating the state (for example, zoom position (focal length), aperture value (diaphragm diameter), subject distance (focusing distance), etc.) of the imaging optical system 101 from the state detection unit 107.
  • Information on the imaging state is obtained.
  • the state detection unit 107 may obtain imaging state information directly from the system controller 110 or may be obtained from the imaging optical system control unit 106 that controls the operation of the imaging optical system 101.
  • the image processing unit 104 selects an image restoration filter corresponding to the state of the imaging optical system 101 obtained from the imaging state information from the storage unit 108. Then, by correcting the selected image restoration filter or the selected image restoration filter according to the imaging state information, the image restoration processing and adjustment parameters (adjustment) are performed on the input image using the newly created image restoration filter. The degree of recovery is adjusted according to the coefficient.
  • FIG. 10 schematically illustrates imaging state information and a plurality of image restoration filters (black circles) stored in the storage unit 108 based on the imaging state information.
  • the image restoration filters stored in the storage unit 108 are discretely arranged in an imaging state space with the three imaging states of the focus position (state A), aperture value (state B), and subject distance (state C) as axes. Has been.
  • the coordinates of each point (black circle) in the imaging state space indicate the image restoration filter stored in the storage unit 108.
  • the image restoration filter is arranged at grid points on a line orthogonal to each imaging state, but the image restoration filter may be arranged away from the grid points.
  • the types of imaging states are not limited to the focal length, the aperture value, and the subject distance, and the number thereof may not be three, and a four-dimensional or more imaging state space with four or more imaging states is configured,
  • the image restoration filter may be discretely arranged therein.
  • an imaging state indicated by a large white circle is an actual imaging state detected by the state detection unit 107.
  • the image restoration filter can be selected and used for image restoration processing.
  • One method for selecting an image restoration filter in the vicinity of a position corresponding to the actual imaging state is a distance (in the imaging state space between the actual imaging state and a plurality of imaging states in which the image restoration filter is stored ( The difference between the imaging states is calculated. This is a method of selecting the image restoration filter at the shortest distance. By this method, the image restoration filter at the position indicated by a small white circle in FIG. 10 is selected.
  • this is a method of selecting an image restoration filter having the highest value of the evaluation function using the product of the distance in the imaging state space and the weighted direction as the evaluation function.
  • the distance (state difference amount) in the imaging state space between the actual imaging state and the imaging state in which the image restoration filter is stored is calculated, and the shortest distance (state difference amount) Select the image restoration filter at the position with the smallest).
  • the correction amount of the image restoration filter can be reduced, and an image restoration filter close to the original image restoration filter in the imaging state can be generated.
  • the image restoration filter at the position indicated by a small white circle is selected.
  • State difference amounts ⁇ A, ⁇ B, and ⁇ C between the imaging state corresponding to the selected image restoration filter and the actual imaging state are calculated.
  • a state correction coefficient is calculated based on the state difference amount, and the selected image restoration filter is corrected using the state correction coefficient. Thereby, an image restoration filter corresponding to an actual imaging state can be generated.
  • an image restoration filter suitable for the imaging state can be generated.
  • the coefficient values of the corresponding taps between the two-dimensional filters may be interpolated using linear interpolation, polynomial interpolation, spline interpolation, or the like.
  • optical transfer function (OTF) used for generating the image restoration filter can be obtained by calculation using an optical design tool or an optical analysis tool. Furthermore, the optical transfer function (OTF) in the actual state of the imaging optical system alone or the imaging apparatus can be measured and obtained.
  • the output image processed by the image processing unit 104 is stored in the image recording medium 109 in a predetermined format.
  • This output image is a sharpened image in which the degree of generation of false colors and the degree of recovery are balanced by image recovery processing.
  • the display unit 105 may display an image that has been subjected to a predetermined correction process for displaying the post-correction process, or no correction process is performed for high-speed display, or a simple correction process is performed. The performed image may be displayed.
  • a series of processing in the image processing unit 104 is controlled by the system controller 110.
  • the imaging optical system 101 is controlled by the imaging optical system control unit 106 that receives an instruction from the system controller 110.
  • the aperture diameter is controlled by the diaphragm 101a, so that the focus lens 101b can be adjusted by a not-shown autofocus (AF) mechanism or a manual manual focus mechanism in order to adjust the focus according to the subject distance.
  • AF autofocus
  • An optical element such as a low-pass filter or an infrared cut filter may be inserted into the imaging optical system 101.
  • OTF optical transfer function
  • each PSF of the RGB channel particularly the PSF of the R channel, which is an integral value of the point spread function (PSF) of the spectral wavelength is affected, and thus an image restoration filter is created. Consideration is necessary at the time.
  • PSF point spread function
  • the imaging optical system 101 may be provided integrally with the imaging apparatus main body, or may be provided interchangeably.
  • the image restoration process is changed according to the image height. Is desirable. Specifically, the image restoration filter may be scanned for each pixel of the image while performing the convolution process, and the image restoration filter may be changed for each predetermined region.
  • the image restoration processing (image processing method) of the present embodiment is executed by the image processing unit 104 shown in FIG.
  • FIG. 11 shows a specific flowchart of the image restoration processing (image processing method) of this embodiment executed by the image processing unit 104.
  • the mark ⁇ in the figure indicates pixel data such as an image, and the others indicate processing.
  • the image processing unit 104 acquires an input image in an image acquisition process (image acquisition step). Next, imaging state information is obtained from the state detection unit 107, and an image restoration filter corresponding to the imaging state is selected from the storage unit. In the image restoration process (image restoration processing step), the image processing unit 104 performs a restoration process on the input image using an image restoration filter, and generates a restored image. Further, the image processing unit 104 acquires a feature amount from the input image. The step of acquiring the feature amount may be performed in parallel with the acquisition of the imaging state information as illustrated in FIG. 11, or the step of acquiring the feature amount may be inserted before acquiring the imaging state information. Good.
  • the image processing unit 104 In the difference information generation step (recovery component information generation step), the image processing unit 104 generates recovery component information from the difference between the input image and the recovery image. The difference information is obtained for each pixel. Then, the image processing unit 104 sets an adjustment coefficient as a color composition ratio adjustment coefficient ⁇ or a recovery intensity adjustment coefficient ⁇ . The adjustment coefficient is set according to the acquired feature amount.
  • correction difference information generation step the image processing unit 104 calculates difference information for the input image according to the adjustment coefficient, and generates correction difference information. Specifically, correction difference information is obtained by adding a pixel value obtained by multiplying each pixel value of the difference information by a recovery intensity coefficient ⁇ to the input image for each pixel.
  • the image processing unit 104 In the compositing step, the image processing unit 104 generates a recovery adjustment image by compositing the correction difference information with the input image.
  • the image processing unit 104 performs other processing necessary for image formation, and outputs the recovered image (corrected image).
  • other processing if the correction image is a mosaic image, color interpolation processing (demosaicing processing) is performed.
  • shading correction peripheral light amount correction
  • distortion aberration correction and the like.
  • Various image processes including other processes described here can be inserted before and after the above flow or in the middle as necessary.
  • the image processing unit 104 has at least a calculation unit and a temporary storage unit (buffer). An image is written (stored) and read from the temporary storage unit as necessary for each of the image processing steps.
  • the storage unit 108 may be used as a temporary storage unit.
  • FIG. 1 a flowchart of processing for detecting the edge portion of the image with the edge detection filter and changing the adjustment coefficient between the edge portion and the portion other than the edge portion is shown in FIG. This is shown in FIG.
  • step S801 an input image is acquired.
  • step S802 the input image acquired in step S801 is restored using the image restoration filter D801 written (stored) in the memory, and a restored image D802 is generated and written in the memory.
  • step S803 recovery component information D803 is generated from the difference between the recovery image and the input image and written into the memory.
  • step S804 adjustment of the degree of recovery of the position (x, y) of the input image is started.
  • step S809 the recovery degree adjustment coefficient ⁇ (D804) is read from the memory for the position, and the input image and the recovery component information multiplied by ⁇ are synthesized.
  • step S810 it is determined whether the restoration degree adjustment coefficient has been changed according to the feature amount over the entire image. When the adjustment is performed on the entire image, the recovery adjustment image D805 is written in the memory, and the process ends. If it is not performed on the entire image, the process returns to step S804.
  • the restored image, the restored component information, the restored intensity adjustment coefficient, and the restored adjusted image are held in the memory as needed, but the memory can be changed to an internal memory, an external memory, or the like.
  • the recovery strength adjustment coefficient is divided into two stages according to whether or not it is an edge portion, it can be divided into multiple stages according to the strength of the edge.
  • FIG. 8B shows a flowchart for changing the adjustment coefficient in accordance with the pixel value and the luminance.
  • Processing is started, and an input image is acquired in step S81.
  • step S82 the input image is restored using the image restoration filter D81 stored in the memory, and a restored image D82 is generated and written to the memory.
  • step S84 recovery component information D83 is generated from the difference between the recovery image and the input image and written into the memory.
  • the pixel value at the position (x, y) of the input image is set to m (x, y), and the recovery intensity adjustment coefficient ⁇ is calculated by the function f.
  • step S87 correction processing is performed to add the recovery component information multiplied by ⁇ in step S85 to the input image.
  • step S88 it is determined whether the entire image area has been adjusted. When it is determined that the adjustment according to the feature amount has been performed on the entire image, the restoration adjustment image D85 is written in the memory, and the process is terminated. If it is determined that the adjustment is not performed on the entire image area, the process proceeds to step S86, the pixel position is changed, the process proceeds again to step S84, and the process from step S85 is repeated.
  • the image processing unit 104 sets the recovery strength adjustment coefficient ⁇ according to the correction characteristics for each pixel of the image or for each specific region.
  • the correction characteristic of the processing for performing this pixel interpolation processing is one of the feature quantities.
  • each processing step and the processing to be considered have been described.
  • the present invention is not limited to this.
  • the order of processing steps and the presence or absence of each processing step may be changed according to the required image quality.
  • FIG. 12A shows a configuration diagram of an image processing system that is Embodiment 3 of the present invention.
  • the image processing apparatus 121 includes an information processing apparatus and includes image processing software (image processing program) 122 for causing the information processing apparatus to execute the image processing method described in the first embodiment.
  • image processing software image processing program
  • the imaging device (imaging device) 123 includes a camera, a microscope, an endoscope, a scanner, and the like.
  • the storage medium 124 stores images (captured image data) generated by imaging such as a semiconductor memory, a hard disk, a server on a network, and the like.
  • the image processing device 121 acquires image data from the imaging device 123 or the storage medium 124 and outputs output image (corrected image) data obtained by performing predetermined image processing to at least one of the output device 126, the imaging device 123, and the storage medium 124. Output to one. Further, the output destination can be a storage unit built in the image processing apparatus 121, and the output image data can be stored in the storage unit. An example of the output device 126 is a printer. A display device 125 that is a monitor is connected to the image processing apparatus 121, and the user can perform an image processing operation through the display device 125 and can evaluate a recovery adjustment image (output image).
  • the image processing software 122 has a development function and other image processing functions as needed in addition to the image recovery processing function and the recovery degree adjustment function.
  • FIG. 12B shows the configuration of another image processing system.
  • the recovery adjustment image can be directly output from the imaging device 128 to the output device 129.
  • the output device 129 sets an adjustment coefficient according to the feature amount of the image, and adjusts the degree of recovery. It is also possible to do this. Furthermore, by adjusting the degree of recovery according to the degradation characteristics of the output image of the output device 129, a higher quality image can be provided.
  • FIG. 13 shows the contents of the correction data.
  • the correction information set has the following information regarding correction.
  • the correction control information includes setting information indicating which of the imaging device 123, the image processing device 121, and the output device 126 performs the recovery process and the recovery degree adjustment process, and data transmitted to other devices according to the setting information Is selection information for selecting. For example, when only the restoration process is performed by the imaging device 123 and the restoration degree is adjusted by the image processing device 121, it is not necessary to transmit the image restoration filter to the image processing device 121, but at least the photographed image and the restoration image or the restoration component information (Difference information) needs to be transmitted.
  • Imaging device (imaging device) information The imaging device information is identification information of the imaging device 123 corresponding to the product name. If the lens and the camera body are interchangeable, the identification information includes the combination.
  • Imaging status information is information related to the state of the imaging device 123 at the time of shooting. For example, focal length, aperture value, subject distance, ISO sensitivity, white balance setting, etc.
  • Imaging device (imaging equipment) individual information The imaging device individual information is identification information of each imaging device with respect to the above imaging device information. Since the optical transfer function (OTF) of the imaging apparatus has individual variations due to variations in manufacturing errors, the individual imaging apparatus information is effective information for setting an optimum recovery degree adjustment parameter individually.
  • the restoration degree adjustment parameter is a restoration strength adjustment coefficient ⁇ and a color composition ratio adjustment coefficient ⁇ .
  • Image recovery filters The image restoration filter group is a set of image restoration filters used in image restoration processing. When a device that performs image restoration processing does not have an image restoration filter, it is necessary to transmit the image restoration filter from another device (apparatus).
  • the feature amount information includes the edge portion, the edge strength, whether the luminance is saturated, the pixel value, the luminance value, the pixel value for each color component, the hue, the saturation, and the like in the image position. It is information according to. By transmitting the feature amount information between the devices, it is possible to detect the feature amount of the image and adjust the recovery degree according to the feature amount by another device (apparatus).
  • Recovery component information (difference information)
  • the degree of recovery can be adjusted by another device (device) by transmitting the captured image and the recovery component information between the (device) devices. it can.
  • the adjustment parameter group is a set of a color composition ratio adjustment coefficient ⁇ and a recovery intensity adjustment coefficient ⁇ . As described above, the color composition ratio adjustment coefficient ⁇ and the recovery intensity adjustment coefficient ⁇ can be changed according to the position on the image. It can also be changed according to the shooting state.
  • the adjustment parameter group data may be table data of the adjustment coefficient itself or a function for determining the adjustment coefficient.
  • the user setting information is an adjustment parameter for adjusting the recovery degree according to the user's preference or a correction function of the adjustment parameter.
  • the user can variably set the adjustment parameter, but if user setting information is used, a desired output image can always be obtained as an initial value.
  • the user setting information is updated by the learning function with the sharpness most preferred from the history of the user determining the adjustment parameter.
  • the imaging device provider can also provide preset values according to some sharpness patterns via a network.
  • the above correction information set is preferably attached to individual image data.
  • an apparatus or device equipped with the image processing apparatus can perform image restoration processing and adjustment of the degree of restoration.
  • the contents of the correction information set can be selected automatically and manually as necessary.
  • the image restoration filter group is basically unnecessary if the restoration image and the restoration component information (difference information) are included in the correction information set.

Abstract

　良質な画像を得ることが可能な画像処理装置を提供すること。　本発明の画像処理装置は、入力画像に対して回復処理を行い、回復画像を生成する画像回復処理手段と、前記回復画像と前記入力画像との差分情報を演算する差分情報生成手段と、前記入力画像に対して互いに異なる複数の調整係数を設定することが可能な調整係数設定手段と、前記調整係数と前記差分情報に基づいて、補正差分情報を生成する補正差分情報生成手段と、前記入力画像に前記補正差分情報を合成し、回復調整画像を生成する合成手段とを有することを特徴とする。

Description

画像処理装置、およびそれを用いた撮像装置
　本発明は画像処理を行う画像処理装置に関する発明であり、特に画像回復（復元）を行う画像処理装置に関する。
　デジタルカメラ等の撮像装置により得られた画像はぼけによって、画質が劣化している。画像のぼけが起こる要因は、撮像系の球面収差、コマ収差、像面湾曲および非点収差等である。
　これら画像のぼけを補正する方法として、撮像系の光学伝達関数（ＯＴＦ）の情報を用いて補正するものが知られている。この方法は画像回復や画像復元という言葉で呼ばれている。以降、この撮像系の光学伝達関数の情報を用いて画像の劣化を補正する処理を画像回復処理と記す。
　画像回復処理に用いられる画像回復フィルタ（フィルタ）として、画像信号とノイズ信号の強度比（ＳＮＲ）に応じて回復度合いを制御するウィナーフィルタが知られている。
　また、特許文献１は上記ウィナーフィルタを応用してフィルタの調整パラメータαを調整することにより、入力画像をそのまま出力するフィルタから最大に画像回復を行うフィルタまでの範囲で画像の回復度合いを変更可能な画像回復フィルタを開示している。
特開２００７－１８３８４２号公報
　しかしながら、従来のウィナーフィルタや特許文献１に記載の画像回復フィルタを用いて画像全体を一律に処理した場合、画素値が平均値より小さい画素では過剰な回復となり、ノイズが増大してしまう。逆に、画素値が平均値より大きい画素では回復不足となってしまうので、良質な画像を得ることが出来ない。
　そこで本発明は、良質な画像を得ることが可能な画像処理装置を提供することを課題とする。
　上記課題を解決するために本発明は、
　入力画像に対して回復処理を行い、回復画像を生成する画像回復処理手段と、
　前記回復画像と前記入力画像との差分情報を演算する差分情報生成手段と、
　前記入力画像に対して互いに異なる複数の調整係数を設定することが可能な調整係数設定手段と、
　前記調整係数と前記差分情報に基づいて、補正差分情報を生成する補正差分情報生成手段と、
　前記入力画像に前記補正差分情報を合成し、回復調整画像を生成する合成手段と
を有することを特徴とする。
　本発明の効果は、良質な画像を得ることが可能となった点にある。
画像処理装置の機能構成を示すブロック図 本発明の実施例である画像処理方法の説明図 調整係数の線形性の第１説明図 調整係数の線形性の第２説明図 実施例の画像処理方法を示すフローチャート 画像回復フィルタと画素ごとの調整係数設定についての説明図 画像の特徴量についての説明図 画素の特徴量に基づいた画像処理手順の一例を示すフローチャート 画素の特徴量に基づいた画像処理手順の一例を示すフローチャート 撮像装置の基本構成を示すブロック図 画像回復フィルタ選択および補正の説明図 実施例１における画像処理手順を示すフローチャート 本発明の実施例２における画像処理システムの説明図 補正情報の説明図
　本発明の実施例を、図面を参照しながら説明する。まず、具体的な実施例を説明に先立って、各実施例に用いられる画像処理技術について説明する。
　本発明に関する画像処理の主な機能について図１の機能ブロック図を用いて説明する。画像回復処理手段１１は、取得された入力画像（劣化画像）を回復（復元）処理し、回復画像を生成する。差分情報取得手段１２は、入力画像と該回復画像の差分を演算して、差分情報を取得（生成）する。画素特徴量取得手段１３は入力画像あるいは前記回復画像の画素の特徴量を取得する。調整係数設定手段１４は画像の回復度合いを調整する調整係数を記憶手段１８取得する。補正差分情報生成手段１５は前記調整係数と前記差分情報に基づいて補正差分情報を生成する。合成手段１６は、その補正差分情報を入力画像に対して合成する。以上説明した一連の処理により回復調整画像（出力画像、補正画像）が得られる。各処理における画像等のデータのやり取りは、バス等の接続手段１０を介する。その他、必要に応じて図１に示した入力手段１７、記憶手段１８、各機能を制御する制御手段１９、出力手段２０等を有している。記憶手段１８には、入力画像、画像回復フィルタ、回復画像、差分情報、画素特徴量あるいはそれに関するデータ、調整係数、補正差分情報等が記憶される。
　上述した画像処理方法について図２を用いて説明する。図２の符号ｇ、ｆ、ｆｄ、Ｓ、Ｓｄは、各処理工程における画像を表したものであり、記号ｍは画像の色成分を表している。例えば画像内のある画素Ａに関して、その画像情報がＲ、Ｇ、Ｂ（赤、青、緑）の色成分から成る場合、Ａｍ、即ち（ＡＲ、ＡＧ、ＡＢ）はそれぞれ（ＡのＲ成分、ＡのＧ成分、ＡのＢ成分）を表している。以下の説明は、複数の色、特にＲ、Ｇ、Ｂ色を有する画像に関して説明を行うが、入力画像は単色の画像であってもよい。
　（入力画像ｇｍ）
　入力画像ｇｍは、撮像系（撮像光学系、撮像レンズ）を介して撮像素子で受光することで得られたデジタル画像であり、レンズと各種の光学フィルタ等を含む撮像系の収差による光学伝達関数（ＯＴＦ）により劣化している。撮像系はレンズの他にも曲率を有するミラー（反射面）を用いることもできる。
　ただし、本発明の実施例としての画像処理方法は、例えば撮像光学系を含まない撮像系により生成された入力画像にも応用することができる。例えば、被写体面に撮像素子を密着させて撮像を行うスキャナ（読み取り装置）やＸ線撮像装置といった撮像装置は、レンズのような撮像光学系を持たないが、撮像素子による画像サンプリングによって生成された画像は少なからず劣化する。この場合の劣化特性は、撮像光学系の光学伝達関数（狭義の光学伝達関数）によるものではないが、撮像系のシステム伝達関数によるものであり、このシステム伝達関数は光学伝達関数（ＯＴＦ）に相当するものと言える。このため、本発明の実施例にいう「光学伝達関数」は、このような撮像光学系を含まない撮像系のシステム伝達関数をも含む広義の光学伝達関数である。
　撮像系を介して得られた入力画像ｇｍは、１つの画素に１つの色成分の信号値を有するモザイク画像（ＲＡＷ画像）でも良いし、１つの画素に複数の色成分の信号値を有するデモザイク画像であってもよい。このデモザイク画像はモザイク画像を色補間処理（デモザイキング処理）したものでも良い。上記モザイク画像やデモザイク画像は色成分の有し方は異なるが、両者とも１つの画素に複数の色成分を持たせることが可能である。
　複数の色成分を有する入力画像ｇｍを取得する方法の例を挙げる。単板の撮像素子で複数の色成分の情報を得る場合には、撮像素子の各画素に分光透過率の異なるカラーフィルタを配置して、１つの画素に１つの色成分の信号値を有するモザイク画像を取得する。これに対して多板、例えば３板の撮像素子を用いて入力画像ｇｍを得る場合には、各撮像素子に分光透過率の異なるカラーフィルタそれぞれ配置することにより、撮像素子ごとに異なる色成分の信号値を得ることができる。この場合、特に色補間処理を行わなくとも、１つの画素に対して複数の色成分の信号値を有する入力画像ｇｍを取得することができる。
　その他に、入力画像ｇｍはレンズ（撮像系）のズーム位置（焦点距離）、絞り値、被写体距離（合焦距離）等の撮像状態や画素の特徴量等の情報（補正情報）をもつことができる。この補正情報の詳細は後述する。
　（画像回復処理）
　次に、図２の破線で囲った画像回復処理（回復処理）２０１について説明する。回復処理Ｒ、回復処理Ｇ、回復処理Ｂはほぼ同じなのであり、これら回復処理は入力画像ｇｍの各画素に対して画像回復フィルタをコンボリューション（畳み込み積分、積和）を行う処理である。この画像回復フィルタは撮像系の伝達関数の逆関数に基づいて生成された関数を、逆フーリエ変換することにより得ることができる。
　回復処理は、要求されている回復の精度が低い場合や諸々の画像処理が行われた画像しか入手できない場合には、デモザイク画像に対して回復処理を行っても構わない。しかし、入力画像ｇｍに対して非線形処理が行われていない方が、より高精度に画像回復を行うことができるので、モザイク画像に対して回復処理を行うのがより好ましい。
　回復処理を行うことにより、画像の鮮鋭度が向上した回復画像ｆｄｍが生成される。この回復画像ｆｄｍが所望の画質であれば、この回復画像ｆｄｍを出力画像ｆｍとしても良い。しかし、色付き（偽色）が回復画像ｆｄｍに発生してしまった場合や、回復画像ｆｄｍの鮮鋭度（回復度合い）を変更させたい等、所望の画質を満足していない場合、以下に説明する補正処理を行う。
　ここで、色付き（偽色）について補足する。色付きとは回復処理により発生し得るアーティファクトのことであり、画像の回復度合いを回復処理により高めていくことで、鮮鋭度が向上する代わりに、色付き（偽色）が顕著に表れてしまう。これは予め想定された劣化特性とは異なる劣化特性を有する画像に対して、予め想定された劣化特性を補正するような画像回復フィルタを用いることにより起こり得る。画像のエッジ部等で生じることが多い。
　（補正処理、色合成比調整係数）
　補正処理では、まず各色成分の画素ごとに回復画像ｆｄｍから入力画像ｇｍを式１のように減算し、回復成分情報Ｓｍ（差分情報）を生成する。
Figure JPOXMLDOC01-appb-M000001
　生成された回復成分情報Ｓｍに対して行列で表現される色合成比調整係数ωを乗算することにより色合成回復成分情報Ｓｄｍ（補正差分情報）を生成する（式２）。入力画像の色成分がＲ、Ｇ、Ｂの３色である場合には、色合成比調整係数ωは３×３の係数要素を有する行列である。
Figure JPOXMLDOC01-appb-M000002
 式２のωｍｎは、第１色成分ｍの色合成回復成分情報Ｓｄｍを生成するために、第２色成分ｎに乗算される係数を表している。ｎに関するΣはＲ，Ｇ，ＢについてωｍｎＳｎの和をとることを表している。例えば、Ｒ用の色合成回復成分情報ＳｄＲは、Ｒ，Ｇ，Ｂの回復成分情報ＳＲ，ＳＧ，ＳＢの各画素の信号値に、色合成比調整係数ωＲＲ，ωＲＧ，ωＲＢをそれぞれ掛け合わせたωＲＲＳＲ、ωＲＧＳＧ、ωＲＢＳＢを合成することで生成される。式２を色成分ｍ，ｎについて展開したものを式３に示す。
Figure JPOXMLDOC01-appb-M000003
　次に、式４の９つの色合成比調整係数ωの設定（選択）方法について具体例を挙げて説明する。
　第１の例は、補正画像ｆｍとして回復画像ｆｄｍと同じ画像を得るための色合成比調整係数ωであり、式３の色合成比調整係数ωの対角成分を１として残りの成分を０と置く（単位行列）。これにより色合成回復成分情報Ｓｄｍは自分自身の色成分ｍの回復成分情報Ｓｍと等しくなり、補正画像ｆｍとして鮮鋭度の高い（回復度合いの強い）画像を得ることができる。
　第２の例は、色付きを発生させないための色合成比調整係数ωであり、式３の色合成比調整係数ωの全要素を１／３と置く。これにより色合成回復成分情報Ｓｄｍは全ての色成分の回復成分情報ＳＲ、ＳＧ、ＳＢを平均化したものになり、ＳＲ、ＳＧ、ＳＢが異なっていた場合でも、色合成回復成分情報ＳｄＲ、ＳｄＧ、ＳｄＢともに同じ値になる。色合成回復成分情報Ｓｄｍがすべての色成分で等しいということは、この後の工程で入力画像ｇｍに色合成回復成分情報Ｓｄｍを合成する際に、色成分に関する付加情報の相違が無いので、画像の色付きを無くす、あるいは抑えることができる。さらに、回復成分情報Ｓｍを平均化しても、各色成分の回復成分情報ＳＲ，ＳＧ，ＳＢの間には少なからず正の相関（類似性）があるので、補正画像ｆｍの鮮鋭度も向上させることができる。
　つまり、色合成比調整係数ωを調整することで、色付きと回復度合い（鮮鋭度）のバランスを調整することができ、所望の画質を有する画像を得ることができる。
　そして、式２、式３で得られた色合成回復成分情報Ｓｄｍと元の入力画像ｇｍとを色成分ごとに合成することで、補正画像ｆｍ（出力画像ｆｍ）が生成される。
Figure JPOXMLDOC01-appb-M000004
　以上説明した画像処理により、鮮鋭度を向上させつつ、画像回復により発生してしまう色付きを抑えた画像を得ることが可能となる。特に、実際の撮影状態での光学伝達関数（ＯＴＦ）と画像回復フィルタの作成時に想定している光学伝達関数（ＯＴＦ）とに相違がある場合に、有用である。
　その他の効果として、入力画像と回復画像の差分情報と色合成比調整係数ω（調整係数）を用いることにより、画像回復フィルタを再計算せずに回復度合いを変えることができるので、画像処理の負担を軽減しつつ、良質な画像を得ることができる。
　ここまでに、９つの設定自由度を有する色合成比調整係数ω（式３）について説明したが、設定の自由度が高い為、各係数要素値の設定が煩雑になる場合がある。そこで、色合成比調整係数ωをより簡単に設定する方法の一例を以下に示す。
　まず、色合成比調整係数ωに２つの制約条件を付加する。１つ目の条件は、式５のように式３の行列ωの行ごとの和をそれぞれ１とするものである。
Figure JPOXMLDOC01-appb-M000005
 この制約条件は、例えば、Ｒの色成分の色合成回復成分情報ＳｄＲを生成するための回復成分情報ＳＲ，ＳＧ，ＳＢの混合比を正規化していることを意味している。このように混合比を正規化することで、異なる色合成回復成分情報Ｓｄｍ間でそれぞれ如何なる比率で重み付けされているかが容易に比較できる。
　２つ目の条件は、式６のように式３に示した行列ωの列ごとの和を１とするものである。
Figure JPOXMLDOC01-appb-M000006
 この制約条件は、各色合成回復成分情報ＳｄＲ，ＳｄＧ，ＳｄＢを生成する際に、回復成分情報ＳＲ，ＳＧ，ＳＢを各色成分に分配してそれぞれ使い果たすことを意味している。
　上記の２つの制約条件を満たす色合成比調整係数ωは式７として表現することができる。
Figure JPOXMLDOC01-appb-M000007
　さらに、回復度合いの強さが低減するのを抑えつつ、色付きを抑制するためには、各色合成回復成分情報Ｓｄｍは色成分間での相違が小さい方が好ましい。つまり、式７の各列の分散を小さくすれば良く、各列の分散を最小にすると、式７の係数は式８として記すことができる。
Figure JPOXMLDOC01-appb-M000008
　以上の制約条件により、設定パラメータを１つにすることができ、回復度合いと色付き（偽色）発生リスクのバランスの調整を容易に制御することが可能となる。式８においてω＝１とすると、行列ωは単位行列となり、回復度合いが最大になる。また、ω＝１／３とすると、行列ωはすべての要素が１／３となり、偽色発生リスクが低減される。
　その他の効果として、撮像装置や画像処理装置を提供する側としても、好適な調整パラメータを少ない自由度で制御できることは、装置開発工程や生産工程での作業効率を向上することができる。
　その他の効果として、例えば、行列ωの全要素を０（ゼロ）にすると、色合成回復成分情報Ｓｄｍがすべての色成分で０（ゼロ）になるので、補正画像ｆｍは入力画像ｇｍそのものとなる。補正画像ｆｍを入力画像ｇｍと同じものにできる。これは、何らかの原因により良質な回復画像が得られないときに、少なくとも元の撮影画像が再現できるので、システムの安定性という観点から重要である。
　また、１／３≦ω≦１に限られず、０≦ω≦１の範囲で色合成比調整係数ωを調整しても良い。これにより、入力画像ｇｍから回復度合いを最大にした画像までを１つのパラメータ調整により、取得することができる。また、式５の右辺の値を１よりも大きく設定することで、さらに鮮鋭度を強調させることも可能である。また、行列ωの各要素の設定自由度は１つに限定せず、９つの自由度や別の制約条件に基づいて低減された自由度で調整することもできる。例えば、式７に基づいて設定すれば自由度を６にすることができる。
　その他の効果として、差分情報を色合成比調整係数ωに応じて入力画像に演算することにより、回復度合いを変更させたい場合に、再度画像回復フィルタを生成し直す必要が無いので、画像処理の負担を軽減することができる。
　その他の効果として、一般的には良質な回復画像を得ようとすると、多くの画像回復フィルタを保持する必要があるが、本発明によりデータの容量増加を抑えつつ、良質な画像を生成することができる。
　（補正画像処理、回復強度調整係数）
　次に、回復強度調整係数μ（調整係数）を用いる処理について説明する。回復強度調整係数μは入力画像ｇｍに対する差分情報Ｓｄｍの演算量（加算量あるいは減算量）を決める係数である。補正画像ｆｍは式３で得られることを記載したが、ここでは式９に表現した処理を行う。式９では式８によって決定された行列ωに回復強度調整係数μを乗算して、補正画像ｆｍを得る。
Figure JPOXMLDOC01-appb-M000009
 μ＝０とすると、式９の右辺の第２項は０（ゼロ）になるので、補正画像ｆｍとして、入力画像ｇｍそのものを得ることができる。また、μ＝１とすると、式９は式３と等しくなり、式８の色合成比調整係数ωにより決められた回復度合いの補正画像ｆｍを得ることができる。回復強度調整係数μの基本範囲は０≦μ≦１であるが、μ＞１とすることで鮮鋭度を強調した補正画像ｆｍを得ることもできる。
　回復強度調整係数μも色合成比調整係数ωと同様に、画素ごとの回復度合いの調整を容易に行うことが可能となり、良質な画像を得ることが可能となる。
　式１０は回復強度調整係数μを色成分ごとに変更する場合の式である。
Figure JPOXMLDOC01-appb-M000010
　式１０のように、回復強度調整係数μを色成分ごとに変更すると、色成分ごとに回復度合い（差分情報の演算量）を調整することができる。これは、被写体の照明光源の分光変動や撮像系の製造誤差等の要因で色成分ごとに光学伝達関数（ＯＴＦ）が変化し、色収差のバランスが変化した場合に、色成分ごとの回復度合いの強弱を調整する場合等に有効である。より具体的に説明すれば、照明光源の分光特性が変化するとは、波長ごとの強度比が変化することと等価であるため、色成分ごとに収差量が変化する。したがって、撮影時の分光特性に応じて回復強度調整係数μを色成分ごとに設定することで、各色成分に適した補正画像ｆｍを得ることができる。
　回復強度調整係数μを用いるその他の効果として、様々な回復の要求に対応した画像処理を行うことができる点にある。例えば、ポートレートの場合、ノイズやリンギングは非常に邪魔な存在である。ここで、μ＝１としたときを最大回復した状態とすれば、回復強度調整係数μを１よりも小さい値に設定することで、ノイズやリンギングを抑制することが可能である。一方、監視カメラ等の映像から、車のナンバープレートの数字を読み取りたい場合にはノイズやリンギングは大きくなるが、回復強度調整係数μを１よりも大きい値に設定することで、数字を特定しやすくなる。
　また、回復強度調整係数μ＝０とすれば、色合成比調整係数ωと同様に、何らかの要因でノイズやリンギングや偽色等の弊害が画像に大きく現れた場合、出力画像として少なくとも撮影画像（入力画像）そのものを出力できるので、システムの安定性が高いと言える。
　また、一般の写真撮影においても、収差が残っていることでフレアがかった柔らか味のある画像から収差を除去した鮮鋭な画像まで、出力画像ｆｍとして要求される画質はユーザや被写体によって様々である。このような様々な要求に対しても対しても回復強度調整係数μを調整することで対応を行うことができる。
　その他の効果として、色合成比調整係数ωと回復強度調整係数μを分離することで、回復度合いと偽色発生リスクとのバランス調整を色合成比調整係数ωで行い、ある色合成比調整係数ωにおける回復度合いの調整を回復強度調整係数μで行うことができる。これにより、色付きを低減させたい、鮮鋭度を向上させたい、等の要望に適したパラメータによる画像処理を容易に行える。
　尚、色合成比調整係数ωや回復強度調整係数μの調整係数の設定値は、他にもＩＳＯ感度の設定等ＳＮ比の変化に関する設定情報に応じて変更することもできる。また、画素値やその差異（画素の特徴量）、およびズーム位置（焦点距離）、被写体距離（合焦距離）、絞り値等の撮像状態や、上記の製造誤差対応との組み合わせに応じて複合的に適宜変更して用いることができる。
　ここで、色合成比調整係数ωおよび回復強度調整係数μの変化に対する補正画像ｆｍの回復度合いの線形性について図３を用いて説明する。式８における色合成比調整係数ωおよび回復強度調整係数μをともに１とした最大回復度合いの補正画像ｆｍを基準とする。そして、回復画像ｆｄｍと補正画像ｆｍとの画像の類似性を式１１の評価関数Ｊｍとして定義する。
Figure JPOXMLDOC01-appb-M000011
　右辺の記号の２のついた二重縦線は２次元ノルムを示しており、分母のＸ，Ｙは画像の水平方向および垂直方向の画素数を示している。補正画像ｆｍとして式９、色合成比調整係数ωとして式８をそれぞれ代入すると、評価関数Ｊｍは色合成比調整係数ωおよび回復強度調整係数μに対して１次式となり、直線的な回復度合いの調整が可能であることが分かる。このような回復度合い調整の直線性により、調整係数（調整パラメータ）の数の低減ができる。その他に、ユーザが可変に調整する場合に設定値とレスポンス（回復画像）の対応が取り易いという利点がある。
　図４（Ａ）の試験画像を用いて、回復度合い調整の線形性を評価した実験結果を図４（Ｂ）に示す。この結果から図３に示した線形性が正しく再現されていることが分かる。
　尚、図２においては、色合成比調整係数ωと回復度調整係数μの両方を用いる処理について説明したが、図３に示した関係から、どちらか一方の調整係数のみを用いた場合であっても色付き低減、鮮鋭度向上という効果を得ることができる。
　次に、色合成比調整係数ωあるいは回復強度調整係数μ（以下、調整係数）を用いた場合の処理負荷の低減について、図５の調整係数の設定に関するフローチャートを用いて説明する。まず、ステップＳ５０１において画像回復処理手段は、生成した画像回復フィルタか、記憶手段等に予め記憶された画像回復フィルタを用いて入力画像（撮影画像）に対して画像回復処理を行う。不図示のステップにおいて、差分情報取得手段が入力画像から回復画像を減算し、差分情報を演算する。
　次にステップＳ５０２において、この回復画像に対して予め記憶された調整係数か、ユーザにより選択された調整係数か、あるいは入力画像に補正情報として設定された調整係数に基づいて調整係数設定手段が調整係数を設定する。そして、補正差分情報生成手段が、差分情報と入力画像に基づいて補正差分情報を生成し、合成手段が入力画像に補正差分情報を合成する画像合成処理を行い、回復画像を生成する。
　ステップＳ５０３において、この回復画像を評価して、そのまま補正画像（出力画像）とするか、回復度合いを変更するかを判定する。回復度合いを変更する場合には、ステップＳ５０４へ移り、調整係数設定手段が調整係数を変更（設定）し、再び画像合成処理（合成処理）を行われる（Ｓ５０２）。尚、ステップＳ５０３の判定は、ユーザが主観的な評価に基づいて、入力手段等により入力された判定結果を取得して判定を行っても良いし、予め記憶手段に記憶された画像の評価関数に基づいて判定しても良い。ステップＳ５０３において回復度合いを変更しないと判定された場合、前工程で生成された回復画像を出力画像として出力する。
　ステップＳ５０３で説明したように、ステップＳ５０１において生成された画像回復フィルタを用いた回復画像の回復度合いを変更する場合、ステップＳ５０１に戻る必要がない。つまり、処理負荷の大きい画像回復フィルタの再計算やコンボリューション処理を繰り返す必要がないので処理負荷を軽減することができる。
　その他の効果として調整係数を用いることにより、画素ごとの回復度合いの調整を容易に行えるため、より高画質な回復画像を取得することができる。
　この効果に関して、図６を用いて説明する。図６（Ａ）は、複数の画素からなる所定領域（画像の領域）に対して画像回復フィルタを用いてコンボリューション処理の模式図である。図６（Ａ）では７×７画素の画像回復フィルタｆ１、および画像回復フィルタｆ２を、各フィルタの中央の黒塗りした画素α、βとコンボリューションすることにより、それぞれの中央の画素α、βの回復（復元）処理を行っている。この画像回復フィルタf1とf2は、画像の位置（所定領域）ごとの収差に応じて変更することもできるが、図６（Ａ）の画像回復フィルタf1およびf2は同じ画像回復フィルタである。図６（Ａ）で示したコンボリューション処理により、画素α、画素βは適当な値に補正される。しかしながら、画素の特徴量を考慮せずに同一の画像回復フィルタｆ１、ｆ２で回復処理を実行した場合、画像の回復度合いは図６（Ｂ）に示したように一律になる。画素α、βが画像のエッジ部に相当していたとしても、画像回復フィルタを画素ごとに適宜変更しなければ、図６（Ｂ）に示したような回復画像となってしまう。画素α、βの特徴量に合わせて画像回復フィルタを変更しようとすると、先に述べたように処理に大きな負担をかけることになる。
　一方、本発明を適用すれば、図６（Ｃ）に示したように画素ごとの回復度合いを容易に調整可能なので、画像回復処理の負担を軽減することができる。その他に、画素の特徴量に応じて調整係数を変更することで、各画素の収差に適した回復処理が行えるので良質な画像を得ることができる。
　上記説明したように、処理負担の大きい画像回復フィルタによる回復処理は、ある一定以上の画素数を有する領域に対して行う。そして該領域内であって、該画素数よりも少ない画素数（最小１画素）を有する領域に関しては、画素の特徴量に応じた調整係数による回復度合いの変更を行えば、画像処理の負担を軽減しつつ、良質な画像を得ることができる。
　以下、図２に示した特徴量検出処理２０２により検出された特徴量に応じた調整係数の設定について具体例を用いて説明する。
　（特徴量検出処理）
　特徴量検出処理２０２では入力画像ｇｍ対して画像の特徴量を検出する。そして、検出された特徴量に応じて回復強度調整係数μ、色合成比調整係数ω等の調整係数を設定する。ここで、特徴量とは、例えば画素値、輝度値、画素値（輝度値）の差異、信号値、画像の種類等である。画素値とは各色成分の各画素の値であり、輝度値とは複数の色成分をある割合で混合した値である。
　以下の説明は調整係数として回復強度調整係数μを例に説明するが、色合成比調整係数ωとの線形性から、色合成比調整係数ωに置き換えることも可能である。
　画像の特徴量を検出する具体例として画像のエッジ部での処理について図７を用いて説明する。図７（Ａ）は画像の一部を示しており、水平方向に白塗り部から斜線部、黒塗り部へ画素値が変化している。この水平断面を図７（Ｂ）に示す。また、図７（Ｂ）の断面の微分値を図７（Ｃ）に示す。図７（Ｃ）はエッジ検出フィルタでエッジ抽出をしたものである。図７（Ｃ）から、図７（Ａ）の白塗り領域および黒塗り領域は画素値の変化の無い平坦部であり、斜線部は画素値の変化のあるエッジ部であることが分かる。このような平坦部とエッジ部が特徴量の一例である。また、エッジ部として検出された斜線部においても画素値の変化によって微分値が変化していることが分かる。これも特徴量である。
　エッジ部の鮮鋭度は画像全体の鮮鋭度に影響するので、このエッジ部については回復度合いが高くなるように回復強度調整係数μを設定する。一方、エッジ部でない比較的濃淡の少ない部分、言い換えれば平坦部は回復度合いを高くしても画像全体の鮮鋭度には影響は少なく、むしろこの部分のノイズを増強してしまうと弊害となるので、回復度合いが低くなるように回復強度調整係数μを設定する。
　例えば、画素値の差異が予め設定した閾値以下の場合には、回復度合い調整係数を０（ゼロ）として回復を行わず、閾値以上の場合にはその他の条件（色合成調整係数ω等）により決定された調整係数で回復を行うことができる。この処理フローについては後述する。この閾値の決定方法としては、例えば、ある画素値のノイズの標準偏差のＮ倍とすることができる。
　ただしＮは目的の画質に応じて変更可能である。これは、画素値の差異がノイズに埋もれる確率が高い領域では、そもそも被写体画像とノイズの区別がなく、これを回復する意味が無いため回復を行わないという考え方である。
　このように、特徴量に応じて調整係数を用いた回復を行っても効果が期待できない画像の領域に対しては回復を行わなければ、特徴量に応じずに回復を行った場合に比べて処理負荷をより低減することができる。
　また、閾値により回復を行うか否かを、ＯＮ／ＯＦＦの２段階にするのではなく、画素値の差異に応じて多変量で回復度合いを制御しても良い。つまり特徴量を隣接画素との画素値の差異として、その画素値の差異に応じて調整係数の値を設定する。さらに限定すれば、第１の画素値の差異が第２の画素値の差異よりも小さい場合、前記第１の差異に対応する画素の調整係数は、前記第２の差異に対応する画素の調整係数よりも小さい値に設定される。
　これにより、処理負荷を低減しつつ、ノイズが抑えられた良質な画像を得ることができる。ここでいう隣接画素は特定の画素の斜めに位置する画素も含む。
　その他の特徴量として輝度値がある。特徴量を輝度値とした場合、輝度値が低い部分は本来の画像信号とノイズ信号のＳＮ比が小さいため、回復度合いを高くするとノイズが目立ち易いので、回復度合いが低くなるように回復強度調整係数μを設定する。逆に、輝度値が高い部分はＳＮ比が大きいので、回復度合いが強くなるように回復強度調整係数μを設定する。つまり、輝度値が高いほど、調整係数の値を大きく設定する。これにより、回復画像に生じてしまうノイズを低減し、良質な画像を得ることができる。尚、ここでのＳＮ比は入力画像の画素値をノイズの標準偏差で除算した値である。
　またその他の例として、輝度値が飽和している部分は、本来の画像信号が撮像素子のレンジの上限で制限（クリップ）されており、収差の状態も想定している状態とは大きく異なるので、偽色が発生し易い。特徴量検出手段により、輝度値が飽和している画素が検出された場合、該画素に対しては、回復度合いが低くなるように調整係数を設定する。必要に応じて係数値を０（ゼロ）として、飽和部は回復しない設定にすることもできる。逆に輝度値が飽和していない画素に対しては、調整係数設定手段により設定された調整係数に応じて回復画像を生成すればよい。つまり、輝度値が飽和した画素に対しては、飽和直前の画素値の画素に設定された調整係数の値よりも小さい値を再設定する。尚、この再設定は、調整係数が初期値として各画素に設定されておらず、輝度値が飽和しているか否かの判定を行った後で特定の画素に関して調整係数が設定される場合も含む。
　これにより、回復画像の偽色の発生を抑えることができ、良質な画像を得ることができる。ここでいう、飽和直前の輝度値とは、例えば８ビット画像において画素値２５５を最大値とした場合に撮像素子のレンジ上限の２５４である。
　その他の特徴量として、画像の対称性が挙げられる。撮像系（撮像光学系）に製造誤差がある場合、画像の左右対称な位置で劣化度合いが異なる場合があり、画像上でのぼけやその相対的な色付きの差異として現れることがある。色合成比調整係数ωや回復強度調整係数μの調整係数を、画像の位置のぼけ量の変動に応じて設定することで、製造誤差を吸収することができる。
　その他の特徴量として、被写体の種類が挙げられ、被写体を認識して被写体の種類に応じた回復度合いの調整を行うことができる。例として、近年のデジタルカメラには顔認識機能が搭載されているものがある。画像回復により人物の顔に偽色等のアーティファクトが発生すると非常に不自然な画像になってしまうため、回復度合いを適度に調整することが好ましい。このような画像認識により得られる情報も特徴量の一部である。
　以上の説明のとおり、回復画像と入力画像との差分情報と、該差分情報を調整する調整係数を特徴量に応じて設定することにより、良質な画像を得ることが可能となる。さらに限定すれば、特徴量に応じて調整係数を設定することで、画像処理の負担を軽減しつつ、良質な画像を得ることができる。
　尚、図２においてはＲ、Ｇ、Ｂそれぞれの色成分ごとに特徴量を検出しているが、Ｇの色成分についてのみ特徴量検出を行っても良い。また、特徴量を検出する対象画像は入力画像であっても良いし、回復画像であってもよい。
　図９には、本発明の実施例１である画像処理装置を搭載した撮像装置の基本構成を示している。
　撮像光学系（撮像系）１０１は不図示の被写体像を撮像素子１０２に結像させる。撮像素子１０２で結像された光が電気信号に変換されＡ／Ｄコンバータ１０３でデジタル信号に変換され、画像処理部１０４に入力される。
　画像処理部１０４は、入力されたデジタル画像データ（入力画像）に対して、各種の画像処理と、画像回復処理等を行う。画像処理部１０４は、画像回復処理手段、差分情報生成手段、画素特徴量取得手段、調整係数設定手段、補正差分情報生成手段、合成手段として機能する。
　まず、画像処理部１０４は、状態検知部１０７から撮像光学系１０１の状態（例えば、ズーム位置（焦点距離）、絞り値（絞り径）、被写体距離（合焦距離）等）を示す情報である撮像状態の情報を得る。状態検知部１０７はシステムコントローラ１１０から直接、撮像状態情報を得ても良いし、撮像光学系１０１の動作を制御する撮像光学系制御部１０６から得ても良い。
　次に画像処理部１０４は、撮像状態情報から得られる撮像光学系１０１の状態に応じた画像回復フィルタを記憶部１０８から選択する。そして、選択した画像回復フィルタまたは該選択した画像回復フィルタを撮像状態情報に応じて補正することで、新たに生成した画像回復フィルタを用いて、入力画像に対して画像回復処理および調整パラメータ（調整係数）に応じた回復度合いの調整を行う。
　図１０を用いて、画像回復フィルタの選択と補正について説明する。図１０には、撮像状態情報と該撮像状態情報に基づいて記憶部１０８に格納された複数の画像回復フィルタ（黒丸）を模式的に示す。記憶部１０８に格納された画像回復フィルタは、焦点位置（状態Ａ）、絞り値（状態Ｂ）および被写体距離（状態Ｃ）の３つの撮像状態を軸とした撮像状態空間中に離散的に配置されている。撮像状態空間中の各点（黒丸）の座標が、記憶部１０８に記憶されている画像回復フィルタを示す。尚、図１０では、画像回復フィルタを各各撮像状態に対して直交した線上の格子点に配置しているが、画像回復フィルタを格子点から外して配置しても構わない。また、撮像状態の種類は、焦点距離、絞り値および被写体距離に限らず、その数も３つでなくてもよく、４つ以上の撮像状態による４次元以上の撮像状態空間を構成して、その中に画像回復フィルタを離散的に配置してもよい。
　図１０において、大きな白丸で示した撮像状態が、状態検知部１０７により検知された実際の撮像状態であるとする。実際の撮像状態位置に対応する位置、またはその近傍に予め格納された画像回復フィルタが存在する場合には、その画像回復フィルタを選択して画像回復処理に用いることができる。実際の撮像状態に対応する位置の近傍の画像回復フィルタを選択する際の１つの方法は、実際の撮像状態と画像回復フィルタが格納された複数の撮像状態との間の撮像状態空間で距離（撮像状態の相違量）を算出する。そして、最も距離の短い位置の画像回復フィルタを選択する方法である。この方法により、図１０に小さな白丸で示した位置の画像回復フィルタが選択される。
　また、他の方法として、画像回復フィルタ選択に撮像状態空間中の方向による重み付けをする方法がある。すなわち、撮像状態空間中の距離と重み付けした方向の積を評価関数として、該評価関数の値が最も高い画像回復フィルタを選択する方法である。
　次に、選択された画像回復フィルタを補正することで、新たな画像回復フィルタを生成する方法について説明する。画像回復フィルタを補正するにあたり、まず実際の撮像状態と画像回復フィルタが格納された撮像状態との間の撮像状態空間での距離（状態相違量）を算出し、最も距離の短い（状態相違量が最も小さい）位置の画像回復フィルタを選択する。状態相違量が最も小さい画像回復フィルタを選択することで、画像回復フィルタの補正量も少なくすることができ、撮像状態での本来の画像回復フィルタに近い画像回復フィルタを生成することができる。
　図１０では、小さな白丸で示した位置の画像回復フィルタが選択される。この選択された画像回復フィルタに対応する撮像状態と、実際の撮像状態との状態相違量ΔＡ，ΔＢ，ΔＣを算出する。この状態相違量に基づいて状態補正係数を算出し、該状態補正係数を用いて選択された画像回復フィルタを補正する。これにより、実際の撮像状態に対応した画像回復フィルタを生成することができる。
　また、他の方法として、実際の撮像状態の近傍に位置する複数の画像回復フィルタを選択し、該複数の画像回復フィルタと実際の撮像状態との状態相違量に応じて補間処理することで、撮像状態に適した画像回復フィルタを生成することができる。ここでの補間処理は、２次元フィルタ同士の対応タップの係数値を線形補間、多項式補間およびスプライン補間等等を用いて補間すれば良い。
　また、画像回復フィルタの生成に用いる光学伝達関数（ＯＴＦ）は、光学設計ツールや光学解析ツールを用いて計算により求めることができる。さらに、撮像光学系単体や撮像装置の実際の状態における光学伝達関数（ＯＴＦ）を、計測して求めることもできる。
　そして、画像処理部１０４で処理した出力画像を画像記録媒体１０９に所定のフォーマットで保存する。この出力画像は、画像回復処理により偽色の発生度合いと回復度合いのバランスがとれた鮮鋭化された画像である。また、表示部１０５には、補正処理後を表示するための所定の補正処理を行った画像を表示してもよいし、高速表示のために補正処理を行わない、または簡易的な補正処理を行った画像を表示してもよい。
　以上の画像処理部１０４での一連の処理は、システムコントローラ１１０によって制御される。また、撮像光学系１０１の駆動は、システムコントローラ１１０の指示を受けた撮像光学系制御部１０６が制御する。
　絞り１０１ａにより開口径（絞り径）が制御されることで、フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うために不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構によりレンズの位置が制御される。撮像光学系１０１内に、ローパスフィルタや赤外線カットフィルタ等の光学素子を挿入してもよいが、該光学素子が撮像光学系１０１の光学伝達関数（ＯＴＦ）に影響を与える場合には、該光学素子を考慮して画像回復フィルタを作成する必要がある。例えば、赤外カットフィルタを挿入する場合には、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため、画像回復フィルタを作成する時点で考慮が必要になる。
　撮像光学系１０１は、撮像装置本体に対して一体に設けられたものでもよいし、交換可能に設けられたものであってもよい。
　また、光学伝達関数（ＯＴＦ）は、同じ撮像状態においても撮像光学系１０１の像高（画像上での位置）に応じて変化するので、画像回復処理を像高に応じて変更して行うことが望ましい。具体的には、画像の画素ごとに画像回復フィルタをコンボリューション処理させながら走査し、所定の領域ごとに画像回復フィルタを変更すればよい。
　本実施例の画像回復処理（画像処理方法）は、図１に示した画像処理部１０４で実行される。
　図１１に、画像処理部１０４で実行される本実施例の画像回復処理（画像処理方法）の具体的なフローチャートを示す。図中の●印は画像等の画素データであることを表し、それ以外は処理を表している。
　画像処理部１０４は、画像取得工程（画像取得ステップ）で入力画像を取得する。次に状態検知部１０７から撮像状態情報を得て、記憶部１０８から撮像状態に応じた画像回復フィルタを選択する。そして、画像回復工程（画像回復処理ステップ）で、画像処理部１０４は画像回復フィルタを用いて入力画像に対して回復処理を行い、回復画像を生成する。また、画像処理部１０４は入力画像から特徴量を取得する。この特徴量を取得する工程は、図１１に示したように撮像状態情報の取得と並行して行ってもよいし、撮像状態情報を取得する前に特徴量を取得する工程を挿入してもよい。
　そして差分情報生成工程（回復成分情報生成工程）では、画像処理部１０４は入力画像と回復画像の差分から回復成分情報を生成する。該差分情報は画素ごとに求められる。そして、画像処理部１０４は色合成比調整係数ωや回復強度調整係数μとしての調整係数を設定する。調整係数は、取得された特徴量に応じて設定される。
　次に、補正差分情報生成工程で、画像処理部１０４は、調整係数に応じて入力画像に差分情報を演算して、補正差分情報を生成する。具体的には、差分情報の各画素値に回復強度係数μを乗じた画素値を画素ごとに入力画像に加えることで補正差分情報を得る。
　そして、合成工程では、画像処理部１０４は入力画像に対して補正差分情報を合成して回復調整画像を生成する。
　次に、画像処理部１０４は、画像形成に必要なその他の処理を行い、回復された画像（補正画像）を出力画像する。ここでの「その他の処理」としては、補正画像がモザイク画像の状態であれば、色補間処理（デモザイキング処理）を行う。その他、シェーディング補正（周辺光量補正）、歪曲収差補正等がある。また、ここで説明したその他の処理を含めた種々の画像処理は、上記フローの前後や中間に必要に応じて挿入することもできる。
　また、画像処理部１０４は、少なくとも演算部と一時記憶部（バッファ）とを有する。上記の画像処理の工程ごとに必要に応じて一時記憶部に対して画像の書き込み（記憶）および読み出しを行う。一時記憶部として、記憶部１０８を用いてもよい。
　ここで、画像の特徴量に応じた処理のより具体的な例として、画像のエッジ部をエッジ検出フィルタで検出し、エッジ部とエッジ部ではない部分で調整係数を変更する処理のフローチャートを図８（Ａ）に示す。
　ステップＳ８０１において入力画像が取得される。ステップＳ８０２においてＳ８０１で取得された入力画像に対してメモリに書き込まれた（記憶された）画像回復フィルタＤ８０１を用いて回復処理を行い、回復画像Ｄ８０２を生成してメモリに書き込む。次にステップＳ８０３において、この回復画像と入力画像の差分から回復成分情報Ｄ８０３を生成しメモリに書き込む。そしてステップＳ８０４において入力画像の位置（ｘ、ｙ）の回復度合いの調整を開始する。そしてステップＳ８０５において入力画像の位置ごとに、その位置がエッジ部であるか否かを判定する。その位置がエッジ部である場合にはステップＳ８０６へ進み、回復強度調整係数をμ＝１．０とする。ステップＳ８０５においてエッジ部でないと判定された場合にはステップＳ８０７へ進み、回復強度調整係数をμ＝０．１としてメモリに書き込む。そして、ステップＳ８０９においてその位置に対して、回復度調整係数μ（Ｄ８０４）をメモリから読み込み、入力画像とμ倍した回復成分情報を合成する。ステップＳ８１０では画像全域に対して特徴量に応じた回復度調整係数の変更が行われたか否か判定する。画像全域に対して調整が行われた場合には、回復調整画像Ｄ８０５をメモリに書き込んで終了となる。画像全域に対して行われていない場合には、ステップＳ８０４に戻る。この例では回復画像、回復成分情報、回復強度調整係数、回復調整画像を随時メモリに保持したが、メモリは内部メモリ、外部メモリ等変更することが可能である。また、回復強度調整係数をエッジ部であるか否かに応じて２段階に分けたが、エッジの強さに応じて多段階に分けることも可能である。
　図８（Ｂ）には、画素値や輝度に応じて調整係数を変更するフローチャートを示す。処理が開始され、ステップＳ８１において入力画像が取得される。ステップＳ８２において、入力画像に対してメモリに記憶された画像回復フィルタＤ８１を用いて回復処理を行われ、回復画像Ｄ８２を生成してメモリに書き込む。ステップＳ８４では、この回復画像と入力画像の差分から回復成分情報Ｄ８３を生成しメモリに書き込む。ステップＳ８５では、入力画像の位置（ｘ，ｙ）の画素値をｍ（ｘ，ｙ）として、回復強度調整係数μを関数ｆによって算出する。関数ｆは、例えば、画像が８ビットで０～２５５階調の場合、画素値が２５５で輝度飽和している場合にはμ＝０とする。画素値が２５０の場合にはμ＝１とし、画素値が０の場合にはμ＝０とするような関数である。また、関数ｆの代わりに画素値と回復強度調整係数の変換テーブルを用いても良い。そしてステップＳ８７においてステップＳ８５で入力画像にμ倍した回復成分情報を加算する補正処理を行う。そしてステップＳ８８において画像全域を調整したか否か判定する。画像全域で特徴量に応じた調整が行われたと判定された場合には、回復調整画像Ｄ８５をメモリに書き込み処理を終了する。画像全域で調整が行われていないと判定された場合にはステップＳ８６に移り、画素の位置を変更し、再びステップＳ８４へ進み、ステップＳ８５からの処理を繰り返す。
　上記説明した「その他の処理」において、歪曲収差補正や倍率色収差補正を行った場合、画像の倍率変更が行われるので、画素補間処理が必要となる。画素補間処理を行うと、その補正量に応じた周期的な鮮鋭度の劣化が発生する。この劣化の周期と劣化量は歪曲収差補正や倍率色収差補正等の補正の特性から予め知ることができる。よって、調整係数の値を、この補正の特性に応じて設定することで画素補間処理に伴って生じる鮮鋭度のムラを補正することができる。具体的には、画像処理部１０４が、画像の画素ごと、あるいは、特定の領域ごとに補正の特性に応じて回復強度調整係数μを設定する。この画素補間処理を行う処理（歪曲収差補正、倍率色収差補正等）の補正の特性も特徴量の１つである。
　以上、各処理工程の好ましい前後関係や考慮すべき処理について説明したが、処理工程の順序に対して別の観点での制約がある場合にはこれに限るものではなく、処理上の制約条件や要求画質に応じて処理工程の順序や各処理工程の有無を変更しても構わない。
　図１２（Ａ）には、本発明の実施例３である画像処理システムの構成図を示した。画像処理装置１２１は、情報処理装置により構成され、実施例１にて説明した画像処理方法を該情報処理装置に実行させるための画像処理ソフトウェア（画像処理プログラム）１２２を搭載している。
　撮像装置（撮像機器）１２３は、カメラ、顕微鏡、内視鏡、スキャナ等を含む。記憶媒体１２４は、半導体メモリ、ハードディスク、ネットワーク上のサーバー等、等撮像により生成された画像（撮影画像データ）を記憶する。
　画像処理装置１２１は、撮像装置１２３または記憶媒体１２４から画像データを取得して、所定の画像処理を行った出力画像（補正画像）データを出力機器１２６、撮像装置１２３および記憶媒体１２４の少なくとも１つに出力する。また、出力先を画像処理装置１２１に内蔵された記憶部にし、該記憶部に出力画像データを保存しておくこともできる。出力機器１２６としては、プリンタ等が挙げられる。画像処理装置１２１には、モニタである表示機器１２５が接続されており、ユーザはこの表示機器１２５を通して画像処理作業を行うとともに、回復調整画像（出力画像）を評価することができる。画像処理ソフトウェア１２２は、画像回復処理機能および回復度合い調整機能の他に、必要に応じて現像機能やその他の画像処理機能を有している。
　また、図１２（Ｂ）には、別の画像処理システムの構成を示している。実施例１のように、撮像装置（撮像機器）１２８単体で実施例１、２の画像処理を行う場合は、撮像装置１２８から直接、出力機器１２９に回復調整画像を出力することができる。
　また、出力機器１２９に、実施例１、２の画像処理方法を実行する画像処理装置を搭載することで、出力機器１２９で画像の特徴量に応じて調整係数を設定し、回復度合いの調整を行うことも可能である。さらに、出力機器１２９の出力画像の劣化特性に応じて回復度合いを調整することで、より高画質な画像を提供することができる。
　ここで、画像回復処理および回復度合いの調整を含む画像処理を行うための補正データの内容と補正データの受渡しについて説明する。図１３に補正データの内容を示す。補正情報セットは、以下の補正に関する情報を有している。
　「補正制御情報」
　補正制御情報は、撮像装置１２３、画像処理装置１２１および出力機器１２６のどれでで回復処理および回復度合い調整処理を行うかを示す設定情報と、該設定情報に応じて他の機器に伝送するデータを選択するための選択情報である。例えば、撮像装置１２３で回復処理のみ行い、画像処理装置１２１で回復度合いの調整を行う場合、画像回復フィルタを画像処理装置１２１に伝送する必要は無いが、少なくとも撮影画像と回復画像あるいは回復成分情報（差分情報）を伝送する必要がある。
　「撮像装置（撮像機器）情報」
　撮像装置情報は、製品名称に相当する撮像装置１２３の識別情報である。レンズとカメラ本体が交換可能な場合はその組み合わせを含む識別情報である。
　「撮像状態情報」
　撮像状態情報は、撮影時の撮像装置１２３の状態に関する情報である。例えば、焦点距離、絞り値、被写体距離、ＩＳＯ感度、ホワイトバランス設定等等である。
　「撮像装置（撮像機器）個別情報」
　撮像装置個別情報は、上記の撮像装置情報に対して、個々の撮像装置の識別情報である。製造誤差のばらつきにより撮像装置の光学伝達関数（ＯＴＦ）は個体ばらつきがあるため、撮像装置個別情報は個々に最適な回復度合い調整パラメータを設定するために有効な情報である。回復度合い調整パラメータとは、回復強度調整係数μや色合成比調整係数ωである。
　「画像回復フィルタ群」
　画像回復フィルタ群は、画像回復処理で用いる画像回復フィルタのセットである。画像回復処理を行う装置が画像回復フィルタを有していない場合、別の装置（機器）から画像回復フィルタを伝送する必要がある。
　「特徴量情報」
　特徴量情報は、エッジ部であるか否か、エッジの強さ、輝度が飽和しているか否か、画素値、輝度値、色成分ごとの画素値、色相、彩度等の画像の位置に応じた情報である。これらの特徴量情報を装置間で伝送することで、画像の特徴量検出と該特徴量に応じた回復度合いの調整を別の装置（機器）で行うことも可能である。
　「回復成分情報（差分情報）」
　既に画像回復処理が行われ、回復成分情報が生成されている場合、撮影画像と回復成分情報を（機器）装置間で伝送することで、別の装置（機器）で回復度合いを調整することができる。
　「調整パラメータ群」
　調整パラメータ群は色合成比調整係数ωおよび回復強度調整係数μのセットである。色合成比調整係数ωおよび回復強度調整係数μは、前述したように、画像上の位置に応じて変更可能である。また撮影状態に応じて変更することも可能である。調整パラメータ群のデータとしては、調整係数そのもののテーブルデータでも良いし、調整係数を決定するための関数でも良い。
　「ユーザ設定情報」
　ユーザ設定情報は、ユーザの好みに応じた回復度合いに調整するための調整パラメータまたは調整パラメータの補正関数である。ユーザは調整パラメータを可変に設定可能であるが、ユーザ設定情報を用いれば、常に初期値として好みの出力画像を得ることができる。また、ユーザ設定情報は、ユーザが調整パラメータを決定した履歴から、最も好む鮮鋭度を学習機能により更新することが好ましい。
　さらに、撮像装置の提供者（メーカー）がいくつかの鮮鋭度パターンに応じたプリセット値をネットワークを介して提供することもできる。
　上記の補正情報セットは、個々の画像データに付帯させることが好ましい。必要な補正情報を画像データに付帯させることで、画像処理装置を搭載した装置または機器は画像回復処理および回復度合いの調整を行うことができる。また、補正情報セットの内容は必要に応じて、自動および手動で取捨選択可能である。例えば、別の装置で回復度合いの調整処理を行う場合に、補正情報セットに回復画像と回復成分情報（差分情報）が含まれていれば画像回復フィルタ群は基本的には必要ない。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　１１　画像回復処理手段
　１２　差分情報取得手段
　１４　調整係数設定手段
　１５　補正差分情報生成手段
　１６　合成手段

Claims (9)

  1. 　入力画像に対して回復処理を行い、回復画像を生成する画像回復処理手段と、
    　前記回復画像と前記入力画像との差分情報を演算する差分情報生成手段と、
    　前記入力画像に対して互いに異なる複数の調整係数を設定することが可能な調整係数設定手段と、
    　前記調整係数と前記差分情報に基づいて、補正差分情報を生成する補正差分情報生成手段と、
    　前記入力画像に前記補正差分情報を合成し、回復調整画像を生成する合成手段とを有することを特徴とする画像処理装置。
  2. 　前記入力画像の特徴量を取得する特徴量取得手段と、
    　前記調整係数の値は前記特徴量に応じて設定されることを特徴とする請求項１に記載の画像処理装置。
  3. 　前記特徴量が、画素の輝度値であり、
    　第１の画素の特徴量が第２の画素の特徴量よりも大きい場合、
    　前記第１の画素の前記調整係数は前記第２の画素の前記調整係数よりも大きい値が設定されることを特徴とする請求項２に記載の画像処理装置。
  4. 　前記特徴量が画素の輝度値であり、特定の画素の輝度値が飽和している場合は、
    　該特定の画素の前記調整係数は、該特定の画素に設定された調整係数の値よりも小さい値が再設定されることを特徴とする請求項２又は３に記載の画像処理装置。
  5. 　前記入力画像が第１色成分と第２色成分を有する場合、
    　前記調整係数は、前記第１色成分の前記差分情報と前記第２色成分の前記差分情報の混合比を決める係数であり、該係数に応じて前記第１色成分の前記補正差分情報が生成されることを特徴とする請求項１乃至４いずれかに記載の画像処理装置。
  6. 　前記調整係数は前記入力画像に対する前記差分情報の演算量を決める係数であることを特徴とする請求項１乃至５いずれかに記載の画像処理装置。
  7. 　撮像系を介して結像された被写体の像を入力画像として取得する撮像素子と、
    　前記入力画像に対して回復処理を行い、回復画像を生成する画像回復処理手段と、
    　前記回復画像と前記入力画像との差分情報を演算する差分情報生成手段と、
    　前記入力画像に対して互いに異なる複数の調整係数を設定することが可能な調整係数設定手段と、
    　前記調整係数と前記差分情報に基づいて、補正差分情報を生成する補正差分情報生成手段と、
    　前記入力画像に前記補正差分情報を合成し、回復調整画像を生成する合成手段とを有することを特徴とする撮像装置。
  8. 　入力画像に対して回復処理を行い、回復画像を生成する画像回復処理工程と、
    　前記回復画像と前記入力画像との差分情報を演算する差分情報生成工程と、
    　前記入力画像に対して互いに異なる複数の調整係数を設定することが可能な調整係数設定工程と、
    　前記調整係数と前記差分情報に基づいて、補正差分情報を生成する補正差分情報生成工程と、
    　前記入力画像に前記補正差分情報を合成し、回復調整画像を生成する合成工程とを情報処理装置に実行させることを特徴とする画像処理プログラム。
  9. 　入力画像に対して回復処理を行い、回復画像を生成する工程と、
    　前記回復画像と前記入力画像との差分情報を演算する工程と、
    　前記入力画像に対して互いに異なる複数の調整係数を設定することが可能な工程と、
    　前記調整係数と前記差分情報に基づいて、補正差分情報を生成する工程と、
    　前記入力画像に前記補正差分情報を合成し、回復調整画像を生成する工程とを有することを特徴とする画像処理方法。
PCT/JP2010/055858 2010-03-31 2010-03-31 画像処理装置、およびそれを用いた撮像装置 WO2011121760A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012507981A JP5054248B2 (ja) 2010-03-31 2010-03-31 画像処理装置、画像処理方法、画像処理プログラム、撮像装置
PCT/JP2010/055858 WO2011121760A1 (ja) 2010-03-31 2010-03-31 画像処理装置、およびそれを用いた撮像装置
US13/371,173 US8565524B2 (en) 2010-03-31 2012-02-10 Image processing apparatus, and image pickup apparatus using same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/055858 WO2011121760A1 (ja) 2010-03-31 2010-03-31 画像処理装置、およびそれを用いた撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/371,173 Continuation US8565524B2 (en) 2010-03-31 2012-02-10 Image processing apparatus, and image pickup apparatus using same

Publications (2)

Publication Number Publication Date
WO2011121760A1 true WO2011121760A1 (ja) 2011-10-06
WO2011121760A9 WO2011121760A9 (ja) 2012-11-22

Family

ID=44711547

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/055858 WO2011121760A1 (ja) 2010-03-31 2010-03-31 画像処理装置、およびそれを用いた撮像装置

Country Status (3)

Country Link
US (1) US8565524B2 (ja)
JP (1) JP5054248B2 (ja)
WO (1) WO2011121760A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013084247A (ja) * 2011-09-26 2013-05-09 Canon Inc 画像処理装置及び方法
JP2015043541A (ja) * 2013-08-26 2015-03-05 キヤノン株式会社 画像処理装置およびその制御方法
JP2016086339A (ja) * 2014-10-28 2016-05-19 株式会社リコー 画像処理装置、画像処理方法、及び画像処理システム
JP2017028583A (ja) * 2015-07-24 2017-02-02 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2023000274A (ja) * 2021-06-17 2023-01-04 キヤノン株式会社 画像処理方法、画像処理装置、画像処理システム、およびプログラム
JP2023000326A (ja) * 2021-06-17 2023-01-04 キヤノン株式会社 画像処理方法、画像処理装置、画像処理システム、およびプログラム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013066648A (ja) * 2011-09-26 2013-04-18 Olympus Corp 内視鏡用画像処理装置及び内視鏡装置
TWI502549B (zh) * 2012-02-20 2015-10-01 Univ Nat Kaohsiung Applied Sci 元件影像檢測方法及其系統
JP5949201B2 (ja) * 2012-06-20 2016-07-06 富士通株式会社 画像処理装置及びプログラム
JP5833794B2 (ja) * 2013-03-27 2015-12-16 富士フイルム株式会社 撮像装置
EP3065392B1 (en) * 2013-10-31 2018-08-22 Fujifilm Corporation Image processing device, image capture device, parameter generating method, image processing method, and program
US9508130B2 (en) * 2014-10-17 2016-11-29 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium for performing image restoration
US10798316B2 (en) * 2017-04-04 2020-10-06 Hand Held Products, Inc. Multi-spectral imaging using longitudinal chromatic aberrations
EP3493527B1 (en) * 2017-11-30 2019-09-25 Axis AB Method, apparatus and system for detecting and reducing the effects of color fringing in digital video acquired by a camera
JP2022154264A (ja) * 2021-03-30 2022-10-13 キヤノン株式会社 撮像装置、画像処理装置、移動装置、制御方法およびコンピュータプログラム
US20230169689A1 (en) * 2021-11-30 2023-06-01 Texas Instruments Incorporated Suppression of clipping artifacts from color conversion

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009010847A (ja) * 2007-06-29 2009-01-15 Toshiba Corp 色成分補間装置及びその方法
JP2009021905A (ja) * 2007-07-13 2009-01-29 Hoya Corp 輪郭強調装置
JP2009289079A (ja) * 2008-05-29 2009-12-10 Nittoh Kogaku Kk 画像出力装置
JP2010068361A (ja) * 2008-09-12 2010-03-25 Noritsu Koki Co Ltd 写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002300461A (ja) * 2001-03-30 2002-10-11 Minolta Co Ltd 画像復元装置、画像復元方法、プログラム及び記録媒体
JP4787959B2 (ja) 2006-01-10 2011-10-05 国立大学法人東京工業大学 画像復元フィルタ及びそれを用いた画像復元方法
JP2008177064A (ja) * 2007-01-19 2008-07-31 Hitachi High-Technologies Corp 走査型荷電粒子顕微鏡装置および走査型荷電粒子顕微鏡装置で取得した画像の処理方法
US8477206B2 (en) * 2008-09-30 2013-07-02 Canon Kabushiki Kaisha Image processing apparatus and image processing method for performing image restoration using restoration filter

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009010847A (ja) * 2007-06-29 2009-01-15 Toshiba Corp 色成分補間装置及びその方法
JP2009021905A (ja) * 2007-07-13 2009-01-29 Hoya Corp 輪郭強調装置
JP2009289079A (ja) * 2008-05-29 2009-12-10 Nittoh Kogaku Kk 画像出力装置
JP2010068361A (ja) * 2008-09-12 2010-03-25 Noritsu Koki Co Ltd 写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013084247A (ja) * 2011-09-26 2013-05-09 Canon Inc 画像処理装置及び方法
JP2015043541A (ja) * 2013-08-26 2015-03-05 キヤノン株式会社 画像処理装置およびその制御方法
KR20150024269A (ko) * 2013-08-26 2015-03-06 캐논 가부시끼가이샤 화상처리장치 및 그 제어방법
KR101699318B1 (ko) 2013-08-26 2017-01-24 캐논 가부시끼가이샤 화상처리장치 및 그 제어방법
US9843703B2 (en) 2013-08-26 2017-12-12 Canon Kabushiki Kaisha Image processing apparatus and method of controlling the same
JP2016086339A (ja) * 2014-10-28 2016-05-19 株式会社リコー 画像処理装置、画像処理方法、及び画像処理システム
JP2017028583A (ja) * 2015-07-24 2017-02-02 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2023000274A (ja) * 2021-06-17 2023-01-04 キヤノン株式会社 画像処理方法、画像処理装置、画像処理システム、およびプログラム
JP2023000326A (ja) * 2021-06-17 2023-01-04 キヤノン株式会社 画像処理方法、画像処理装置、画像処理システム、およびプログラム
JP7225316B2 (ja) 2021-06-17 2023-02-20 キヤノン株式会社 画像処理方法、画像処理装置、画像処理システム、およびプログラム
JP7225315B2 (ja) 2021-06-17 2023-02-20 キヤノン株式会社 画像処理方法、画像処理装置、画像処理システム、およびプログラム

Also Published As

Publication number Publication date
JPWO2011121760A1 (ja) 2013-07-04
US20120141027A1 (en) 2012-06-07
WO2011121760A9 (ja) 2012-11-22
US8565524B2 (en) 2013-10-22
JP5054248B2 (ja) 2012-10-24

Similar Documents

Publication Publication Date Title
JP5054248B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、撮像装置
JP5284537B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置
JP5188651B2 (ja) 画像処理装置、およびそれを用いた撮像装置
JP5441652B2 (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP5546229B2 (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP6525718B2 (ja) 画像処理装置、その制御方法、および制御プログラム
JP5147994B2 (ja) 画像処理装置およびそれを用いた撮像装置
JP6327922B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US8754957B2 (en) Image processing apparatus and method
JP2011124692A5 (ja)
JP2011123589A5 (ja)
JP2011215707A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5479187B2 (ja) 画像処理装置及びそれを用いた撮像装置
WO2011121763A1 (ja) 画像処理装置、およびそれを用いた撮像装置
JP5464982B2 (ja) 撮像装置および画像処理方法
WO2011121761A1 (ja) 画像処理装置、およびそれを用いた撮像装置
JP6238673B2 (ja) 画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体
JP2011041094A (ja) 画像処理装置、撮像装置および画像処理方法
JP2011041094A5 (ja)
JP2017224906A (ja) 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10848938

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012507981

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10848938

Country of ref document: EP

Kind code of ref document: A1