WO2011132279A1 - 画像処理装置、方法、及び記録媒体 - Google Patents

画像処理装置、方法、及び記録媒体 Download PDF

Info

Publication number
WO2011132279A1
WO2011132279A1 PCT/JP2010/057083 JP2010057083W WO2011132279A1 WO 2011132279 A1 WO2011132279 A1 WO 2011132279A1 JP 2010057083 W JP2010057083 W JP 2010057083W WO 2011132279 A1 WO2011132279 A1 WO 2011132279A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
colors
correction
blur
raw
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2010/057083
Other languages
English (en)
French (fr)
Inventor
信彦 田村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to CN201080066268.5A priority Critical patent/CN102860012B/zh
Priority to JP2012511453A priority patent/JPWO2011132279A1/ja
Priority to PCT/JP2010/057083 priority patent/WO2011132279A1/ja
Priority to US13/086,289 priority patent/US8629917B2/en
Publication of WO2011132279A1 publication Critical patent/WO2011132279A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Definitions

  • the present invention relates to an image restoration process for correcting blurring of a captured image.
  • an imaging apparatus such as a digital camera or a digital video camera
  • light from a subject is incident on a sensor having a plurality of elements such as a CCD and a CMOS through an imaging optical system including lenses.
  • the sensor In the sensor, light passing through the imaging optical system is converted into an electrical signal.
  • a captured image can be obtained by performing processing necessary for imaging such as A / D conversion processing and demosaic processing on the electric signal.
  • the image quality of this captured image is affected by the imaging optical system.
  • a clear image with small blur can be obtained.
  • the captured image obtained when using a lens with poor performance is blurred.
  • an image shot using a lens with a small blur is like a point where each star is clear.
  • the stars are blurred with a spread rather than a single point.
  • PSF Point Spread Function
  • the PSF is one point, and in an imaging optical system with large blur, the PSF is not a small point but has a certain extent.
  • a captured image captured using an ideal imaging optical system that does not cause blur is defined as f (x, y).
  • x and y are variables indicating the two-dimensional position of the captured image, and f (x, y) represents the pixel value at the position x and y.
  • g (x, y) a photographed image photographed with an imaging optical system that causes blurring
  • the PSF of the imaging optical system that causes the blur is h (x, y).
  • h (x, y) is determined by, for example, lens characteristics, photographing parameters (diaphragm diameter, object position, zoom position, etc.), transmittance of a color filter of the sensor, and the like.
  • h (x, y) may be determined by measuring a two-dimensional light distribution on the sensor surface when a point light source is imaged. The following relationship holds for f (x, y), g (x, y), and h (x, y).
  • g (x, y) h (x, y) * f (x, y) (1) * Means convolution (convolution integration).
  • the correction of blur is an ideal imaging optical system based on a captured image g (x, y) captured by the imaging optical system that causes blur and h (x, y) that is a PSF of the imaging optical system.
  • f (x, y) obtained in (1) can be estimated.
  • G (u, v) H (u, v) ⁇ F (u, v) (2)
  • H (u, v) is a Fourier transform of h (x, y), which is a PSF, and is called an optical transfer function (OTF: Optical Transfer Function).
  • u and v represent coordinates on a two-dimensional frequency plane, that is, frequencies.
  • G (u, v) is a Fourier transform of g (x, y) (Fourier display), and F (u, v) is a Fourier transform of f (x, y).
  • both sides may be divided by H as follows.
  • G (u, v) / H (u, v) F (u, v) (3)
  • An ideal image f (x, y) without blur can be obtained as a restored image by performing inverse Fourier transform on this F (u, v) and returning it to the actual surface.
  • the inverse filter R (x, y), which is the reciprocal thereof, increases as the frequency increases. Therefore, when a convolution process is performed on a blurred photographed image using an inverse filter, the high frequency component of the photographed image is enhanced. In an actual captured image, noise is also included, and since noise is generally high frequency, the inverse filter may emphasize noise.
  • a Wiener filter in which the inverse filter R (x, y) is modified so as not to eliminate the inability to calculate due to the occurrence of division by zero as described above or to emphasize high-frequency noise too much.
  • a filter used for blur correction such as an inverse filter or a Wiener filter is referred to as an image restoration filter.
  • Many imaging devices such as digital cameras and digital video cameras acquire color information by arranging a color filter composed of a plurality of specific colors in front of a sensor having a plurality of elements such as a CCD and a CMOS. .
  • This method is called a single plate type.
  • signals of other colors cannot be obtained from elements corresponding to a color filter of a specific color. Therefore, signals of other colors are obtained by interpolation from signals from neighboring elements.
  • This interpolation processing is called demosaicing processing (demosaicing processing).
  • RAW data an image before demosaic processing is referred to as RAW data.
  • the OTF varies depending on the shooting conditions such as aperture diameter and zoom position. Therefore, the image restoration filter used for the image restoration process also needs to be changed according to the shooting state.
  • Various image processing such as gamma processing and color conversion processing is performed on the image data acquired by the imaging device in order to improve image quality.
  • image recovery processing The effect may be reduced.
  • the blur characteristics of the input image substantially change.
  • the images are mixed between the channels, and the G and B channel images other than the R channel are also blurred.
  • the image restoration process is performed based on the amount of blur assumed from the optical characteristics for the G and B channels, the restoration is insufficient.
  • the imaging optical system tends to have a low response at high frequencies. In other words, the more detailed the subject, the more blurred.
  • the high frequency response included in the captured image may become high. This phenomenon is called a moire phenomenon. That is, the blur characteristic of the imaging optical system is substantially changed after demosaicing.
  • the blur correction is performed on the image after demosaicing using the blur characteristic of the imaging optical system without considering these phenomena, the high-frequency component already having high response is further increased in the image after demosaking. As a result, a wave-like pattern is generated around the edge in the corrected image after blur correction (artifact such as ringing).
  • Patent Document 1 assumes that an effective image restoration process can be performed by applying the image restoration process before the color conversion process. However, the image restoration process (image deterioration correction process) according to Patent Document 1 is performed on the demosaiced image.
  • the problem to be solved by the present invention is that the blur characteristic of the captured image is changed by the demosaic at the time of blur correction of the imaging optical system, and as a result, good blur correction cannot be performed.
  • the image processing apparatus of the present invention samples light incident on an imaging device including a color filter having a plurality of colors and a sensor with the sensor via the color filter.
  • Input means for inputting RAW data corresponding to each of the plurality of colors obtained based on the data obtained by the above, and correcting blur of the RAW image indicated by the RAW data for each of the plurality of colors
  • An acquisition means for acquiring a correction coefficient for correcting the blur of the RAW image indicated by the RAW data based on the correction coefficient acquired by the acquisition means for each of the plurality of colors
  • FIG. 1 is a configuration diagram of an image pickup apparatus according to a first embodiment.
  • Flow chart of processing according to embodiment 1 Example of sensor color filter array in Example 1
  • FIG. 10 is a diagram illustrating an example of color plane division and zero insertion according to the first embodiment.
  • Flow chart of blur correction processing according to embodiment 1 An example of a device configuration for realizing the functions of the first embodiment The figure showing the frequency characteristic concerning Example 1. The figure showing the frequency characteristic in two dimensions concerning Example 1 Example of filter used for demosaic of embodiment 1 The figure explaining the demosaic of Example 1
  • Example 1 Hereinafter, an imaging apparatus that corrects blurring of a captured image caused by the imaging optical system according to the first embodiment will be described.
  • FIG. 1 shows a basic configuration of the imaging apparatus of the present embodiment.
  • Light that enters the imaging apparatus from a subject is imaged by the sensor 102 via the imaging optical system 101.
  • Light (image) imaged by the sensor 102 is converted into an electric signal, and converted into a digital signal by the A / D converter 103.
  • This digital signal is input to the image processing unit 104 as RAW data.
  • the sensor 102 includes a photoelectric conversion element that converts an optical signal based on an image formed on the light receiving surface into an electrical signal for each pixel corresponding to the position.
  • the sensor 102 has a function of performing color separation on the pixels on the light receiving surface using an RGB filter arranged in a checkered pattern arrangement shown in FIG.
  • the RGB filter arrangement method and color separation in FIG. 3 are merely examples, and it goes without saying that the present invention can be applied to, for example, CMY and other filters that perform color separation.
  • the image processing unit 104 includes an image restoration unit 104a that performs blur correction on the RAW data, and a demosaic unit 104b that performs demosaicing on the RAW data that has been subjected to blur correction.
  • the state detection unit 107 obtains the image pickup state information (the state of the zoom position and the state of the aperture diameter) of the image pickup apparatus at the time of shooting (when the sensor 102 samples incident light). obtain.
  • the state detection unit 107 may obtain shooting state information from the system controller 110 or may be obtained from the imaging optical system control unit 106.
  • a correction coefficient corresponding to the imaging state information is acquired from the storage unit 108, and blur correction processing is performed on the RAW image indicated by the RAW data input to the image processing unit 104.
  • the storage unit 108 stores the correction coefficient of the image restoration filter corresponding to each of the imaging state information.
  • the correction coefficient corresponding to each imaging state stored in the storage unit 108 is determined by the optical characteristics of the imaging optical system of the imaging apparatus.
  • an image restoration filter may be modeled and the model parameters may be stored as coefficients. In this case, an image restoration filter is appropriately generated based on the coefficient of the model parameter at the time of image restoration processing described later.
  • Demosaking unit 104b performs demosaic processing on the RAW data indicating the RAW image subjected to the blur correction.
  • the details of the configuration method of the image restoration filter and the processing contents of the image processing unit 104 will be described later.
  • the corrected image data in which the blur of the imaging optical system 101 is corrected by the image processing unit 104 is stored in the image recording medium 109 or displayed on the display unit 105.
  • FIG. 2 shows a processing flow relating to the image processing unit 104.
  • step S101 the RAW data converted into a digital signal by the A / D converter 103 is acquired.
  • the RAW data is desirably linear with respect to luminance so as to faithfully reflect the characteristics of the imaging optical system 101.
  • RAW data having a non-linear value with respect to luminance is acquired, such as when the sensor 102 or the A / D converter 103 has non-linear characteristics.
  • some non-linear processing may be performed within a range in which image characteristics such as missing pixel compensation are not significantly changed.
  • step S102 the coefficient of the image restoration filter (or the coefficient of the model parameter) corresponding to the shooting state information is acquired from the storage unit.
  • the coefficient of the image restoration filter is different for each color of RGB. This is because the blur characteristics are different for each RGB color plane. This point will be described later.
  • step S103 for each of the RGB color planes, processing for correcting blur of the imaging optical system is performed on the RAW data using an image restoration filter. Details of the blur correction process will be described later.
  • step S104 demosaic processing is performed on the RAW data that has undergone blur correction. Details of the demosaic process will be described later.
  • step S201 the input raw data is divided into independent raw data for each color filter (independent color plane for each color filter) in accordance with the color filter arrangement shown in FIG.
  • independent color plane for each color filter there is a pixel having no value in each color plane.
  • the value of R at the pixel positions corresponding to G and B in the R plane image is unknown. Therefore, in step S202, zero is assigned to pixels having no value as shown in FIG.
  • step S203 a corrected image is acquired by applying an image restoration filter for each color plane. Specifically, a convolution operation is performed between the raw data of each color plane with zero insertion and the image restoration filter of each color plane.
  • the image restoration filter is different for each color plane as will be described later.
  • step S204 zero insertion is performed on the RAW data of each color plane after convolution in the same manner as in step S202.
  • the pixel in which zero insertion is performed in step S202 may have a value different from 0 after convolution, zero insertion is performed again in this step.
  • step S205 the RAW data of each color plane zero-inserted in step S104 is synthesized as single plane output image data.
  • the image data at the time when the color plane synthesis in step S205 is performed is in the RAW data format in which the demosaic is not performed as shown in FIG.
  • ⁇ Image recovery filter configuration method> A configuration method of the image restoration filter used in the image restoration unit 104a will be described.
  • the configuration method of the image restoration filter will be described with respect to the R plane, taking a Bayer array as an example.
  • the R plane and the B plane are sampled every other pixel in the vertical and horizontal directions, and the same argument holds for the B plane.
  • the color plane divided R plane image g R is expressed by the following equation.
  • g R m R ⁇ (h R * f R) ⁇ (5)
  • f R is an R component of the subject image f
  • h R is a PSF corresponding to the R plane
  • m R is a mask function (a function that becomes 1 at the R filter position and 0 at the G and B filter positions). is there.
  • step S203 the image g R ′ after application of the image restoration filter for the R plane is expressed by the following equation.
  • g R ′ R R * ⁇ m R ⁇ (h R * f R ) ⁇ (6)
  • R R is an image restoration filter for the R plane.
  • step S204 represented by image G R "the following equation after the mask processing.
  • the R- plane image restoration filter RR is mathematically calculated so that the difference between R ′′ and m R ⁇ f R is minimized.
  • the image restoration filters R B and R G for the B plane can be obtained for the B plane and the G plane. A configuration method of the image restoration filter will be described with reference to FIG.
  • FIG. 7A is an OTF of the imaging optical system when the color filter arrangement is not taken into consideration. This is easy to understand if it is considered to mean the frequency characteristics of the imaging optical system when all the color filters are removed. Since sampling is performed by the sensor, there is no frequency higher than the Nyquist frequency.
  • the inverse of this FIG. 7 (a) is taken to constitute a recovery filter as shown in FIG. 7 (b).
  • the recovery filter since the OTF of the imaging optical system is smaller as the frequency is higher, the recovery filter has an effect of enhancing the higher frequency.
  • sampling is performed every other pixel by the color filter array. Then, the OTF of the imaging optical system after sampling has a shape in which the OTF of the imaging optical system is folded with respect to the Nyquist frequency of R as shown in FIG. Since the frequency characteristic of the recovery filter is the reciprocal of FIG. 7C, it has a peak at the Nyquist of R as shown in FIG. 7D.
  • the recovery filter of FIG. 7B is applied to the OTF of FIG. 7C, which is an actual blur characteristic, without considering sampling by the color filter array. Then, the obtained image becomes an image in which the high frequency is excessively emphasized as shown in FIG. That is, when blur correction is performed before demosaicing, it is necessary to use a recovery filter that takes into account the Nyquist frequency of each color derived from the color filter array.
  • FIG. 8A shows the OTF when the color filter arrangement is not taken into consideration.
  • the vertical axis and the horizontal axis mean the frequency in the vertical direction and the horizontal direction, respectively.
  • the frequency response is displayed with contour lines.
  • the frequency response is assumed to be equal on the contour lines. Since sampling is performed by the sensor, there is no frequency higher than the Nyquist frequency in both the vertical and horizontal directions.
  • the inverse filter can be obtained by taking the inverse of OTF for each frequency in FIG. 8A and performing inverse Fourier transform.
  • FIG. 8B shows a frequency response when turning back in the R plane is considered. Then, compared with the case where the filter arrangement of FIG. 8A is not considered, it can be seen that the response of high frequency is increased by folding in FIG. 8B.
  • the image restoration filter construction method of this embodiment is characterized in that a restoration filter is obtained by performing Fourier transform by taking the reciprocal of the frequency characteristic of FIG. Since the frequency characteristic of R after being sampled by the filter array is FIG. 8 (b), if the inverse of FIG. 8 (a) is multiplied by FIG. 8 (b) without considering the filter array, the high frequency becomes excessive. It will be emphasized. The high frequency emphasized too much by the conventional method becomes a cause of occurrence of artifacts such as ringing. Since the present invention takes the reciprocal of the frequency characteristic after sampling, the high frequency is not overemphasized. It will be described that it is necessary to change the construction method of the image restoration filter depending on the filter arrangement. FIG.
  • FIG. 8C shows the frequency characteristic of the G plane after sampling with the Bayer array. Comparing the G plane frequency characteristics of FIG. 8C and the R plane frequency characteristics of FIG. 8B, it can be seen that the folding is different. In other words, the R plane is folded in the form of a central square on the frequency plane, whereas the G plane is folded in the form of a rhombus. Therefore, when obtaining a recovery filter in consideration of aliasing in the present invention, since the aliasing method varies depending on the arrangement of each filter, it is necessary to change the configuration method of the recovery filter depending on the filter arrangement.
  • demosaic by simple linear calculation Details of performing demosaicing on the RAW data after blur correction will be described.
  • demosaic by simple linear calculation will be described. Take Bayer array as an example for illustration.
  • the RAW data in each of the RGB color planes has pixels that have no value.
  • FIG. 4 shows the state of each color plane after zero insertion has been performed on a pixel having no value.
  • the convolution process may be performed for each filter shown in FIG. 9 on each color plane.
  • the filter shown in FIG. 9A may be used for the R and B planes
  • the filter shown in FIG. 9B may be used for the G plane.
  • FIG. 10 shows how pixels are interpolated by this processing.
  • FIG. 10A shows an example of the state of the G plane before demosaic processing. Since the center of FIG. 10A is an unknown pixel, 0 insertion is performed.
  • FIG. 10B shows a state after convolution. It can be seen that the average of the upper, lower, left, and right pixels is assigned to the pixels that are unknown in FIG. Similarly, for the R and B planes, unknown pixels after convolution are interpolated by surrounding pixels.
  • adaptive demosaic processing will be described as an example of demosaic processing including nonlinear processing.
  • adaptive demosaic processing instead of simply taking the average of the surroundings as described above, the difference between the surrounding pixel values is taken in the vertical, horizontal, and diagonal directions, and the unknown pixels are used using the pixels in the direction with little change. Calculate the value. This is because more reliable interpolation can be performed by using pixel values in a direction in which the change is gentle.
  • blur correction is performed before demosaicing, but the following problems arise when considering blur correction after adaptive processing.
  • the lens characteristics are blurred in the horizontal direction
  • the result of the direction determination may be in the vertical direction. Therefore, even if the process of sharpening only the part blurred by the demosaic by another process is performed later, it is necessary to switch the process depending on what direction determination is performed for each location of the image.
  • blurring is corrected before demosaicing, so that the above complicated problems can be avoided.
  • demosaic including non-linear processing
  • demosaic using correlation between colors will be described.
  • the number of G pixels is larger than that of R and B pixels.
  • the resolution of the G plane is higher, and finer image information can be acquired compared to the R and B planes.
  • the G plane has a high correlation with the R and B planes.
  • G-plane information is actively used to interpolate unknown pixels in the R and B planes. For example, in order to interpolate an unknown R value, an unknown R pixel value is determined using not only the neighboring R value but also the neighboring G pixel value. Therefore, the blur characteristic of the G plane image is mixed with the blur characteristic of the R plane image.
  • the imaging optical system has a characteristic that the R plane is more blurred than the G and B planes. Then, it can be seen that the blur is reduced to some extent by using the image information of the G plane with little blur for the image of the R plane that is essentially blurry. That is, the blur characteristic of the image after demosaicing does not necessarily reflect the blur characteristic of the imaging optical system.
  • the blur correction is performed by the recovery filter obtained from the PSF of the photographing optical system without considering this point, an undesirable artifact is generated in the corrected image.
  • the R plane is not as blurry as expected from the blur characteristics of the imaging optical system. Therefore, when blur correction is performed, overcorrection occurs, causing artifacts such as ringing.
  • the above-described problem is avoided by performing blur correction on the RAW data before demosaicing.
  • the blur caused by the imaging optical system can be corrected before the blur characteristic of the image is affected by demosaking.
  • An object of the present invention is to supply a recording medium on which a program code of software for realizing the functions of the above-described embodiments is recorded to a system or apparatus, and that is executed by a computer (or CPU or MPU) of the system or apparatus. Is also achieved.
  • An example of the apparatus configuration is shown in FIG. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiment, and the storage medium storing the program code constitutes the present invention.
  • the system or computer described above acquires RAW data in step S101 shown in FIG. 2 via an input device or a network.
  • the correction coefficient of the optical imaging system corresponding to S102 is provided to the computer via a recording medium or a network. Then, image restoration processing, demosaic processing, and other processing may be performed by the above-described system or computer arithmetic device.
  • Examples of computer-readable storage media for supplying the program code include flexible disks, hard disks, optical disks, magneto-optical disks, CD-ROMs, CD-Rs, magnetic tapes, nonvolatile memory cards, ROMs, DVDs, etc. Can be used.
  • the functions of the above-described embodiments are not only realized by executing the program code read by the computer.
  • the operating system (OS) running on the computer performs part or all of the actual processing based on the instruction of the program code, and the functions of the above-described embodiments may be realized by the processing. included.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

　撮像光学系のぼけ補正の際にデモザイクによって撮像画像のぼけ特性が変わる結果、良好なぼけ補正が行えない。　ＲＡＷデータを入力し、複数の色それぞれに対して、ＲＡＷデータで示されるＲＡＷ画像のぼけを補正するための補正係数を取得し、複数の色それぞれに対して取得された補正係数に基づいてＲＡＷデータで示されるＲＡＷ画像のぼけを補正し、補正画像を取得し、取得された複数の補正画像をデモザイク処理し、出力画像データを生成する。

Description

画像処理装置、方法、及び記録媒体
　本発明は、撮影画像のぼけを補正する画像回復処理に関する。
　デジタルカメラ、デジタルビデオカメラなどの撮像装置において、被写体からの光は、レンズ等で構成される撮像光学系を介して、ＣＣＤやＣＭＯＳ等の複数の素子を有するセンサに入射される。センサにおいて、撮像光学系を通った光は電気信号に変換される。この電気信号に対して、Ａ／Ｄ変換処理やデモザイク処理などの画像化するために必要な処理を施すことで、撮影画像を得る事ができる。
　さて、この撮影画像の画質は撮像光学系の影響を受ける。一般的に、高性能なレンズを使用した場合は、ぼけの小さい、くっきりとした画像を得ることが出来る。逆に、性能が良くないレンズを使用した場合に得られる撮像画像はぼけている。例として、星空を撮影した場合、ぼけの小さいレンズを用いて撮影した画像は、星の一つ一つがくっきりとした点のようになる。逆に、ぼけの大きいレンズを用いて撮影した画像は、星が一点ではなく広がりをもってぼけている。
　以下、撮像光学系に起因する撮像画像のぼけを補正する画像処理方法を説明する。この方法では、点像分布関数（ＰＳＦ：Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）に基づいて撮像画像のぼけを補正する。このＰＳＦは、被写体の一点がどの様にぼけるかを表したものである。例えば、暗黒下で体積が非常に小さい発光体（点光源）を撮影した場合のセンサ面上での光の２次元的分布が、かかる撮像光学系のＰＳＦに該当する。
　ぼけの小さい理想的な撮像光学系ではＰＳＦは一点であり、ぼけの大きい撮像光学系ではＰＳＦは小さな一点ではなく、ある程度の広がりを持っている。
　このＰＳＦに係るデータを用いてぼけを補正する方法に、逆フィルタによる方法がある。以下、逆フィルタの構成方法について説明する。ぼけを生じさせない理想的な撮像光学系を用いて撮影した撮影画像をｆ（ｘ，ｙ）とする。ｘ，ｙは撮像画像の二次元上の位置を示す変数であり、ｆ（ｘ，ｙ）は位置ｘ，ｙでの画素値を表している。一方で、ぼけを生じさせる撮像光学系で撮影した撮影画像をｇ（ｘ，ｙ）とする。また、前記のぼけを生じさせる撮像光学系のＰＳＦをｈ（ｘ、ｙ）とする。このｈ（ｘ、ｙ）は、例えば、レンズの特性、撮影パラメータ（絞り径、物体位置、ズーム位置など）、センサのカラーフィルターの透過率などによって決定される。また、点光源を撮像した場合のセンサ面上での光の二次元分布を測定することによってｈ（ｘ、ｙ）を決定しても良い。ｆ（ｘ、ｙ），ｇ（ｘ、ｙ），ｈ（ｘ、ｙ）には次の関係が成り立つ。
　　　ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）　　・・・（１）
　＊はコンボリューション（畳込積分）を意味している。ぼけを補正することは、ぼけを生じさせる撮像光学系で撮影した撮像画像ｇ（ｘ、ｙ）と、かかる撮像光学系のＰＳＦであるｈ（ｘ、ｙ）とから、理想的な撮像光学系で取得したｆ（ｘ、ｙ）を推定することと言い換えることもできる。
　実面で表現されている式１をフーリエ変換して空間周波数面での表示形式に変換すると、以下の式のように周波数ごとの積の形式になる。
　　　Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）　　・・・（２）
　Ｈ（ｕ，ｖ）はＰＳＦであるｈ（ｘ、ｙ）をフーリエ変換したものであり、光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ　Ｔｒａｎｓｆｅｒ　Ｆｕｎｃｔｉｏｎ）と呼ばれている。ｕ，ｖは２次元周波数面での座標、即ち周波数を示す。Ｇ（ｕ，ｖ）はｇ（ｘ、ｙ）のフーリエ変換したもの（フーリエ表示）であり、Ｆ（ｕ，ｖ）はｆ（ｘ、ｙ）のフーリエ変換したものである。
　ぼけのある撮影画像から、ぼけのない理想的な画像を得るためには、以下のように両辺をＨで除算すればよい。
　　　Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）　　・・・（３）
　このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、ぼけのない理想的な画像ｆ（ｘ，ｙ）を回復画像として得ることができる。
　ここで、式３におけるＨの逆数（Ｈ－１）を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューションを行うことで同様にぼけのない画像が得られる。
　　　ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）　　・・・（４）
　このＲ（ｘ，ｙ）を逆フィルタと呼ぶ。実際には、Ｈ（ｕ，ｖ）が０になる周波数（ｕ，ｖ）が存在する場合がある。Ｈ（ｕ，ｖ）が０となる周波数においては、式（３）においてゼロでの除算が発生し、計算が不能となる。
　また、通常、ＯＴＦは高周波ほど値が小さくなるため、その逆数である逆フィルタＲ（ｘ，ｙ）は高周波ほど値が大きくなる。従って、逆フィルタを用いてぼけのある撮影画像にコンボリューション処理を行うと、撮影画像の高周波成分が強調されることとなる。実際の撮像画像ではノイズも含まれており、かつ、ノイズは一般的に高周波であるため、逆フィルタではノイズを強調してしまう場合がある。
　以上のようなゼロでの除算が発生してしまうことによる計算の不能を解消したり、高周波ノイズを強調しすぎないように、逆フィルタＲ（ｘ，ｙ）を式変形したウィナーフィルタが提案されている。以降では、逆フィルタやウィナーフィルタ等のぼけの補正で用いるフィルタを画像回復フィルタと呼ぶ。
　さて、デジタルカメラやデジタルビデオカメラなどの撮像装置の多くは、ＣＣＤやＣＭＯＳ等の複数の素子を有するセンサの前に特定の複数の色からなるカラーフィルタを配置し、色情報を取得している。この方式を単版式と呼ぶ。単版式デジタルカメラ、単版式デジタルビデオカメラに用いる典型的なカラーフィルタ配列としてベイヤー配列がある。単版式の撮像装置の場合、特定の色のカラーフィルタに対応する素子からは他の色の信号を得ることはできない。そのため、他の色の信号は近隣の素子からの信号からの補間によって求めている。この補間処理をデモザイク処理（デモザイキング処理）と呼ぶ。以降ではデモザイク処理前の画像をＲＡＷデータと呼ぶ。
特開２００２－１９９４１０
　絞り径やズーム位置などの撮影状態に応じてＯＴＦは変動する。従って、画像回復処理に用いる画像回復フィルタも、撮影状態に応じて変更する必要がある。撮像装置によって取得された画像データに対して、画質向上のために、ガンマ処理や色変換処理などの各種画像処理が施されるが、画像回復処理とその他の処理の順序によって、画像回復処理の効果が低減する場合がある。
　例えば、画像回復処理の前に、色変換処理を施すと、実質的に入力画像のぼけ特性が変化する。特にＲチャネルがぼけるような撮像光学系で撮影された画像を色変換処理すると、チャネル間で画像が混合され、Ｒチャネル以外のＧ、Ｂチャネルの画像もぼける。その結果、Ｇ，Ｂチャネルに対する光学特性から想定されるぼけ量に基づき画像回復処理を行なえば、回復が不足することになる。
　また、通常、撮像光学系は高周波での応答が小さくなる傾向がある。換言すれば、細やかな被写体ほどぼける。しかし、デモザイク後では撮影画像に含まれる高周波の応答が高くなってしまう場合がある。この現象はモアレ現象と呼ばれている。つまり、デモザイク後では撮像光学系のぼけ特性が実質的に変わってしまう。
　これらの現象を鑑みずにデモザイク後の画像に対して撮像光学系のぼけ特性を用いてぼけ補正を行うと、デモザキング後の画像においてすでに応答の高い高周波成分をさらに高くしてしまう。その結果、ぼけ補正後の補正画像ではエッジの周辺に波のような紋様が発生する（リンギング等のアーチファクト）。
　特許文献１は、画像回復処理を、色変換処理よりも前に適用することで、効果的な画像回復処理ができるとする。しかし、特許文献１による画像回復処理（画像劣化補正処理）はデモザイクされた後の画像に対してなされる。
　以上の通り、本願発明の解決しようとする課題は、撮像光学系のぼけ補正の際にデモザイクによって撮像画像のぼけ特性が変わる結果、良好なぼけ補正が行なえない事である。
　上記の課題を解決するために、本発明の画像処理装置は、複数の色を有するカラーフィルターとセンサとからなる撮像装置に入射される光を、前記カラーフィルターを介して前記センサでサンプリングすることにより得られるデータに基づいて取得される、前記複数の色それぞれに対応するＲＡＷデータを入力する入力手段と、前記複数の色それぞれに対して、前記ＲＡＷデータで示されるＲＡＷ画像のぼけを補正するための補正係数を取得する取得手段と、前記複数の色それぞれに対して、前記取得手段で取得された補正係数に基づいて、前記ＲＡＷデータで示されるＲＡＷ画像のぼけを補正し、補正画像を取得する補正手段と、前記補正手段により取得された複数の補正画像をデモザイク処理し、出力画像データを生成するデモザイク手段と、を有する。
　本発明によれば、撮像光学系により生じる撮像画像中のぼけに対して、良好なぼけの補正を行うことができる。
実施例１にかかる撮像装置の構成図 実施例１にかかる処理のフロー図 実施例１におけるセンサのカラーフィルターの配列の一例 実施例１にかかるカラープレーン分割、ゼロ挿入の一例を示す図 実施例１にかかるぼけ補正処理のフロー図 実施例１の機能を実現する装置構成の一例 実施例１にかかる周波数特性を表す図 実施例１にかかる２次元での周波数特性を表す図 実施例１のデモザイクに用いるフィルタの一例 実施例１のデモザイクを説明する図
　［実施例１］
　以下、実施例１の撮像光学系により生ずる撮像画像のぼけを補正する撮像装置を説明する。
　図１は、本実施例の撮像装置の基本構成を示している。不図示の被写体から撮像装置に入射される光を撮像光学系１０１を介してセンサ１０２で結像する。センサ１０２で結像された光（像）が電気信号に変換され、Ａ／Ｄコンバータ１０３でデジタル信号に変換される。このデジタル信号は、ＲＡＷデータとして画像処理部１０４に入力される。なお、センサ１０２は、受光面上に結像された像による光信号を、位置対応する画素ごとに電気信号に変換する光電変換素子により構成される。また、センサ１０２は、その受光面上の画素に図３に示す市松模様の配列で配置されたＲＧＢフィルタにより色分解を行う機能を有している。図３のＲＧＢフィルタの配置方法や色分解はあくまで一例であり、例えばＣＭＹやその他の色分解を行うフィルタについても本発明が適用できることは言うまでもない。
　画像処置部１０４は、ＲＡＷデータに対してぼけ補正を行う画像回復部１０４ａと、ぼけ補正がなされたＲＡＷデータに対しデモザキングを行うデモザイク部１０４ｂを含む。
ＲＡＷデータに対するぼけ補正処理では、まず状態検知部１０７から、撮影時（入射された光をセンサ１０２がサンプリングした際）における撮像装置の撮像状態情報（ズーム位置の状態や、絞り径の状態）を得る。
　状態検知部１０７は、システムコントローラ１１０から撮影状態情報を得ても良いし、撮像光学系制御部１０６から得ても良い。
　次に、撮像状態情報に応じた補正係数を記憶部１０８から取得し、画像処理部１０４に入力されたＲＡＷデータで示されるＲＡＷ画像に対してぼけ補正処理を行う。
　記憶部１０８は、撮像状態情報それぞれに対応する画像回復フィルタの補正係数を記憶している。なお、記憶部１０８に記憶されている撮像状態それぞれに対応する補正係数は、撮像装置の撮像光学系の光学特性によって決定される。また、記憶部１０８におけるデータ量削減の目的で、画像回復フィルタをモデル化し、そのモデルパラメータを係数として記憶しておいても良い。この場合、後述する画像回復処理の際に、適宜、このモデルパラメータの係数に基づいて画像回復フィルタを生成する。
　ぼけ補正がなされたＲＡＷ画像を示すＲＡＷデータに対してデモザキング部１０４ｂによってデモザイク処理を行う。
　なお、前記の画像回復フィルタの構成方法及び画像処理部１０４の処理内容の詳細は後述する。画像処理部１０４により撮像光学系１０１のぼけが補正された補正画像データは画像記録媒体１０９に保存されたり、表示部１０５により表示される。
　＜画像処理部１０４の処理フロー＞
　図２に画像処理部１０４に関する処理のフローを示す。
　ステップＳ１０１ではＡ／Ｄコンバータ１０３でデジタル信号化されたＲＡＷデータを取得する。ＲＡＷデータは撮像光学系１０１の特性を忠実に反映するよう、輝度に対して線形である事が望ましい。しかし、センサ１０２やＡ／Ｄコンバータ１０３が非線形特性を有する場合など輝度に対して非線形な値を有するＲＡＷデータが取得される場合がある。その際はハードウェアの非線形特性をキャンセルして、輝度に対して線形となるような処理がステップＳ１０１でデータ取得に伴って施される事が望ましい。また、欠落画素の補償など画像特性を大きく変更しない範囲で多少の非線形処理が施されてもよい。
　ステップＳ１０２では、記憶部１０８から撮影状態情報に対応した画像回復フィルタの係数（又はモデルパラメータの係数）を取得する。画像回復フィルタの係数はＲＧＢ各カラーによって異なる。これは、ＲＧＢ各カラープレーンごとに、ぼけ特性が異なるためである。この点については、後述する。
　ステップＳ１０３では、ＲＧＢ各カラープレーンについて、画像回復フィルタを用いてＲＡＷデータに対して撮像光学系のぼけを補正する処理を行う。ぼけ補正処理の詳細は後述する。
　ステップＳ１０４ではぼけ補正がなされたＲＡＷデータに対してデモザイク処理を行う。デモザイク処理の詳細は後述する。
　＜ぼけ補正処理の詳細＞
　ぼけ補正処理の詳細を図５のフローチャートを用いて説明する。
　ステップＳ２０１では、図４に示すカラーフィルターの配列に従い、入力されたＲＡＷデータを各色フィルタ毎に独立したＲＡＷデータ（各色フィルタ毎に独立したカラープレーン）に分割する。単版式の場合、各カラープレーンで値を持たない画素が存在する。例えば、Ｒプレーン画像においてＧ、Ｂに相当する画素位置でのＲの値は不明である。そこで、ステップＳ２０２では、図４に示すように値を持たない画素にゼロを割り当てる。
　ステップＳ２０３では、カラープレーン毎に画像回復フィルタを適用することにより補正画像を取得する。具体的には、ゼロ挿入された各カラープレーンのＲＡＷデータと各カラープレーンの画像回復フィルタとの間でコンボリューション演算を行う。なお画像回復フィルタは、後述するように各カラープレーンごとに異なる。
　ステップＳ２０４では、コンボリューション後の各カラープレーンのＲＡＷデータにステップＳ２０２と同様にゼロ挿入を行う。この処理は、ステップＳ２０２においてゼロ挿入された画素はコンボリューション後に０とは異なる値を有する場合があるため、本ステップであらためてゼロ挿入を行う。
　ステップＳ２０５ではステップＳ１０４でゼロ挿入した各カラープレーンのＲＡＷデータを単一プレーンの出力画像データとして合成する。ステップＳ２０５のカラープレーン合成が行われた時点での画像データは、図３に示すデモザイクが行われていないＲＡＷデータの形式となる。
　＜画像回復フィルタ構成方法＞
　画像回復部１０４ａにおいて用いられる画像回復フィルタの構成法を説明する。説明のためベイヤー配列を例にとり、画像回復フィルタの構成法をＲプレーンについて述べる。配列としてはＲプレーンもＢプレーンも垂直水平方向で一画素おきにサンプリングするため同様の議論はＢプレーンについても成立する。ステップＳ２０１において、カラープレーン分割されたＲプレーンの画像ｇＲは次式で表される。
　　　ｇＲ＝ｍＲ×（ｈＲ＊ｆＲ）　　・・・（５）
　ここで、ｆＲは被写体像ｆのＲ成分、ｈＲはＲプレーンに対応するＰＳＦ、ｍＲは、マスク関数（Ｒフィルタの位置で１、Ｇ及びＢフィルタの位置で０となる関数）である。
　ステップＳ２０３において、Ｒプレーン用の画像回復フィルタを適用後の画像ｇＲ’は次式で表される。
　　　ｇＲ’＝ＲＲ＊｛ｍＲ×（ｈＲ＊ｆＲ）｝　　・・・（６）
　ここで、ＲＲは、Ｒプレーン用の画像回復フィルタである。
ステップＳ２０４において、マスク処理後の画像ＧＲ”次式で表される。
　　ＧＲ”＝ｍＲ×［ＲＲ＊｛ｍＲ×（ｈＲ＊ｆＲ）｝］　　・・・（７）
　画像ＧＲ”が、被写体像ｆをマスク関数ｍＲでマスクした画像ｍＲ×ｆＲに一致すれば、撮像光学系１０１によるぼけ（画像劣化）が回復していることとなる。そこで、ｇＲ”とｍＲ×ｆＲの差分が最小になるように、Ｒプレーンの画像回復フィルタＲＲを数学的に計算する。Ｂプレーン、Ｇプレーンについても同様に、Ｂプレーン用の画像回復フィルタＲＢ，ＲＧを求めることができる。図７を用いて、画像回復フィルタの構成方法を説明する。
　図７（ａ）はカラーフィルタ配列を考慮しない場合の撮像光学系のＯＴＦである。これはカラーフィルタを全て取り払った場合の撮像光学系の周波数特性を意味していると考えれば分かりやすい。センサでサンプリングが行われるため、ナイキスト周波数以上の周波数は存在しない。
　逆フィルタではこの図７（ａ）の逆数をとって図７（ｂ）に示すような回復フィルタを構成する。一般的には、撮像光学系のＯＴＦは高周波ほど小さいため、回復フィルタは高周波ほど強調する作用を持つ。さて、カラーフィルタ配列によって、例えばＲでは一画素おきにサンプリングがなされる。するとサンプリング後の撮像光学系のＯＴＦは、Ｒのナイキスト周波数に関して図７（ｃ）のように撮像光学系のＯＴＦが折り返った形になる。回復フィルタの周波数特性は図７（ｃ）の逆数であるから図７（ｄ）のようにＲのナイキストでピークをもつ形になる。
　ここでカラーフィルタ配列によるサンプリングを考慮せずに、図７（ｂ）の回復フィルタを実際のぼけ特性である図７（ｃ）のＯＴＦに適用した場合を考える。すると、得られる画像は図７（ｅ）のような高周波が強調されすぎた画像になってしまう。つまり、デモザイク前にぼけ補正をする際には、カラーフィルタ配列から導かれる各色のナイキスト周波数を考慮した回復フィルタを用いる必要がある。
　説明の簡単のために一次元で解説を行ったが、実際にはフィルタ配列は二次元であるため、二次元的にナイキスト周波数による折り返りを考慮する必要がある。二次元の処理について、図８を用いて説明する。カラーフィルタ配列を考慮しない場合のＯＴＦを図８（ａ）に示す。縦軸横軸はそれぞれ縦方向、横方向の周波数を意味している。また、周波数応答を等高線で表示する。等高線上では周波数応答は等しいとする。センサでサンプリングが行われるため、縦方向横方向ともナイキスト周波数以上の周波数は存在しない。逆フィルタは図８（ａ）の各周波数についてＯＴＦの逆数をとり、逆フーリエ変換をすることで求める事が出来る。Ｒプレーンでの折り返りを考慮した場合の周波数応答を図８（ｂ）に示す。すると図８（ａ）のフィルタ配列を考慮しない場合に比べて、図８（ｂ）では折り返りによって高周波の応答が高くなっている事が分かる。
　本実施例の画像回復フィルタ構成法は図８（ｂ）の周波数特性の逆数をとってフーリエ変換を行い回復フィルタを求める事が特徴である。フィルタ配列によってサンプリグされた後のＲの周波数特性は図８（ｂ）であるから、フィルタ配列を考慮せずに図８（ａ）の逆数を図８（ｂ）に掛け合わせると高周波が過剰に強調されてしまう。従来法によって強調されすぎた高周波はリンギング等のアーチファクトの発生要因となってしまう。本発明ではサンプリング後の周波数特性の逆数をとるため、高周波が強調されすぎることはない。フィルタ配列によって画像回復フィルタの構成法を変える必要がある事を述べる。図８（ｃ）にベイヤー配列でサンプリングした後のＧプレーンの周波数特性を示す。図８（ｃ）のＧプレーン周波数特性と図８（ｂ）のＲプレーン周波数特性を比べると、折り返りの様子が異なる事が分かる。つまり、Ｒプレーンでは周波数面上で中央の四角形の形で折り返りが発生していたのに対し、Ｇプレーンではひし形の形で折り返りが発生している。従って、本発明で折り返りを考慮して回復フィルタを求める際、折り返りの方法は各フィルタの配置によって変わるため、回復フィルタはフィルタ配列によって構成方法を変える必要がある。
　＜デモザイクの詳細＞
　ぼけ補正後のＲＡＷデータに対してデモザイクを行う詳細を述べる。
　まずは簡単な線形演算によるデモザイクを説明する。説明のためベイヤー配列を例にとる。ＲＧＢカラープレーンのそれぞれにおけるＲＡＷデータは、値を持たない画素を有する。値を持たない画素に対して０挿入を行った後の各カラープレーンの状態を図４に示す。線形演算によるデモザイクでは図９に示す各フィルタを各カラープレーンにコンボリューション処理を行えば良い。具体的にはＲ、Ｂプレーンについては図９（ａ）に示すフィルタ、Ｇプレーンについては図９（ｂ）に示すフィルタを用いればよい。
　この処理によって画素が補間される様子を図１０に示す。図１０（ａ）はデモザイク処理前のＧプレーンの状態の例であって図１０（ａ）中央部は不明な画素であるため０挿入がなされている。図１０（ｂ）にコンボリューション後の状態を示す。図１０（ａ）において不明であった画素に対して上下左右の画素の平均が割り当てられている事が分かる。Ｒ、Ｂプレーンについても同様にコンボリューション後に不明な画素が周囲の画素によって補間される。
　次に、非線形処理を含むデモザイク処理の例として適応的なデモザイク処理を述べる。適応的なデモザイク処理では前述のように単純に周囲の平均をとるのではなく、上下、左右あるいは対角方向で周囲の画素値の差分をとり、変化の少ない方向の画素を用いて不明な画素値を計算する。変化のゆるやかな方向の画素値を用いたほうが、より信頼性のある補間が行えるためである。本発明ではデモザイクの前にぼけ補正を行うが、仮に適応的な処理の後にぼけ補正をすることを考えると以下のような問題が発生する。撮像光学系の一例としてレンズを挙げると、レンズの中には特定方向には大きくぼけるが、それとは垂直な方向にはぼけが少ない特性をもつものがある。そのようなレンズを用いて撮影した画像に対して適応的なデモザイクを行うと、より変化の少ない方向、すなわちぼけが大きい方向で補間を行いがちになる。ぼけが大きい方向で平均処理に類する演算を行うため、元来ぼけが大きかった方向でさらにぼける結果になる。そのような画像に対してぼけ補正を行った場合、前述した折り返りの問題の他に、デモザイクによるぼけが補正しきれないという問題がある。さらに、例えばレンズの特性が横方向にぼける場合であっても、被写体が縦縞など横方向にくっきりとしたものあると、方向判定の結果は縦方向となる場合もある。従って、デモザイクでぼけた分だけを、後から他の処理によって鮮鋭化するという処理を行うにしても、画像の場所ごとにどのような方向判定を行ったかによって処理を切り替える必要がある。本発明ではデモザイク前にぼけを補正するため、上記のような煩雑な問題を回避することができるのである。
　次に非線形処理を含むデモザイクの例として、色間の相関を用いるデモザイクを述べる。図３から明らかなようにベイヤー配列の場合にはＲ，Ｂの画素に比べてＧの画素数が多い。換言すると、Ｇプレーンのほうがより解像度が高く、Ｒ、Ｂプレーンに比べて細かな画像情報を取得できる。さらにＧプレーンは、Ｒ、Ｂプレーンとも相関が高いことが知られている。高度なデモザイクではＧプレーンの情報を積極的に利用してＲ、Ｂプレーンにおいて不明な画素の補間を行う。例えば不明なＲの値を補間するために、近隣画素のＲの値を用いるだけでなく、近隣のＧの画素値も用いて不明なＲの画素値を決定する。そのためＲプレーンの画像のぼけ特性にＧプレーンの画像のぼけ特性が混入することになる。
　仮に、撮像光学系がＧ、Ｂプレーンに比べＲプレーンのぼけが大きい特性を有する場合を考える。すると、本来ぼけが大きいＲプレーンの画像がぼけの少ないＧプレーンの画像情報を用いる事で多少なりともぼけが低減される事が分かる。つまりデモザイク後の画像のぼけ特性は、必ずしも撮像光学系のぼけ特性を反映しているとは言えない。
　この点を鑑みずに撮影光学系のＰＳＦから求めた回復フィルタによってぼけ補正を行うと、補正画像に望ましくないアーチファクトを発生させてしまう。先の例ではＲプレーンが撮像光学系のぼけ特性から予想されるほどぼけていないため、ぼけ補正を行うと過補正となってしまい、リンギング等のアーチファクトを発生させる要因となる。本発明では、デモザイク前のＲＡＷデータに対してぼけ補正を行うことで上記の問題を回避している。
　以上、デモザイク前にぼけ補正を行うことで、デモザキングによって画像のぼけ特性が影響を受ける前に、撮像光学系に起因するぼけを小さくするように補正することができる。
　［実施例２］
　本発明の目的は前述した実施例の機能を実現するソフトウエアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵまたはＭＰＵ）が実行することによっても、達成される。装置構成の一例を図６に示す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
　具体的には、上記のシステムあるいはコンピュータは、入力装置又はネットワークを介して図２に示すステップＳ１０１のＲＡＷデータを取得する。また、Ｓ１０２に対応する光学撮像系の補正係数を記録媒体やネットワークなどを介してコンピュータに提供する。そして、上記のシステムあるいはコンピュータの演算装置により画像回復処理ならびにデモザイク処理・その他の処理を行えばよい。
　プログラムコードを供給するためのコンピュータ読取可能な記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤなどを用いることができる。
　また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでない。つまり、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれる。
　さらに、記憶媒体から読み出されたコードが、コンピュータに挿入された機能拡張ユニットの処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。

Claims (8)

  1. 　複数の色を有するカラーフィルターとセンサとからなる撮像装置に入射される光を、前記カラーフィルターを介して前記センサでサンプリングすることにより得られるデータに基づいて取得される、前記複数の色それぞれに対応するＲＡＷデータを入力する入力手段と、
    　前記複数の色それぞれに対して、前記ＲＡＷデータで示されるＲＡＷ画像のぼけを補正するための補正係数を取得する取得手段と、
    　前記複数の色それぞれに対して、前記取得手段で取得された補正係数に基づいて、前記ＲＡＷデータで示されるＲＡＷ画像のぼけを補正し、補正画像を取得する補正手段と、
    　前記補正手段により取得された複数の補正画像をデモザイク処理し、出力画像データを生成するデモザイク手段と、
    を有することを特徴とする画像処理装置。
  2. 　前記補正手段は、前記複数の色それぞれに対して、前記取得手段で取得された補正係数と前記カラーフィルターの配列とに基づいて、前記ＲＡＷデータで示されるＲＡＷ画像のぼけを補正し、補正画像を取得することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記補正手段は、前記補正係数により生成される画像回復フィルタによりＲＡＷ画像のぼけを補正し、補正画像を取得することを特徴とする請求項１又は２に記載の画像処理装置。
  4. 　前記デモザイク手段は、前記複数の補正画像に対して線形、又は非線形のデモザイク処理することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
  5. 　前記補正手段は、前記複数の色それぞれに対して、前記ＲＡＷデータで示されるＲＡＷ画像のナイキスト周波数における周波数応答を高めることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
  6. 　前記補正係数は、前記撮像装置の光学特性に基づいて決定されることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
  7. 　複数の色を有するカラーフィルターとセンサとからなる撮像装置に入射される光を、前記カラーフィルターを介して前記センサでサンプリングすることにより得られるデータに基づいて取得される、前記複数の色それぞれに対応するＲＡＷデータを入力する入力手段と、
    　前記複数の色それぞれに対して、前記ＲＡＷデータで示されるＲＡＷ画像のぼけを補正するための補正係数を取得する取得工程と、
    　前記複数の色それぞれに対して、前記取得工程で取得された補正係数に基づいて、前記ＲＡＷデータで示されるＲＡＷ画像のぼけを補正し、補正画像を取得する補正工程と、
    　前記補正工程で取得された複数の補正画像をデモザイク処理し、出力画像データを生成するデモザイク工程と、
    を有することを特徴とする画像処理方法。
  8. 　コンピュータを、
    　複数の色を有するカラーフィルターとセンサとからなる撮像装置に入射される光を、前記カラーフィルターを介して前記センサでサンプリングすることにより得られるデータに基づいて取得される、前記複数の色それぞれに対応するＲＡＷデータを入力する入力手段と、
    　前記複数の色それぞれに対して、前記ＲＡＷデータで示されるＲＡＷ画像のぼけを補正するための補正係数を取得する取得手段と、
    　前記複数の色それぞれに対して、前記取得手段で取得された補正係数に基づいて、前記ＲＡＷデータで示されるＲＡＷ画像のぼけを補正し、補正画像を取得する補正手段と、
    　前記補正手段により取得された複数の補正画像をデモザイク処理し、出力画像データを生成するデモザイク手段と、
    として機能させるためのプログラムを記録したコンピュータ読取可能な記録媒体。
PCT/JP2010/057083 2010-04-21 2010-04-21 画像処理装置、方法、及び記録媒体 Ceased WO2011132279A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201080066268.5A CN102860012B (zh) 2010-04-21 2010-04-21 图像处理装置及图像处理方法
JP2012511453A JPWO2011132279A1 (ja) 2010-04-21 2010-04-21 画像処理装置、方法、及び記録媒体
PCT/JP2010/057083 WO2011132279A1 (ja) 2010-04-21 2010-04-21 画像処理装置、方法、及び記録媒体
US13/086,289 US8629917B2 (en) 2010-04-21 2011-04-13 Image processing apparatus, method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/057083 WO2011132279A1 (ja) 2010-04-21 2010-04-21 画像処理装置、方法、及び記録媒体

Publications (1)

Publication Number Publication Date
WO2011132279A1 true WO2011132279A1 (ja) 2011-10-27

Family

ID=44815511

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/057083 Ceased WO2011132279A1 (ja) 2010-04-21 2010-04-21 画像処理装置、方法、及び記録媒体

Country Status (4)

Country Link
US (1) US8629917B2 (ja)
JP (1) JPWO2011132279A1 (ja)
CN (1) CN102860012B (ja)
WO (1) WO2011132279A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6363889B2 (ja) * 2014-07-01 2018-07-25 キヤノン株式会社 撮像素子、撮像装置およびその制御方法
CN105578160A (zh) * 2015-12-23 2016-05-11 天津天地伟业数码科技有限公司 一种基于fpga平台的高清晰度去马赛克插值方法
KR20190049197A (ko) * 2017-11-01 2019-05-09 한국전자통신연구원 고해상도 영상을 이용한 업샘플링 및 rgb 합성 방법, 및 이를 수행하는 장치
JP2019169000A (ja) * 2018-03-23 2019-10-03 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN113918990A (zh) * 2021-09-30 2022-01-11 北京地平线信息技术有限公司 数据脱敏的处理方法和装置
US12470835B2 (en) * 2023-02-06 2025-11-11 Motorola Solutions, Inc. Method and apparatus for analyzing a dirty camera lens to determine if the dirty camera lens causes a failure to detect various events
CN119762818B (zh) * 2024-12-24 2026-01-02 爱泊车科技有限公司 一种相机raw图像数据处理匹配方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008211679A (ja) * 2007-02-27 2008-09-11 Kyocera Corp 撮像装置およびその方法
JP2010087614A (ja) * 2008-09-29 2010-04-15 Toshiba Corp 画像処理装置、画像処理方法、及び、プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7133569B1 (en) * 2000-07-31 2006-11-07 Polaroid Corporation Aliasing artifact attenuation system
JP2002199410A (ja) 2000-12-25 2002-07-12 Canon Inc 撮像装置、画像劣化補正処理方法及び記憶媒体
JP2006005477A (ja) * 2004-06-15 2006-01-05 Canon Inc 撮像装置及び撮像方法及びプログラム
US7728844B2 (en) * 2004-07-09 2010-06-01 Nokia Corporation Restoration of color components in an image model
JP4700445B2 (ja) * 2005-09-01 2011-06-15 オリンパス株式会社 画像処理装置および画像処理プログラム
KR101292458B1 (ko) * 2005-11-10 2013-07-31 테세라 인터내셔널, 인크 모자이크 도메인에서의 이미지 개선
JP2009089082A (ja) * 2007-09-28 2009-04-23 Kyocera Corp 画像復元装置およびその方法
JP4661922B2 (ja) * 2008-09-03 2011-03-30 ソニー株式会社 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
JP2010199650A (ja) * 2009-02-23 2010-09-09 Fujitsu Semiconductor Ltd 画像処理装置および画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008211679A (ja) * 2007-02-27 2008-09-11 Kyocera Corp 撮像装置およびその方法
JP2010087614A (ja) * 2008-09-29 2010-04-15 Toshiba Corp 画像処理装置、画像処理方法、及び、プログラム

Also Published As

Publication number Publication date
JPWO2011132279A1 (ja) 2013-07-18
US20110261236A1 (en) 2011-10-27
US8629917B2 (en) 2014-01-14
CN102860012A (zh) 2013-01-02
CN102860012B (zh) 2015-06-03

Similar Documents

Publication Publication Date Title
JP5326943B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US8537239B2 (en) Image processing method, image processing apparatus and image processing program
JP5284537B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置
US8837853B2 (en) Image processing apparatus, image processing method, information recording medium, and program providing image blur correction
JP2011055038A5 (ja)
WO2011122284A1 (ja) 画像処理装置、およびそれを用いた撮像装置
KR20110029001A (ko) 베이어 영상에서의 이미지 처리 방법 및 장치
US8982234B2 (en) Information processing apparatus and method
WO2011132279A1 (ja) 画像処理装置、方法、及び記録媒体
JP6045767B1 (ja) 撮像装置、画像取得方法、画像取得プログラムおよび記憶媒体
JP2013055623A (ja) 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム
JP5398750B2 (ja) カメラモジュール
JP5535099B2 (ja) カメラモジュール及び画像記録方法
JP2010141661A (ja) 画像処理装置
JP2012204856A (ja) 画像処理方法及びカメラモジュール
JP7337555B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
US20080012964A1 (en) Image processing apparatus, image restoration method and program
JP2013055622A (ja) 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム
JP4478981B2 (ja) 色雑音低減手法およびカラー撮像装置
JP2012156714A (ja) プログラム、画像処理装置、画像処理方法および撮像装置。
EP4332834A1 (en) Method and camera device for generating a moiré-corrected image file
JP4708180B2 (ja) 画像処理装置
JP2015109562A (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
JP2016005246A (ja) 画像処理装置、画像表示装置、画像処理方法、プログラム、記憶媒体
JPWO2008090858A1 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080066268.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10850221

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012511453

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10850221

Country of ref document: EP

Kind code of ref document: A1