WO2014208434A1 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
WO2014208434A1
WO2014208434A1 PCT/JP2014/066233 JP2014066233W WO2014208434A1 WO 2014208434 A1 WO2014208434 A1 WO 2014208434A1 JP 2014066233 W JP2014066233 W JP 2014066233W WO 2014208434 A1 WO2014208434 A1 WO 2014208434A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
component
frequency
processing
image processing
Prior art date
Application number
PCT/JP2014/066233
Other languages
English (en)
French (fr)
Inventor
山田　勲
Original Assignee
アキュートロジック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アキュートロジック株式会社 filed Critical アキュートロジック株式会社
Priority to KR1020167001240A priority Critical patent/KR101685885B1/ko
Priority to US14/901,174 priority patent/US9542730B2/en
Priority to CN201480035808.1A priority patent/CN105340268B/zh
Publication of WO2014208434A1 publication Critical patent/WO2014208434A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only

Definitions

  • the present invention relates to an image processing apparatus, and more particularly to an image processing apparatus, an image processing method, and an image processing program for performing image processing on a Bayer image.
  • Patent Document 1 first performs an interpolation process on a Bayer image including R pixels, G pixels, and B pixels, and generates an RGB image having all R, G, and B components in each pixel. Then, after generating a luminance component and a color difference component from the RGB image, different image processing is performed for each component. As described above, different image processing is performed depending on whether it is a luminance component or a color component. For example, since noise characteristics are different for each component, processing is performed according to the component for appropriate noise removal processing. This is because it is better.
  • Patent Document 1 wavelet transformation is performed on each of the luminance component and the color component to generate components in a plurality of different frequency bands, and then noise removal processing is performed on the components in each frequency band. Thereby, it is possible to appropriately perform noise removal processing while taking into consideration the difference in noise characteristics between the low frequency component and the high frequency component.
  • each pixel component in order to perform image processing by paying attention to the difference in characteristics between color components and luminance components in an image, each pixel component must be interpolated. In this case, data having a larger data amount than the original Bayer image must be processed during image processing. When the amount of data to be processed increases, the capacity of the memory for storing the data increases or the processing takes time.
  • An object of the present invention is to provide an image processing apparatus, an image processing method, and an image processing program that process a relatively small amount of data while performing image processing according to the difference between color components and luminance components in an image.
  • the image processing apparatus includes a row in which R (red) pixels and G (green) pixels are alternately arranged in a horizontal direction, G (green) pixels, and B (blue) pixels.
  • Image acquisition means for acquiring a Bayer image according to a Bayer array in which rows arranged alternately in the horizontal direction are arranged in the vertical direction, and the Bayer image indicating luminance information in each of the vertical direction and the horizontal direction
  • a first frequency resolving unit that generates a plurality of component images by separating a low frequency component and a high frequency component indicating color information; and an image based on the component image after the frequency resolving by the first frequency resolving unit
  • At least one of a pair of processing consisting of a feature amount calculation process for calculating a feature amount related to, a correction process for the component image after frequency decomposition, and an information compression process and an information expansion process for the component image after frequency decomposition
  • An image processing unit that executes image processing so that the high-frequency component and the low-
  • the image processing method includes a row in which R (red) pixels and G (green) pixels are alternately arranged in the horizontal direction, and G (green) pixels and B (blue) pixels in the horizontal direction.
  • An image acquisition step for acquiring a Bayer image in accordance with a Bayer array in which alternating rows are alternately arranged in the vertical direction, and a low-frequency component indicating luminance information in the vertical and horizontal directions of the Bayer image And a high-frequency component indicating color information, and a frequency decomposition step for generating a plurality of component images, and a feature amount calculation for calculating a feature amount relating to the image based on the component image after the frequency decomposition in the frequency decomposition step Image processing, correction processing for the component image after frequency decomposition, and at least one of a pair of processing including information compression processing and information expansion processing for the component image after frequency decomposition Image processing step that executes different processing for the high-frequency component and the low-frequency component, and the decomposed image synthesis that regenerates
  • the program according to the first aspect is such that R (red) pixels and G (green) pixels are alternately arranged in a horizontal direction, and G (green) pixels and B (blue) pixels are alternately arranged in a horizontal direction.
  • An image acquisition step of acquiring a Bayer image in accordance with a Bayer array in which rows arranged alternately in a vertical direction, and a low-frequency component and a color indicating luminance information in the vertical direction and the horizontal direction of the Bayer image A frequency decomposition step that generates a plurality of component images by separating the information into high-frequency components indicating information, and a feature amount calculation process that calculates a feature amount related to the image based on the component image after the frequency decomposition in the frequency decomposition step; Image processing of at least one of a correction process for the component image after frequency decomposition and an information compression process and an information expansion process for the component image after frequency decomposition An image processing step that is executed so that the high-frequency component and the low-frequency component are processed differently, and
  • the program according to the present invention can be recorded and distributed on a magnetic recording medium such as a flexible disk, an optical recording medium such as a DVD-ROM, a computer-readable recording device such as a hard disk or a USB memory, and the like via the Internet. It can be distributed by downloading.
  • the image processing apparatus includes a row in which R (red) pixels and G (green) pixels are alternately arranged in a horizontal direction, G (green) pixels, and B (blue) pixels.
  • Image acquisition means for acquiring a Bayer image according to a Bayer array in which rows arranged alternately in the horizontal direction are arranged in the vertical direction, and the Bayer image indicating luminance information in each of the vertical direction and the horizontal direction
  • a frequency resolving unit that generates a plurality of component images by separating into a low frequency component and a high frequency component indicating color information, and calculates a feature amount related to the image based on the component image after the frequency resolving by the frequency resolving unit
  • the high-frequency component and the low-frequency component differ in at least one of feature amount calculation processing, correction processing for the component image after frequency decomposition, and information compression processing for the component image after frequency decomposition. That an image processing means for executing such a process, the image processing means and an output means for outputting at least
  • the present invention is based on the knowledge that a low frequency component indicates luminance information and a high frequency component indicates color information among a plurality of frequency band components obtained by performing frequency decomposition on a Bayer image. Based on this knowledge, the present invention performs frequency decomposition on a Bayer image to separate a low-frequency component indicating luminance information and a high-frequency component indicating color information, and then performing different image processing on each image, The image processing corresponding to each of the color component and the luminance component is performed. This makes it possible to perform appropriate image processing according to the components, and also performs frequency decomposition directly on the Bayer image to acquire each component, so that processing is performed during image processing compared to the case of interpolation. The amount of data to be saved can be reduced.
  • the image processing apparatus regenerates the original image by combining the component images after performing the image processing.
  • the frequency decomposition by the first frequency decomposition means in the first aspect focuses on the fact that the image data is decomposed into the color component and the luminance component by being directly applied to the Bayer image.
  • the conventional frequency decomposition is different from the present invention in that the frequency decomposition is performed after interpolating pixels of the Bayer image, and image processing is performed by paying attention only to whether it is a low frequency component or a high frequency component. It is different from the present invention in that it is only a point.
  • the image processing apparatus outputs the processed feature value as it is without synthesizing the component image or outputs the calculated feature value after performing the image processing.
  • FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus according to a first embodiment which is an embodiment of the present invention. It is a conceptual diagram which shows the Bayer arrangement
  • FIG. 4A is a graph conceptually showing the frequency distribution of the color component and the luminance component in the subject image before being sampled by the image sensor.
  • FIG. 4B is a graph conceptually showing the frequency distribution of the color component and the luminance component in the subject image after being sampled by the image sensor.
  • FIG. 4A is a graph conceptually showing the frequency distribution of the color component and the luminance component in the subject image before being sampled by the image sensor.
  • FIG. 4B is a graph conceptually showing the frequency distribution of the color component and the luminance component in the subject image after being sampled by the image sensor.
  • FIG. 4C is a graph conceptually showing the frequency distribution of the component image generated by the one-level discrete wavelet transform.
  • FIG. 4D is a graph conceptually showing the frequency distribution of the component image generated by subjecting each component image of FIG. 4C to further two-level discrete wavelet transform.
  • FIG. 5A is a graph conceptually showing the frequency distribution in the horizontal direction and the vertical direction in each component image.
  • FIG. 5B is a graph conceptually showing the frequency distribution of the color component and the luminance component included in each component image. It is a conceptual diagram which shows the relationship between each component image produced
  • FIG. 8 is a block diagram illustrating a circuit configuration for frequency-decomposing W and U images and a circuit configuration of a correction processing unit for performing filter processing on component images such as WHH1 and UHH2 generated by frequency decomposition.
  • FIG. 8 is a block diagram showing a circuit configuration for frequency-decomposing V and Y images and a circuit configuration of a correction processing unit for performing filter processing on component images such as VHH1 and YHH2 generated by frequency decomposition.
  • FIG. 9 is a block diagram showing a circuit configuration for generating a W ′ image and a U ′ image by combining component images such as WHH 1 ′ and ULH 2 ′ subjected to correction processing in the decomposed image combining unit in FIG. 8.
  • FIG. 9 is a block diagram illustrating a circuit configuration for generating a V ′ image and a Y ′ image by combining component images such as VHH1 ′ and YLH2 ′ that have been subjected to correction processing in the decomposed image combining unit of FIG. 8. It is a block diagram which shows the structure of 2nd Embodiment which concerns on another one Embodiment of this invention.
  • the imaging apparatus 1 includes an imaging optical system 2, an imaging element 3 (image acquisition means), and an image processing unit 100 (image processing means).
  • the imaging optical system 2 has various lenses, guides light from a subject to the imaging device 3 and forms an image on the imaging device 3.
  • the imaging device 3 converts the formed subject image into an electrical signal by photoelectric conversion, and converts the electrical signal into a digital image signal and outputs the digital image signal.
  • the image processing unit 100 generates image data corresponding to the subject image by performing predetermined signal processing on the digital image signal output from the imaging device 3.
  • the image data generated by the image processing unit 100 is output as an image signal related to an image to be displayed on a display that displays an image, or is output to a computer-readable recording medium.
  • the imaging device 3 and the image processing unit 100 will be described in more detail.
  • the image sensor 3 includes a color filter arranged in a Bayer array, a photoelectric conversion element that outputs an analog signal corresponding to the intensity of light received through each color filter, and a digital signal that is an analog signal from the photoelectric conversion element. And an AD converter for converting into As shown in FIG. 2, the Bayer array includes rows in which R (red) and G (green) are alternately arranged in the horizontal direction and rows in which G (green) and B (blue) are alternately arranged in the horizontal direction. It is an array arranged alternately in the vertical direction. In FIG. 2, G belonging to the same row as R is indicated as Gr, and G belonging to the same row as B is indicated as Gb.
  • the image sensor 3 outputs an image signal indicating an image in which pixels are arranged according to the Bayer array (hereinafter referred to as a Bayer image).
  • the image processing unit 100 has two frequency decomposing units that decompose the image signal from the image sensor 3 into a high frequency component and a low frequency component. These frequency decomposition units 110 and 120 (first and second frequency decomposition means) both decompose the image signal according to the discrete wavelet transform.
  • CDF 5/3 wavelet is used.
  • a low frequency component is generated by a low-pass filter having 5 taps (5 pixels per dimension)
  • a high-frequency component is generated by a high-pass filter having 3 taps (3 pixels per dimension).
  • CDF 9/7 or the like may be employed.
  • any reversible multi-resolution conversion such as Haar Wavelet may be used.
  • the filter coefficients in the one-dimensional case in CDF 5/3 wavelet are as follows. Low-pass filter: [-1/8, 2/8, 6/8, -1/8] High-pass filter: [ ⁇ 1/2, 1, ⁇ 1/2]
  • the filter shown in FIG. 3 is a low-pass filter in both the horizontal and vertical directions of the image.
  • the numerical values arranged in a matrix in the horizontal direction and the vertical direction are weights at the respective pixel positions in the horizontal direction and the vertical direction. “/ 64” indicates that the weight of each pixel position divided by 64 is the filter coefficient at each position.
  • FIGS. 3B to 3D the filter in FIG. 3A is denoted as LL.
  • FIG. 3 (b) is a high-pass filter for the horizontal direction of the image and a low-pass filter for the vertical direction.
  • this filter is denoted as HL.
  • the filter shown in FIG. 3C is a low-pass filter for the horizontal direction of the image and a high-pass filter for the vertical direction.
  • this filter is denoted as LH.
  • the filter in FIG. 3D is a high-pass filter in both the horizontal and vertical directions of the image.
  • this filter is denoted as HH.
  • each filter coefficient included in the filter is multiplied by a pixel corresponding to the position, and the sum of all the multiplication results is used as a pixel value after filtering.
  • FIGS. 3A to 3D show an example in which these filter processes are performed on the Bayer image.
  • each pixel included in the Bayer image is multiplied by a filter coefficient corresponding to the position of the pixel.
  • Such a filter operation is performed for each of the LL filter, the HL filter, the LH filter, and the HH filter every two pixels in the horizontal direction and the vertical direction in the image.
  • four types of component images composed of the pixel values after the filter processing are obtained as the filter processing results.
  • a component image obtained by filter processing using an LL filter is referred to as an LL image.
  • component images obtained by filter processing using an HL filter, an LH filter, and an HH filter are defined as an HL image, an LH image, and an HH image.
  • the LL image is a component image corresponding to the low frequency component of the original image in both the horizontal direction and the vertical direction.
  • the HL image is an image corresponding to the high frequency component of the original image in the horizontal direction and the low frequency component of the original image in the vertical direction.
  • the LH image is an image corresponding to the low frequency component of the original image in the horizontal direction and the high frequency component of the original image in the vertical direction.
  • the HH image is a component image corresponding to the high frequency component of the original image in both the horizontal direction and the vertical direction.
  • the result of frequency decomposition of the image signal obtained from the image pickup device is simply frequency decomposition of the luminance component of the image. It is only a result.
  • the component image obtained thereby is simply a luminance component. It will show different properties from the decomposition results. This will be described below.
  • FIG. 4A is an example of the frequency distribution of the luminance component and the color component in the subject image before entering the image sensor 3.
  • FIG. 4B is an example of the frequency distribution of the luminance component and the color component in the image signal after being sampled by the image sensor 3.
  • fs is a sampling frequency.
  • the luminance component and the color component in the subject image before entering the image sensor 3 are orthogonally modulated in the image sensor 3 by the color filters arranged according to the Bayer array. Thereby, the luminance component is arranged on the low frequency side and the color component is arranged on the high frequency side.
  • the frequency decomposition of this embodiment is first performed on an image in which a luminance component and a color component are arranged as shown in FIG.
  • the Bayer image shown in FIG. 4B is decomposed into a high-frequency component and a low-frequency component in the horizontal direction by filter processing using an LL filter and an HL filter, as shown in FIG. 4C. Therefore, the LL image includes many luminance components, and the HL image includes many color components.
  • performing frequency decomposition on a Bayer image is equivalent to demodulating a luminance component and a color component that are orthogonally modulated by a color filter in a Bayer array.
  • FIG. 5A shows the frequency distribution of the LL image, the HL image, the LH image, and the HH image with respect to the horizontal direction and the vertical direction.
  • FIG. 5B shows the distribution of the luminance component and the color component in the LL image, the HL image, the LH image, and the HH image with respect to the horizontal frequency and the vertical frequency, as in FIG. Show.
  • the LL image mainly includes a luminance component
  • each of the HL, LH, and HH images mainly includes a color component. That is, the LL image indicates luminance information in the original image, and each of the HL, LH, and HH images indicates color information in the original image.
  • the frequency resolving unit 110 performs one-level (one-layer) discrete wavelet transform on the image signal related to the Bayer image output from the image sensor 3 using the filter coefficient shown in FIG. That is, the frequency resolving unit 110 generates four component images of LL, HL, LH, and HH from the Bayer image signal.
  • each of the Y, U, V, and W pixels takes in the elements of the R pixel, the B pixel, and the G pixel in the original image as shown in the following expression.
  • the Y image mainly represents the luminance component of the image. When the subject includes many high-frequency color components, these components are mixed in the Y image.
  • the U image mainly represents the color component of the image. When the subject includes many high-frequency luminance components in the horizontal direction, these components are mixed in the U image.
  • the V image mainly represents the color component of the image. When the subject includes many high-frequency luminance components in the vertical direction, these components are mixed in the V image.
  • the W image mainly represents the color component of the image. When the subject includes many high-frequency color components, these components are mixed in the W image.
  • Y (2G + R + B) / 4
  • U (RB) / 2
  • the frequency resolving unit 120 performs 2-level (2 hierarchies) discrete wavelet transform on the Y, U, V, and W component images generated by the frequency resolving unit 110. That is, as shown in FIG. 6, the frequency decomposition unit 120 decomposes the Y, U, V, and W component images into LL, HL, LH, and HH component images and generates the LL image thus generated. Is further decomposed into LL, HL, LH and HH component images.
  • the component images generated by the first decomposition by the frequency decomposition unit 120 are denoted as YHL1, YLH1, YHH1, and the like.
  • component images generated by the second decomposition by the frequency decomposition unit 120 are denoted as YLL2, YHL2, YLH2, YHH2, and the like.
  • Y, U, V, and W of the first character indicate which of the Y, U, V, and W component images each component image is derived from.
  • FIG. 4D shows a frequency distribution in the horizontal direction of each component image generated by the frequency decomposition unit 120.
  • the Y image and U image shown in FIG. 4C described above mainly contain a luminance component and a color component, respectively.
  • the high frequency component in the original subject image. May be mixed.
  • the UL2 image does not include a high-frequency luminance component and shows a low-frequency color component itself in the original subject image.
  • the YLL2 image does not include a high-frequency color component and shows a low-frequency luminance component itself in the original subject.
  • the image processing unit 100 includes a correction processing unit 130 that performs correction processing on each component image generated by the frequency decomposition unit 120.
  • the noise component is reduced by performing filter processing on each component image.
  • a bilateral filter is used as the edge preserving filter.
  • ⁇ ⁇ p (N)
  • the operation of the bilateral filter is performed by calculating a weighted weighted average of all the pixels q ⁇ belonging to ⁇ .
  • the weight assigned to each pixel is determined by two terms: a weight based on distance and a weight based on a difference in pixel value from the target pixel.
  • the pixel of interest is p
  • each pixel belonging to ⁇ is q.
  • ⁇ (p, q) is a distance between the pixel p and the pixel q
  • the weight based on the distance is expressed as follows.
  • Df (p, q) is the difference in pixel value between the pixel p and the pixel q
  • the weight due to the difference in pixel value from the pixel of interest is expressed as follows.
  • the weight of each pixel is expressed as the product of the weight based on the distance and the weight based on the difference between the pixel values as follows.
  • the bilateral filter is applied by the following calculation. Note that u ′ is a pixel value after filtering.
  • the correction processing unit 130 includes a filter coefficient acquisition unit 131 (filter acquisition unit) that acquires a filter coefficient for filter processing using a bilateral filter, and a filter based on the filter coefficient acquired by the filter coefficient acquisition unit 131.
  • a filter processing unit 132 filter processing means that performs processing.
  • the filter coefficient acquisition unit 131 acquires filter coefficients as follows.
  • This embodiment is mainly intended to reduce noise in low frequency components (such as YLL2). Accordingly, the reference range of the filter (the size of the filter kernel) can be set to about 3 ⁇ 3 to 5 ⁇ 5. Since YLL2 images and the like are down-sampled by undergoing frequency decomposition, even if the kernel size is small, it is possible to filter to a low frequency.
  • the filter coefficient acquisition unit 131 relates to the weight w s according to the distance, as shown in FIGS. 7A and 7B, the horizontal 3 ⁇ vertical 3 weights w s1 and w s2 , or FIG. 7C and FIG.
  • the weights w s1 and w s2 of horizontal 5 ⁇ vertical 5 shown in (d) are held.
  • FIG. 7A to FIG. 7D show filter coefficients corresponding to the respective pixel positions as in FIG. In this way, the calculation amount is reduced by setting the weights of w s1 and w s2 to integers.
  • the filter coefficient group obtained based on w s1 corresponds to the first coefficient group in the present invention.
  • the filter coefficient group obtained based on w s2 corresponds to the second coefficient group in the present invention.
  • w s1 (first weight) has a value that decreases as the distance between the pixels increases (that is, monotonically decreases with respect to the distance), and is used when filtering is performed on a YLL2 image or the like indicating luminance information. .
  • w s2 (second weight) is used for the component images of ULL2, VLL2, and WLL2 indicating color information.
  • w s2 is 1 regardless of the pixel position, and does not correspond to the distance.
  • the ability to reduce noise in the filter increases.
  • the resolution in the image after the filter processing is lowered.
  • the filter coefficient acquisition unit 131 holds the value of ⁇ 2 R with respect to the weight w R based on the pixel value difference.
  • ⁇ R is set in advance according to, for example, the characteristics of the imaging optical system 2 and the imaging element 3 of the imaging device 1.
  • the setting value acquisition method is as follows.
  • the imaging optical system 2 and the imaging element 3 generate a Bayer image signal relating to an object having uniform brightness as a subject.
  • the frequency resolving units 110 and 120 perform the above-described frequency decomposition on the Bayer image signal. Thereby, each component image of YLL1, YHL2, YLH2, YHH2, ULL1,... Is obtained.
  • the standard deviation ⁇ N of the pixel value is calculated for each component image.
  • ⁇ R is obtained by multiplying ⁇ N by an appropriate coefficient k N as follows.
  • the magnitude of k N is adjusted in consideration of the balance between the image degradation after processing and the noise suppression capability. For example, the smaller k N is, the lower the noise suppression capability is, while the processed image is less likely to deteriorate. Conversely, the smaller k N is, the higher the noise suppression capability is, while the processed image is less likely to deteriorate.
  • the deterioration of the image indicates, for example, the deterioration of the resolution with respect to the luminance information, and the strong color bleeding with respect to the color information.
  • kN is set by using the fact that human vision is not sensitive to changes in color resolution (color blur, etc.) as compared to the case of changes in luminance resolution. . For example, kN is decreased for a YHL1 image or the like indicating a high-frequency luminance component, and kN is increased for a ULL2 or VLL2 component image or the like indicating a low-frequency color component.
  • the filter coefficient acquisition unit 131 holds ⁇ 2 R set in advance for each image component such as YLL2 and YHL1 in association with each image component.
  • the filter coefficient acquisition unit 131 uses w s1 as the weight used for the YLL2 image indicating luminance information, w s2 as the weight used for the UL2 image indicating color information, and ⁇ 2 R for each image component. Hold each one.
  • the filter coefficient acquisition unit 131 uses the following filter coefficients c (p, q) used for the filter calculation shown in Equation 6 above, based on Equations 4 to 6, using ⁇ 2 R , w s1, and w s2 , Calculated for each component image.
  • the filter processing unit 132 performs filter processing on each image component based on Equation 6 using the filter coefficient acquired by the filter coefficient acquisition unit 131.
  • the image processing unit 100 synthesizes all the component images that have been subjected to the correction processing by the correction processing unit 130, and regenerates the Bayer image, and the decomposed image combining units 140 and 150 (first and second) Second disassembled image combining means).
  • the decomposed image composition unit 140 reproduces each component image of Y, U, V, and W by performing inverse transformation of the discrete wavelet transform performed by the frequency decomposition unit 120 on each component image such as YLL2 and YHL1.
  • the decomposed image composition unit 150 applies the inverse transform of the discrete wavelet transform performed by the frequency decomposition unit 110 to each of the Y, U, V, and W component images generated by the decomposed image composition unit 140, thereby converting the Bayer image. Regenerate.
  • the frequency resolution unit 110 and the like are constructed as a circuit that processes an image using a line buffer.
  • the circuits constituting the frequency resolving units 110 and 120 include a horizontal DWT unit 11 that decomposes an input image into a high-frequency component and a low-frequency component in the horizontal direction, and an input image in the vertical direction.
  • a vertical DWT unit 12 that decomposes into a high frequency component and a low frequency component is included.
  • a circuit configuration including one horizontal DWT unit 11 and two vertical DWT units 12 is provided for one level of discrete wavelet transform.
  • the frequency resolving unit 110 performs one-level discrete wavelet transform as described above. Therefore, a circuit configuration for one stage is provided as the frequency resolving unit 110 as shown in FIG.
  • s (m) is the pixel value of the mth pixel in the horizontal direction.
  • the vertical DWT unit 12 performs the same calculation on the input image in the vertical direction as the horizontal DWT unit 11 using Equations 9 and 10. In this case, s (m) is the pixel value of the mth pixel in the vertical direction.
  • the horizontal DWT unit 11 in the frequency decomposition unit 110 decomposes the Bayer image into an H component and an L component in the horizontal direction.
  • the vertical DWT unit 12 decomposes the H component from the horizontal DWT unit 12 into a high frequency component and a low frequency component in the vertical direction. Thereby, a W (HH) image and a U (HL) image are generated.
  • the other vertical DWT unit 12 decomposes the L component from the horizontal DWT unit 12 into a high frequency component and a low frequency component in the vertical direction. Thereby, a V (LH) image and a Y (LL) image are generated.
  • the discrete wavelet transform performed on the Bayer image based on Equations 9 and 10 above is equivalent to the discrete wavelet transform shown in FIG.
  • the frequency decomposition unit 120 performs two-level discrete wavelet transform on the image as described above. Therefore, as shown in FIGS. 9 and 10, the frequency resolution unit 120 has a circuit configuration including a horizontal DWT unit 11 and two vertical DWT units 12 for each of Y, U, V, and W component images. Two stages are provided. For example, for the W image, as shown in FIG. 9, the horizontal DWT unit 11 at the first stage decomposes the W image into an H component and an L component in the horizontal direction. Then, the two vertical DWT units 12 decompose the H component and the L component into a high frequency component and a low frequency component in the vertical direction, respectively.
  • each component image of WHH1, WHL1, WLH1, and WLL1 is generated.
  • the former three are output to the correction processing unit 130, and only the remaining WLL1 images are output to the second-stage horizontal DWT unit 11.
  • the WLL1 image is decomposed into component images of WHH2, WHL2, WLH2, and WLL2 by the horizontal DWT unit 11 and the vertical DWT unit 12 in the second stage. These component images are output to the correction processing unit 130.
  • Each component image is input to each filter unit 13 provided as the correction processing unit 130.
  • the filter unit 13 is provided for each component image, and each has the functions of both the filter coefficient acquisition unit 131 and the filter processing unit 132.
  • the filter unit 13 holds weights w s1 or w s2 and ⁇ 2 R corresponding to each component image.
  • the filter unit 13 acquires a filter coefficient based on the input component image and performs a filtering process on the component image.
  • the component image that has been subjected to the filter process (correction process) is output to the decomposed image composition unit 140.
  • each component image after the correction processing is denoted as WHH1 ′, ULL2 ′, and the like.
  • the circuits constituting the decomposed image combining units 140 and 150 include a horizontal IDWT unit 21 that combines two component images composed of a high-frequency component and a low-frequency component in the horizontal direction. And a vertical IDWT unit 22 that synthesizes two component images composed of a high-frequency component and a low-frequency component in the vertical direction.
  • the horizontal IDWT unit 21 synthesizes the component image by performing inverse conversion of the conversion performed by the horizontal DWT unit 11 on the component image.
  • the vertical IDWT unit 22 synthesizes the component image by performing inverse conversion of the conversion performed by the vertical DWT unit 12 on the component image.
  • a circuit configuration including one horizontal IDWT unit 21 and two vertical IDWT units 22 is provided for one-level discrete wavelet inverse transform.
  • the decomposed image composition unit 140 synthesizes component images such as WHH1 ′ and UHL2 ′, and generates component images of Y ′, U ′, V ′, and W ′. For this reason, as the decomposed image synthesizing unit 140, as shown in FIGS. 11 and 12, a two-stage circuit configuration corresponding to the frequency decomposing unit 120 is provided. Note that Y ′ or the like indicates a component image after correction processing.
  • the circuit configuration for generating the W ′ image is as follows. As shown in FIG. 11, the one vertical IDWT unit 22 in the first stage to which the WHH2 ′ image and the WHL2 ′ image are input generates an H component by combining them. On the other hand, the other vertical IDWT unit 22 in the first stage, to which the WLH2 ′ image and the WLL2 ′ image are input, synthesizes them to generate an L component. The H component and L component generated by the first-stage vertical IDWT unit 22 are input to the first-stage horizontal IDWT unit 21. The horizontal IDWT unit 21 combines these to generate a WLL1 ′ image.
  • the H component and the L component generated by the second-stage vertical IDWT unit 22 are input to the second-stage horizontal IDWT unit 21.
  • the horizontal IDWT unit 21 combines these to generate a W ′ image.
  • the other component images of Y ′, U ′, and V ′ are similarly generated.
  • the decomposed image combining unit 150 combines the Y ′ image, the U ′ image, the V ′ image, and the W ′ image, and regenerates one Bayer image. Therefore, a circuit configuration for one stage corresponding to the frequency decomposition unit 110 is provided as the decomposed image combining unit 150 as shown in FIG.
  • One vertical IDWT unit 22 combines the W ′ image and the U ′ image to generate an H component.
  • the other vertical IDWT unit 22 combines the V ′ image and the Y ′ image to generate an L component.
  • the horizontal IDWT unit 21 combines the H component and the L component generated by the vertical IDWT unit 22 and regenerates the Bayer image.
  • the correction processing unit 130 when the correction processing unit 130 performs filter processing on an image as correction processing, the high-frequency component indicating color information and the low-frequency component indicating luminance information among the component images are different.
  • Use filter coefficients For example, as a weight based on the distance between pixels, w s1 is used for a YLL2 image or the like indicating luminance information, and w s2 is used for a UL2 image or the like indicating color information. Further, different ⁇ R is used for the component image indicating the luminance information and the component image indicating the color information as the weight based on the difference between the pixel values.
  • Filter processing is applied to the component image.
  • the frequency resolving units 110 and 120 directly perform frequency decomposition by discrete wavelet transform on the Bayer image. Therefore, for example, the amount of data to be processed can be reduced as compared with the case where the image is subjected to color interpolation.
  • the frequency resolution unit 110 and the frequency resolution unit 120 perform discrete wavelet transform at each level using the same filter coefficient. That is, the frequency resolving units 110 and 120 have the same frequency characteristics. Accordingly, the decomposed image composition units 140 and 150 also have the same frequency characteristics. As a result, as shown in FIGS. 8 to 12, each stage of the frequency decomposing units 110 and 120 can be constructed with the same circuit configuration, and the decomposed image synthesizing units 140 and 150 also have the same circuit configuration. It can be constructed.
  • the frequency decomposition units 110 and 120 and at least a part or all of the decomposed image synthesis units 140 and 150 are realized not by hardware alone but by a combination of hardware and software. It is also possible. In this case, for example, the CPU is caused to execute a program according to a predetermined algorithm of discrete wavelet transform. At this time, the frequency decomposition units 110 and 120 and the decomposed image composition units 140 and 150 have the same frequency characteristics, so that programs for performing each level of discrete wavelet transform can be constructed according to the same algorithm.
  • the imaging apparatus 201 includes an imaging optical system 2, an imaging element 3, a frequency resolution unit 110, a frequency resolution unit 120, and an image processing unit 240.
  • Signal processing or image processing by the imaging optical system 2, the imaging device 3, the frequency resolving unit 110, and the frequency resolving unit 120 is the same as that in the first embodiment.
  • the image processing unit 240 includes a correction processing unit 130 and a compression processing unit 210.
  • the correction processing of the correction processing unit 130 is the same as that in the first embodiment.
  • the compression processing unit 210 performs compression processing on each component image after the correction processing unit 130 performs correction processing.
  • the compression process is performed according to various compression methods related to digital data.
  • the compression processing unit 210 preferably performs different compression processing for the high-frequency component and the low-frequency component in the component image. For example, a reversible compression method is used for YLL2 images, but taking into account the visual characteristics of people who are not sensitive to color resolution degradation, an irreversible compression method with a high compression ratio is used for UL2 images and the like. May be.
  • the imaging apparatus 201 outputs the compressed data compressed by the compression processing unit 210 as it is.
  • the compressed data is transmitted to the image display device 202 via the network 203 such as the Internet.
  • the image display device 202 includes an expansion processing unit 221, a decomposed image combining unit 140, a decomposed image combining unit 150, a color interpolation unit 222, and a display 223.
  • the decompression processing unit 221 performs decompression processing on the compressed data transmitted from the imaging device 201.
  • the decompression process is a process for restoring the compressed data to the data before compression according to the decompression system that is paired with the compression system used in the compression process.
  • the data restored by the decompression processing unit 221 is data related to a component image such as a YHH1 ′ image.
  • the component images indicated by these data are combined by the decomposed image combining units 140 and 150, and a Bayer image is regenerated.
  • the color interpolation unit 222 generates an image having R, G, and B component pixel values for each pixel by interpolating the pixel values of the Bayer image.
  • the display 223 displays the image generated by the color interpolation unit 222.
  • the image captured by the imaging device 201 is transmitted to the image display device 202 as the component image. This reduces the amount of data transmitted. Moreover, since the component image is compressed and transmitted, the amount of data transmission can be reduced.
  • the image processing unit 240 may not be provided with the correction processing unit 130 but only the compression processing unit 210 may be provided.
  • the image display device 202 may be provided with the correction processing unit 130, and the correction processing unit 130 may perform correction processing on the data restored by the decompression processing unit 221.
  • the compressed data may be output to another device via some other wired / wireless interface instead of the network 203, or may be output to a computer-readable recording medium.
  • the image processing unit 100 or 240 is provided with the correction processing unit 130 and the compression processing unit 210.
  • a feature amount calculation unit described below may be provided in the image processing unit.
  • the feature amount calculation unit calculates the feature amount of the image based on the component images such as YHH1 ′ and VLL2 ′.
  • the image feature amount is, for example, a parameter used for various types of image processing. Such parameters include parameters used for correction processing and filter processing for enhancing the edges of an image.
  • the image feature amount may be a statistical value obtained by performing various statistical calculations based on the component image. ⁇ N in the above-described embodiment is an example of such a statistical value. It is preferable that the feature amount calculation unit calculates the feature amount so that different processing is performed for the high-frequency component and the low-frequency component in the component image.
  • the calculation is performed based on the ULL2 image or the like, but the YLL2 image is not calculated.
  • the calculation is performed based on the YLL2 image, but the other component images are not calculated.
  • the calculation result by the feature amount calculation unit may be used for image processing in the imaging apparatus itself, or may be output to another apparatus or to a recording medium.
  • the image processing unit 100 performs image processing on the component image generated by the frequency resolution unit 110. At this time, it is only necessary to perform different image processing on the high-frequency component (U image or the like) and the low-frequency component (Y image) among the component images according to the difference in color information and luminance information.
  • the frequency resolving unit 120 performs two-level (two-layer) discrete wavelet transform.
  • the frequency resolving unit 120 may perform discrete wavelet transform of one level or three levels or more.
  • the frequency resolving units 110 and 120 may have the same frequency characteristics, they may have different frequency characteristics.
  • the weight used for the filter coefficient in the correction processing differs depending on whether the component image is a low frequency component or a high frequency component.
  • w s1 is used for the YLL2 image
  • w s2 is used for the ULL2 image or the like.
  • a combination of these two types of weights at a predetermined ratio may be used.
  • the correction processing unit 130 acquires filter coefficients based on preset w s1 , w s2 , and ⁇ R.
  • the filter coefficient may be further adjusted based on the shooting conditions and the like. For example, when the amount of noise included in an image changes depending on shooting conditions such as ISO sensitivity and temperature at the time of shooting, the correction processing unit 130 may adjust the filter coefficient according to the shooting conditions.
  • imaging conditions such as ISO sensitivity may be input from the outside of the imaging apparatus, and this is required when a control unit for controlling the imaging optical system 2 and the imaging element 3 is provided in the imaging apparatus. The imaging conditions may be output from the control unit to the correction processing unit 130.
  • the correction processing unit 130 performs the filtering process once on the component image.
  • the filtering process may be performed a plurality of times on the component image.
  • a bilateral filter is employed, other filters such as a trilateral filter may be employed.
  • the present invention is implemented as an imaging apparatus including the imaging optical system 2 and the imaging element 3.
  • the present invention may be implemented as an image processing apparatus that performs image processing on a Bayer image generated in another imaging apparatus including an imaging optical system, an imaging element, and the like.
  • the imaging optical system 2 and the imaging element 3 may not be provided in the image processing apparatus.
  • Bayer images from other devices may be input from the imaging device to the image processing device via a network or various wired / wireless interfaces, or may be input via a recording medium.
  • an interface for acquiring a Bayer image from the outside and a data reading unit from a recording medium correspond to the image acquisition means of the present invention.
  • the compression processing unit 210 and the decompression processing unit 221 in the second embodiment described above may be provided in the image processing unit 100 in the first embodiment.
  • a functional unit that compresses and decompresses data for example, data can be temporarily compressed and stored, so that the capacity of the storage unit that temporarily stores data can be reduced.
  • the above-described embodiments and modification examples include at least one of correction processing, information compression / decompression processing, and feature amount calculation processing as image processing. It is within the scope of the present invention as long as at least one of the processes is different image processing between the high frequency component and the low frequency component.
  • the three-dimensional noise reduction is a process for removing noise based on a comparison between frames in the case of a moving image including a plurality of frames of continuous captured images.
  • the required buffer amount and bandwidth can be greatly reduced. For example, it can be reduced to 1/3 compared to RGB4: 4: 4 or YCbCr4: 4: 4, and to 2/3 compared to YCbCr4: 2: 0.
  • the circuit scale can be suppressed.
  • the image processing only the low-frequency components (ULL2, VLL2, and WLL2 images) among the component images indicating the color information may be corrected with a gain that cancels the color shading. Thereby, it is possible to efficiently secure the luminance shading correction effect for the entire image.
  • the circuit scale can be suppressed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　画像における色成分と輝度成分の違いに応じた画像処理を行いながら、処理するデータ量が比較的小さい。　周波数分解部１１０は、撮像素子３からのベイヤー画像信号に直接周波数分解を施す。これにより、色情報を示す高周波成分と輝度情報を示す低周波成分とが取得される。補正処理部１３０のフィルタ係数取得部１３１は、高周波成分と低周波成分とで異なるフィルタ係数を取得する。フィルタ処理部は、フィルタ係数取得部１３１が取得したフィルタ係数に基づき、高周波成分と低周波成分とで異なるフィルタ処理を成分画像に施す。

Description

画像処理装置、画像処理方法及び画像処理プログラム
　本発明は、画像処理装置、特に、ベイヤー画像に画像処理を施す画像処理装置、画像処理方法及び画像処理プログラムに関する。
　従来、Ｒ（赤）の画素、Ｇ（緑）の画素及びＢ（青）の画素からなる画像に種々の処理を施した後に目的の画像処理を実行する画像処理装置が存在する。例えば、特許文献１は、まず、Ｒの画素、Ｇの画素及びＢの画素からなるベイヤー画像に補間処理を施し、各画素においてＲ、Ｇ及びＢのすべての成分を有するＲＧＢ画像を生成する。そして、そのＲＧＢ画像から輝度成分及び色差成分を生成してから、各成分において異なる画像処理を行う。このように、輝度成分か色成分かに応じて異なる画像処理を行うのは、例えば、成分ごとにノイズ特性が異なるので、適切なノイズの除去処理のためには成分に応じて処理を施した方がよいからである。
　また、特許文献１では、輝度成分及び色成分のそれぞれにウェーブレット変換を施し、互いに異なる複数の周波数帯域の成分を生成した上で、各周波数帯域の成分にノイズの除去処理を施す。これにより、低周波成分と高周波成分の間のノイズ特性の違いを考慮しつつノイズの除去処理を適切に施すことができる。
国際公開第２００６／１０６９１９号
　特許文献１のような従来技術によれば、画像における色成分と輝度成分の特性の違いに着目して画像処理を行うためには、各画素成分を補間するほかなかった。この場合、画像処理の際に、元のベイヤー画像よりも大きいデータ量のデータを処理しなければならない。処理するデータ量が多くなると、データを格納するメモリの容量が大きくなったり、処理に時間がかかったりする。
　本発明の目的は、画像における色成分と輝度成分の違いに応じた画像処理を行いながら、処理するデータ量が比較的小さい画像処理装置、画像処理方法及び画像処理プログラムを提供することにある。
　本発明の第１の観点における画像処理装置は、Ｒ（赤）の画素及びＧ（緑）の画素が横方向に交互に並んだ行とＧ（緑）の画素及びＢ（青）の画素が横方向に交互に並んだ行とが縦方向に交互に並んだベイヤー配列に従ったベイヤー画像を取得する画像取得手段と、前記ベイヤー画像を縦方向及び横方向の各方向について、輝度情報を示す低周波成分と色情報を示す高周波成分とに分離して、複数の成分画像を生成する第１の周波数分解手段と、前記第１の周波数分解手段による周波数分解後の成分画像に基づいてその画像に関する特徴量を演算する特徴量演算処理、前記周波数分解後の成分画像に対する補正処理、並びに、前記周波数分解後の成分画像に対する情報圧縮処理及び情報伸長処理からなる一対の処理の少なくともいずれかの画像処理を、前記高周波成分と前記低周波成分とで異なる処理となるように実行する画像処理手段と、前記画像処理手段が処理を実行した後の前記成分画像を合成して、１つのベイヤー画像を再生成する第１の分解画像合成手段と、を備えている。
　第１の観点における画像処理方法は、Ｒ（赤）の画素及びＧ（緑）の画素が横方向に交互に並んだ行とＧ（緑）の画素及びＢ（青）の画素が横方向に交互に並んだ行とが縦方向に交互に並んだベイヤー配列に従ったベイヤー画像を取得する画像取得ステップと、前記ベイヤー画像を縦方向及び横方向の各方向について、輝度情報を示す低周波成分と色情報を示す高周波成分とに分離して、複数の成分画像を生成する周波数分解ステップと、前記周波数分解ステップにおける周波数分解後の成分画像に基づいてその画像に関する特徴量を演算する特徴量演算処理、前記周波数分解後の成分画像に対する補正処理、並びに、前記周波数分解後の成分画像に対する情報圧縮処理及び情報伸長処理からなる一対の処理の少なくともいずれかの画像処理を、前記高周波成分と前記低周波成分とで異なる処理となるように実行する画像処理ステップと、前記画像処理ステップ後の前記成分画像を合成して、１つのベイヤー画像を再生成する分解画像合成ステップとを備えている。
　第１の観点におけるプログラムは、Ｒ（赤）の画素及びＧ（緑）の画素が横方向に交互に並んだ行とＧ（緑）の画素及びＢ（青）の画素が横方向に交互に並んだ行とが縦方向に交互に並んだベイヤー配列に従ったベイヤー画像を取得する画像取得ステップと、前記ベイヤー画像を縦方向及び横方向の各方向について、輝度情報を示す低周波成分と色情報を示す高周波成分とに分離して、複数の成分画像を生成する周波数分解ステップと、前記周波数分解ステップにおける周波数分解後の成分画像に基づいてその画像に関する特徴量を演算する特徴量演算処理、前記周波数分解後の成分画像に対する補正処理、並びに、前記周波数分解後の成分画像に対する情報圧縮処理及び情報伸長処理からなる一対の処理の少なくともいずれかの画像処理を、前記高周波成分と前記低周波成分とで異なる処理となるように実行する画像処理ステップと、前記画像処理ステップ後の前記成分画像を合成して、１つのベイヤー画像を再生成する分解画像合成ステップとをコンピュータに実行させる。
　本発明におけるプログラムは、フレキシブルディスクなどの磁気記録媒体、ＤＶＤ－ＲＯＭなどの光学記録媒体、ハードディスクやＵＳＢメモリなどのコンピュータ読み取りが可能な記録装置等に記録して配布可能なほか、インターネットを介したダウンロード等により配布可能である。
　本発明の第２の観点における画像処理装置は、Ｒ（赤）の画素及びＧ（緑）の画素が横方向に交互に並んだ行とＧ（緑）の画素及びＢ（青）の画素が横方向に交互に並んだ行とが縦方向に交互に並んだベイヤー配列に従ったベイヤー画像を取得する画像取得手段と、前記ベイヤー画像を縦方向及び横方向の各方向について、輝度情報を示す低周波成分と色情報を示す高周波成分とに分離して、複数の成分画像を生成する周波数分解手段と、前記周波数分解手段による周波数分解後の成分画像に基づいてその画像に関する特徴量を演算する特徴量演算処理、前記周波数分解後の成分画像に対する補正処理、及び、前記周波数分解後の成分画像に対する情報圧縮処理の少なくともいずれかの画像処理を、前記高周波成分と前記低周波成分とで異なる処理となるように実行する画像処理手段と、前記画像処理手段が前記画像処理を実行した後の前記成分画像及び前記特徴量の少なくともいずれかを出力する出力手段とを備えている。
　本発明は、ベイヤー画像に周波数分解を施すことにより取得される複数の周波数帯域の成分のうち、低周波成分が輝度情報を示し、高周波成分が色情報を示すとの知見に基づく。本発明は、かかる知見に基づき、ベイヤー画像に周波数分解を施すことで、輝度情報を示す低周波成分と色情報を示す高周波成分とに分離した後、それぞれに異なる画像処理を施すことにより、画像における色成分と輝度成分のそれぞれに応じた画像処理を施すものである。これにより、成分に応じた適切な画像処理を実行することが可能になると共に、周波数分解を直接ベイヤー画像に施して各成分を取得するので、補間による場合と比べて、画像処理の際に処理するデータ量を抑えることができる。第１の観点による画像処理装置は、画像処理を行った後に各成分画像を合成することにより、元の画像を再生成する。
　以上のように、第１の観点における第１の周波数分解手段による周波数分解は、ベイヤー画像に直接施すことで画像データが色成分と輝度成分とに分解されることに着目したものである。一方、従来の周波数分解は、ベイヤー画像の画素を補間してから周波数分解を施すという点においても本発明と異なるし、低周波成分か高周波成分かという点にのみ着目して画像処理を行うに過ぎない点においても本発明と異なる。
　第２の観点によれば、第１の観点と同様に、成分に応じた適切な画像処理を実行することが可能になると共に、周波数分解を直接ベイヤー画像に施して各成分を取得するので、補間による場合と比べて、画像処理の際に処理するデータ量を抑えることができる。第２の観点による画像処理装置は、画像処理を行った後に、成分画像を合成せずそのまま出力したり、演算した特徴量を出力したりする。
本発明の一実施の形態である第１の実施形態に係る撮像装置の構成を示すブロック図である。 図１の撮像素子におけるカラーフィルタのベイヤー配列を示す概念図である。 本実施形態で用いられる離散ウェーブレット変換において採用されるフィルタ係数とベイヤー配列の画素との関係を示す概念図である。 図４（ａ）は、撮像素子においてサンプリングされる前の被写体像における色成分及び輝度成分の周波数分布を概念的に示すグラフである。図４（ｂ）は、撮像素子においてサンプリングされた後の被写体像における色成分及び輝度成分の周波数分布を概念的に示すグラフである。図４（ｃ）は、１レベルの離散ウェーブレット変換によって生成された成分画像の周波数分布を概念的に示すグラフである。図４（ｄ）は、図４（ｃ）の各成分画像にさらに２レベルの離散ウェーブレット変換が施されることによって生成された成分画像の周波数分布を概念的に示すグラフである。 図５（ａ）は、各成分画像における横方向及び縦方向に関する周波数分布を概念的に示すグラフである。図５（ｂ）は、各成分画像に含まれる色成分及び輝度成分の周波数分布を概念的に示すグラフである。 １レベルの離散ウェーブレット変換によって生成された各成分画像と、そこにさらに２レベルの離散ウェーブレット変換が施されることによって生成された各成分画像との関係を示す概念図である。 本実施形態の補正処理において用いられるフィルタ係数を示す概念図である。 本実施形態の画像処理部の一実施例に係る回路構成を示すブロック図である。 図８の周波数分解部のうち、Ｗ画像及びＵ画像を周波数分解する回路構成と、周波数分解によって生成されたＷＨＨ１，ＵＨＨ２等の成分画像にフィルタ処理を施す補正処理部の回路構成とを示すブロック図である。 図８の周波数分解部のうち、Ｖ画像及びＹ画像を周波数分解する回路構成と、周波数分解によって生成されたＶＨＨ１，ＹＨＨ２等の成分画像にフィルタ処理を施す補正処理部の回路構成とを示すブロック図である。 図８の分解画像合成部のうち、補正処理が施されたＷＨＨ１´、ＵＬＨ２´等の成分画像を合成してＷ´画像及びＵ´画像を生成する回路構成を示すブロック図である。 図８の分解画像合成部のうち、補正処理が施されたＶＨＨ１´、ＹＬＨ２´等の成分画像を合成してＶ´画像及びＹ´画像を生成する回路構成を示すブロック図である。 本発明の別の一実施の形態に係る第２の実施形態の構成を示すブロック図である。
［第１の実施形態］
　本発明の一実施の形態である第１の実施形態に係る撮像装置１について、図面を参照しつつ説明する。撮像装置１は、図１に示すように、撮像光学系２、撮像素子３（画像取得手段）及び画像処理部１００（画像処理手段）を有している。撮像光学系２は、各種のレンズを有し、被写体からの光を撮像素子３へと導いて、撮像素子３において結像させる。撮像素子３は、結像された被写体の像を光電変換により電気信号に変換すると共に、その電気信号をデジタル画像信号に変換して出力する。画像処理部１００は、撮像素子３から出力されたデジタル画像信号に所定の信号処理を施すことにより、被写体像に対応する画像データを生成する。画像処理部１００が生成した画像データは、画像を表示するディスプレイに、表示すべき画像に係る画像信号として出力されたり、コンピュータ読み取り可能な記録媒体へと出力されたりする。以下、撮像素子３及び画像処理部１００についてより詳細に説明する。
　撮像素子３は、ベイヤー（Ｂａｙｅｒ）配列で配列されたカラーフィルタと、各カラーフィルタを通じて受光した光の強度に応じたアナログ信号を出力する光電変換素子と、光電変換素子からのアナログ信号をデジタル信号に変換するＡＤ変換部とを備えている。ベイヤー配列は、図２に示すように、Ｒ（赤）及びＧ（緑）が横方向に交互に並んだ行とＧ（緑）及びＢ（青）が横方向に交互に並んだ行とが縦方向に交互に並んだ配列である。図２では、Ｒと同じ行に属するＧをＧｒ、Ｂと同じ行に属するＧをＧｂと表記している。撮像素子３は、このベイヤー配列に従って各画素が並んだ画像（以下、ベイヤー画像と称する）を示す画像信号を出力する。
　画像処理部１００は、撮像素子３からの画像信号を高周波成分と低周波成分に分解する２つの周波数分解部を有している。これらの周波数分解部１１０及び１２０（第１及び第２の周波数分解手段）は、いずれも離散ウェーブレット変換に従って画像信号を分解する。
　離散ウェーブレット変換に用いるフィルタには様々なものが採用され得るが、本実施形態においては、ＣＤＦ　５／３　ｗａｖｅｌｅｔが採用される。これは、低周波成分をタップ数５（１次元につき５画素）のローパスフィルタで生成し、高周波成分をタップ数３（１次元につき３画素）のハイパスフィルタで生成する方法である。なお、ＣＤＦ　９／７等が採用されてもよい。また、Ｈａａｒ　Ｗａｖｅｌｅｔなど、可逆性の多重解像度変換であれば、どのようなものであってもよい。ＣＤＦ　５／３　ｗａｖｅｌｅｔにおける１次元の場合のフィルタ係数は以下のとおりである。
　ローパスフィルタ：［－１／８，２／８，６／８，－１／８］
　ハイパスフィルタ：［－１／２，１，－１／２］
　これを２次元に拡張すると、図３に示すフィルタとなる。図３（ａ）のフィルタは、画像の横方向及び縦方向の両方向に関してローパスフィルタである。図３（ａ）において、横方向及び縦方向にマトリクス状に配列された数値は、横方向及び縦方向の各画素位置における重みである。また、「／６４」は、各画素位置の重みを６４で除算したものが各位置におけるフィルタ係数であることを示す。なお、図３（ｂ）～図３（ｄ）においても同様である。以下、図３（ａ）のフィルタをＬＬと表記する。
　図３（ｂ）のフィルタは、画像の横方向に関してはハイパスフィルタ、縦方向に関してはローパスフィルタである。以下、このフィルタをＨＬと表記する。図３（ｃ）のフィルタは、画像の横方向に関してはローパスフィルタ、縦方向に関してはハイパスフィルタである。以下、このフィルタをＬＨと表記する。図３（ｄ）のフィルタは、画像の横方向及び縦方向の両方向に関してハイパスフィルタである。以下、このフィルタをＨＨと表記する。
　これらのフィルタを画像に施す際には、フィルタに含まれる各フィルタ係数をその位置に対応する画素に乗算すると共に、全ての乗算結果の和をフィルタ処理後の画素値とする。図３（ａ）～図３（ｄ）は、これらのフィルタ処理をベイヤー画像に施す場合の一例を示している。各図においては、ベイヤー画像に含まれる各画素に対し、その画素の位置に対応するフィルタ係数が乗算されることになる。このようなフィルタ演算を、ＬＬフィルタ、ＨＬフィルタ、ＬＨフィルタ及びＨＨフィルタのそれぞれについて、画像における横方向及び縦方向のそれぞれ２画素ごとに行う。これにより、フィルタ処理結果として、フィルタ処理後の画素値からなる４種類の成分画像を得る。以下、ＬＬフィルタを用いたフィルタ処理によって得られる成分画像をＬＬ画像とする。同様に、ＨＬフィルタ、ＬＨフィルタ及びＨＨフィルタを用いたフィルタ処理によって得られる成分画像をＨＬ画像、ＬＨ画像及びＨＨ画像とする。
　ＬＬ画像は、横方向及び縦方向の両方向について、元の画像の低周波成分に相当する成分画像である。ＨＬ画像は、横方向については元の画像の高周波成分に相当し、縦方向については元の画像の低周波成分に相当する画像である。ＬＨ画像は、横方向については元の画像の低周波成分に相当し、縦方向については元の画像の高周波成分に相当する画像である。ＨＨ画像は、横方向及び縦方向の両方向について、元の画像の高周波成分に相当する成分画像である。
　ところで、多色のカラーフィルタが配列された撮像素子でなく、単色の撮像素子であれば、その撮像素子から得られた画像信号を周波数分解した結果は、単純に画像の輝度成分を周波数分解した結果に過ぎない。しかしながら、本実施形態のように、多色のカラーフィルタが配列された撮像素子３から得られたベイヤー画像に上記のような周波数分解を施す場合、それによって得られる成分画像は、単なる輝度成分の分解結果とは異なる性質を示すことになる。以下、これについて説明する。
　まず、簡単のため、画像の横方向のみについて考える。被写体像は、輝度成分と色成分の合成で表される。図４（ａ）は、撮像素子３に入射する前の被写体像における輝度成分と色成分の周波数分布の一例である。図４（ｂ）は、撮像素子３においてサンプリングされた後の画像信号における輝度成分と色成分の周波数分布の一例である。なお、ｆｓはサンプリング周波数である。このように、撮像素子３に入射する前の被写体像における輝度成分と色成分が、撮像素子３において、ベイヤー配列に従って配列されたカラーフィルタにより直交変調される。これにより、低周波側に輝度成分が、高周波側に色成分が配置される。
　本実施形態の周波数分解は、まず、図４（ｂ）のように輝度成分及び色成分が配置された画像に施されることになる。例えば、ＬＬフィルタ及びＨＬフィルタを用いたフィルタ処理により、図４（ｂ）に示すベイヤー画像が、図４（ｃ）に示すように、横方向に関して高周波成分及び低周波成分に分解される。したがって、ＬＬ画像は輝度成分を多く含み、ＨＬ画像は色成分を多く含むこととなる。このように、ベイヤー画像に周波数分解を施すことは、ベイヤー配列のカラーフィルタによって直交変調された輝度成分及び色成分を復調することに相当する。
　以上の議論を２次元に拡張すると、以下の通りとなる。図５（ａ）は、ＬＬ画像、ＨＬ画像、ＬＨ画像及びＨＨ画像のそれぞれの周波数分布を横方向及び縦方向に関して示している。一方、図５（ｂ）は、ＬＬ画像、ＨＬ画像、ＬＨ画像及びＨＨ画像中の輝度成分と色成分の分布を、図５（ａ）と同様に、横方向の周波数及び縦方向の周波数に関して示す。図５（ａ）と図５（ｂ）を比較すると分かるように、ＬＬ画像は主に輝度成分を含み、ＨＬ、ＬＨ及びＨＨの各画像は主に色成分を含む。つまり、ＬＬ画像は元の画像における輝度情報を示し、ＨＬ、ＬＨ及びＨＨの各画像は元の画像における色情報を示すことになる。
　本実施形態の周波数分解部１１０は、撮像素子３から出力されたベイヤー画像に係る画像信号に、図３に示すフィルタ係数を用いて１レベル（１階層）の離散ウェーブレット変換を施す。つまり、周波数分解部１１０は、ベイヤー画像信号から、ＬＬ，ＨＬ、ＬＨ及びＨＨの４つの成分画像を生成する。以下、周波数分解部１１０が生成した４つの成分画像を、Ｙ（＝ＬＬ）画像、Ｕ（＝ＨＬ）画像，Ｖ（＝ＬＨ）画像及びＷ（ＨＨ）画像と称する。
　図３に示すフィルタ係数を用いたフィルタ処理により、Ｙ、Ｕ、Ｖ及びＷの各画素は元の画像におけるＲ画素、Ｂ画素及びＧ画素の要素を下記式に示すように取り込むことになる。Ｙ画像は、主に画像の輝度成分を表す。被写体が高周波の色成分を多く含む場合、それらの成分がＹ画像において混合することになる。Ｕ画像は、主に画像の色成分を表す。被写体が横方向に関して高周波の輝度成分を多く含む場合、それらの成分がＵ画像において混合することになる。Ｖ画像は、主に画像の色成分を表す。被写体が縦方向に関して高周波の輝度成分を多く含む場合、それらの成分がＶ画像において混合することになる。Ｗ画像は、主に画像の色成分を表す。被写体が高周波の色成分を多く含む場合、それらの成分がＷ画像において混合することになる。
　Ｙ＝（２Ｇ＋Ｒ＋Ｂ）／４
　Ｕ＝（Ｒ－Ｂ）／２
　Ｖ＝（Ｂ－Ｒ）／２
　Ｗ＝２Ｇ－（Ｒ＋Ｂ）
　次に、周波数分解部１２０は、周波数分解部１１０が生成したＹ，Ｕ、Ｖ及びＷの各成分画像に、２レベル（２階層）の離散ウェーブレット変換を施す。つまり、周波数分解部１２０は、図６に示すように、Ｙ，Ｕ，Ｖ及びＷの各成分画像をＬＬ、ＨＬ、ＬＨ及びＨＨの各成分画像に分解すると共に、そうして生成したＬＬ画像をさらにＬＬ、ＨＬ、ＬＨ及びＨＨの各成分画像に分解する。以下、周波数分解部１２０による１回目の分解で生成された成分画像をＹＨＬ１、ＹＬＨ１及びＹＨＨ１などと表記する。また、周波数分解部１２０による２回目の分解で生成された成分画像をＹＬＬ２、ＹＨＬ２、ＹＬＨ２及びＹＨＨ２などと表記する。これらの表記において、１文字目のＹ，Ｕ，Ｖ及びＷは、各成分画像が由来するのがＹ，Ｕ，Ｖ及びＷの成分画像のいずれであるかを示す。
　周波数分解部１２０が生成したＹＬＬ２、ＹＨＬ２、ＹＨＬ１、ＵＨＬ１、ＵＨＬ２、ＵＬＬ２などの成分画像においては、周波数分解部１１０が生成したＹ，Ｕ、Ｖ及びＷの各成分画像よりも、輝度成分と色成分への分離度が向上している。図４（ｄ）は、周波数分解部１２０により生成された各成分画像の横方向に関する周波数分布を示している。上述の図４（ｃ）に示すＹ画像及びＵ画像は、それぞれ輝度成分及び色成分を主に含んでいるが、図４（ｂ）と比較すれば分かるように、元の被写体像における高周波成分を混合して含んでいる場合がある。一方、図４（ｄ）によれば、ＵＬＬ２画像は、高周波の輝度成分を含まず、元の被写体像における低周波の色成分そのものを示すこととなる。また、ＹＬＬ２画像は、高周波の色成分を含まず、元の被写体における低周波の輝度成分そのものを示すこととなる。
　また、画像処理部１００は、図１に示すように、周波数分解部１２０が生成した各成分画像に補正処理を施す補正処理部１３０を有している。補正処理部１３０の補正処理では、各成分画像にフィルタ処理が施されることにより、ノイズ成分が低減される。本実施形態では、エッジ保存フィルタとして、バイラテラルフィルタが用いられる。
　まず、バイラテラルフィルタについて説明する。注目画素を中心とした、横：２Ｎ＋１ピクセル（Ｎ：自然数）、縦：２Ｎ＋１ピクセルの正方形の領域に含まれる画素の集合Ωを 以下のように表す。例えば、フィルタカーネルのサイズを横３×縦３とするときはＮ＝１であり、フィルタカーネルのサイズを横５×縦５とするときはＮ＝２である。
　Ω＝Ωｐ（Ｎ）
　バイラテラルフィルタの演算は、Ωに属する全ての画素ｑ∈Ωの重み付き加重平均を算出することにより行われる。各画素に割り当てられる重みは、距離による重みと、注目画素との画素値の差分による重みの２つの項により決定される。注目画素をｐ、Ωに属する各画素をｑとする。Δ（ｐ，ｑ）を画素ｐ及び画素ｑ同士の距離とすると、距離による重みは、以下のように表される。
Figure JPOXMLDOC01-appb-M000003
　また、Ｄｆ（ｐ，ｑ）を画素ｐ及び画素ｑ間の画素値の差分とすると、注目画素との画素値の差分による重みは、以下のように表される。
Figure JPOXMLDOC01-appb-M000004
　そして、各画素の重みは、距離による重み及び画素値の差分による重みの積として、以下のように表される。
Figure JPOXMLDOC01-appb-M000005
　画素ｐの画素値をｕp、画素ｑの画素値をｕqとするとき、バイラテラルフィルタは、以下の演算により施される。なお、ｕ´は、フィルタ処理後の画素値である。
Figure JPOXMLDOC01-appb-M000006
　本実施形態の補正処理部１３０は、バイラテラルフィルタによるフィルタ処理のためのフィルタ係数を取得するフィルタ係数取得部１３１（フィルタ取得手段）と、フィルタ係数取得部１３１が取得したフィルタ係数に基づいてフィルタ処理を施すフィルタ処理部１３２（フィルタ処理手段）とを有している。フィルタ係数取得部１３１は、フィルタ係数を以下のように取得する。
　本実施形態は、主に、低周波成分（ＹＬＬ２等）におけるノイズ低減を目的とする。したがって、フィルタの参照範囲（フィルタカーネルのサイズ）は、横３×縦３～横５×縦５程度に設定できる。ＹＬＬ２画像等は、周波数分解を経ることで、ダウンサンプリングされているため、カーネルサイズが小さくても、低い周波数までフィルタリングすることが可能である。
　フィルタ係数取得部１３１は、距離による重みｗsに関し、図７（ａ）及び図７（ｂ）に示す横３×縦３の重みｗs1及びｗs2、あるいは、図７（ｃ）及び図７（ｄ）に示す横５×縦５の重みｗs1及びｗs2を保持している。図７（ａ）～図７（ｄ）は、図３と同様に、各画素位置に対応するフィルタ係数を示している。このように、ｗs1及びｗs2の各重みを整数とすることにより、演算量が低減される。なお、ｗs1に基づいて得られるフィルタ係数群が本発明における第１の係数群に対応する。また、ｗs2に基づいて得られるフィルタ係数群が本発明における第２の係数群に対応する。
　ｗs1（第１の重み）は、画素同士の距離が大きくなるほど小さい（つまり、距離に対して単調減少の）値を有し、輝度情報を示すＹＬＬ２画像等にフィルタ処理を施す際に用いられる。一方、色情報を示すＵＬＬ２、ＶＬＬ２及びＷＬＬ２の各成分画像に対しては、ｗs2（第２の重み）が用いられる。ｗs2は、画素位置に関わらずいずれも１であり、距離に応じたものとなっていない。このように、画素同士の距離に応じて変化しない重みを用いたり、画素同士の距離に応じた減少率が比較的小さい重みを用いたりする場合には、フィルタにおけるノイズを低減する能力が高くなる反面、フィルタ処理後の画像における解像度が低下する。しかしながら、人の視覚は、輝度の解像度の変化に対する場合と比較すると、色の解像度の変化（色のにじみ等）に対して敏感ではない。このため、ｗs2を色情報を示す成分であるＵＬＬ２、ＶＬＬ２及びＷＬＬ２の各画像に用いることで、人の視覚特性に応じて画像の劣化を相対的に抑制しつつ、色成分の若干のにじみと引き換えに、色ノイズを低減することが可能である。
　フィルタ係数取得部１３１は、画素値の差分による重みｗRに関し、σ2 Rの値を保持している。σRは、例えば、撮像装置１の撮像光学系２及び撮像素子３の特性に応じてあらかじめ設定される。設定値の取得方法は以下のとおりである。撮像光学系２及び撮像素子３により、被写体として一様な明るさを持つ物体に係るベイヤー画像信号を生成する。次に、そのベイヤー画像信号に対して、周波数分解部１１０及び１２０に上述の周波数分解を施させる。これにより、ＹＬＬ１、ＹＨＬ２、ＹＬＨ２、ＹＨＨ２、ＵＬＬ１…の各成分画像を得る。次に、この成分画像ごとに、画素値の標準偏差σNを算出する。そして、σNに適切な係数ｋNを乗算することにより、下記のように、σRを得る。
Figure JPOXMLDOC01-appb-M000007
　ここで、ｋNの大きさは、処理後の画像劣化とノイズ抑制の能力とのバランスを考慮して調整される。例えば、ｋNが小さいほどノイズ抑制の能力が低くなる一方で処理後の画像が劣化度しにくくなる。この逆に、ｋNが小さいほどノイズ抑制の能力が高くなる一方で処理後の画像が劣化しにくくなる。画像の劣化とは、例えば、輝度情報に関しては解像度の劣化を示し、色情報に関しては色にじみが強くなることを示す。本実施形態では、上記と同様、輝度の解像度の変化に対する場合と比較すると、人の視覚が色の解像度の変化（色のにじみ等）に対して敏感ではないことを利用してｋＮを設定する。例えば、高周波の輝度成分を示すＹＨＬ１画像等についてはｋＮを小さくし、低周波の色成分を示すＵＬＬ２，ＶＬＬ２の成分画像等についてはｋＮを大きくする。
　フィルタ係数取得部１３１は、以上のように、ＹＬＬ２、ＹＨＬ１などの各画像成分についてあらかじめ設定されたσ2 Rを、各画像成分に関連付けて保持している。以上をまとめると、フィルタ係数取得部１３１は、輝度情報を示すＹＬＬ２画像等に用いる重みとしてｗs1を、色情報を示すＵＬＬ２画像等に用いる重みとしてｗs2を、各画像成分についてσ2 Rをそれぞれ保持している。フィルタ係数取得部１３１は、上記の数式６に示すフィルタ演算に用いる下記のフィルタ係数ｃ（ｐ，ｑ）を、数式４～６に基づき、σ2 R、ｗs1及びｗs2を使用して、成分画像ごとに算出する。
Figure JPOXMLDOC01-appb-M000008
　そして、フィルタ処理部１３２は、フィルタ係数取得部１３１が取得したフィルタ係数を用いて、上記数式６に基づき、各画像成分にフィルタ処理を施す。
　さらに、画像処理部１００は、図１に示すように、補正処理部１３０が補正処理を施した各成分画像をすべて合成し、ベイヤー画像を再生成する分解画像合成部１４０及び１５０（第１及び第２の分解画像合成手段）を有している。分解画像合成部１４０は、周波数分解部１２０が施した離散ウェーブレット変換の逆変換をＹＬＬ２、ＹＨＬ１などの各成分画像に施すことにより、Ｙ，Ｕ，Ｖ及びＷの各成分画像を再生する。そして、分解画像合成部１５０は、周波数分解部１１０が施した離散ウェーブレット変換の逆変換を分解画像合成部１４０が生成したＹ，Ｕ，Ｖ及びＷの各成分画像に施すことにより、ベイヤー画像を再生成する。
（実施例）
　次に、周波数分解部１１０及び１２０、並びに、分解画像合成部１４０及び１５０の一実施例に係る回路構成について、図８～図１２を参照しつつ説明する。本実施例において、周波数分解部１１０等は、ラインバッファを用いて画像を処理する回路として構築される。周波数分解部１１０及び１２０を構成する回路には、図８～図１０に示すように、入力画像を横方向に関して高周波成分と低周波成分に分解する水平ＤＷＴ部１１と、入力画像を縦方向に関して高周波成分と低周波成分に分解する垂直ＤＷＴ部１２とが含まれる。１レベルの離散ウェーブレット変換につき、１つの水平ＤＷＴ部１１と２つの垂直ＤＷＴ部１２とからなる回路構成が設けられる。周波数分解部１１０は、上記の通り１レベルの離散ウェーブレット変換を施す。したがって、周波数分解部１１０として、図８に示すように、１段分の回路構成が設けられる。
　水平ＤＷＴ部１１は、入力画像において横方向に関して並ぶ０個目～２Ｎ＋１個目の画素に対し、下記の数式９に対応する演算を施すことにより、ハイパス成分Ｈ（ｎ）（ｎ＝0，１，２…Ｎ）を取り出す。また、水平ＤＷＴ部１１は、入力画像において横方向に関して並ぶ０個目～２Ｎ＋１個目の画素に対し、数式１０に対応する演算を施すことにより、ローパス成分Ｌ（ｎ）（ｎ＝0，１，２…Ｎ）を取り出す。なお、数式８及び９において、ｓ（ｍ）は、横方向にｍ個目の画素の画素値である。垂直ＤＷＴ部１２は、入力画像に対し、数式９及び１０を用いた水平ＤＷＴ部１１と同様の演算を縦方向に行う。この場合、ｓ（ｍ）は、縦方向にｍ個目の画素の画素値である。
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
　周波数分解部１１０における水平ＤＷＴ部１１は、ベイヤー画像を横方向に関してＨ成分及びＬ成分に分解する。垂直ＤＷＴ部１２は、水平ＤＷＴ部１２からのＨ成分を、縦方向に関して高周波成分及び低周波成分に分解する。これにより、Ｗ（ＨＨ）画像及びＵ（ＨＬ）画像が生成される。他方の垂直ＤＷＴ部１２は、水平ＤＷＴ部１２からのＬ成分を、縦方向に関して高周波成分及び低周波成分に分解する。これにより、Ｖ（ＬＨ）画像及びＹ（ＬＬ）画像が生成される。なお、上記の数式９及び１０に基づきベイヤー画像に施される離散ウェーブレット変換は、図３に示す離散ウェーブレット変換と等価である。
　一方、周波数分解部１２０は、上記の通り、２レベルの離散ウェーブレット変換を画像に施す。このため、周波数分解部１２０には、図９及び図１０に示すように、水平ＤＷＴ部１１と２つの垂直ＤＷＴ部１２とからなる回路構成が、Ｙ、Ｕ，Ｖ及びＷの各成分画像につき、２段にわたって設けられている。例えば、Ｗ画像に関しては、図９に示すように、１段目の水平ＤＷＴ部１１がＷ画像を横方向にＨ成分とＬ成分に分解する。そして、２つの垂直ＤＷＴ部１２が、Ｈ成分及びＬ成分を、それぞれ縦方向に高周波成分及び低周波成分に分解する。これにより、ＷＨＨ１、ＷＨＬ１、ＷＬＨ１及びＷＬＬ１の各成分画像が生成される。このうち、前三者が補正処理部１３０へと出力され、残りのＷＬＬ１画像のみが２段目の水平ＤＷＴ部１１へと出力される。ＷＬＬ１画像は、２段目の水平ＤＷＴ部１１及び垂直ＤＷＴ部１２により、ＷＨＨ２、ＷＨＬ２，ＷＬＨ２及びＷＬＬ２の各成分画像に分解される。これらの成分画像は、補正処理部１３０に出力される。その他のＹ、Ｕ及びＶの各成分画像についても同様である。
　各成分画像は、補正処理部１３０として設けられた各フィルタ部１３に入力される。フィルタ部１３は、成分画像ごとに設けられ、フィルタ係数取得部１３１及びフィルタ処理部１３２の両方の機能をそれぞれが有している。フィルタ部１３は、各成分画像に応じた重みｗs1又はｗs2及びσ2 Rを保持している。フィルタ部１３は、入力されてきた成分画像に基づいてフィルタ係数を取得すると共に、成分画像にフィルタ処理を施す。フィルタ処理（補正処理）が施された成分画像は、分解画像合成部１４０へと出力される。図９及び図１０において、補正処理後の各成分画像は、ＷＨＨ１´、ＵＬＬ２´などと表記されている。
　分解画像合成部１４０及び１５０を構成する回路には、図８、図１１及び図１２に示すように、横方向に関する高周波成分及び低周波成分からなる２つの成分画像を合成する水平ＩＤＷＴ部２１と、縦方向に関する高周波成分及び低周波成分からなる２つの成分画像を合成する垂直ＩＤＷＴ部２２とが含まれる。水平ＩＤＷＴ部２１は、水平ＤＷＴ部１１が行う変換の逆変換を成分画像に施すことにより、成分画像を合成する。垂直ＩＤＷＴ部２２は、垂直ＤＷＴ部１２が行う変換の逆変換を成分画像に施すことにより、成分画像を合成する。１レベルの離散ウェーブレット逆変換につき、１つの水平ＩＤＷＴ部２１と２つの垂直ＩＤＷＴ部２２とからなる回路構成が設けられる。分解画像合成部１４０は、ＷＨＨ１´、ＵＨＬ２´等の成分画像を合成し、Ｙ´、Ｕ´，Ｖ´及びＷ´の各成分画像を生成する。このため、分解画像合成部１４０として、図１１及び図１２に示すように、周波数分解部１２０に対応した２段の回路構成が設けられる。なお、Ｙ´等の表記は、補正処理後の成分画像であることを示す。
　例えば、Ｗ´画像を生成する回路構成は以下のとおりである。図１１に示すように、ＷＨＨ２´画像及びＷＨＬ２´画像が入力された１段目の一方の垂直ＩＤＷＴ部２２は、これらを合成してＨ成分を生成する。一方、ＷＬＨ２´画像及びＷＬＬ２´画像が入力された１段目の他方の垂直ＩＤＷＴ部２２は、これらを合成してＬ成分を生成する。そして、１段目の垂直ＩＤＷＴ部２２によって生成されたＨ成分及びＬ成分は、１段目の水平ＩＤＷＴ部２１に入力される。この水平ＩＤＷＴ部２１は、これらを合成してＷＬＬ１´画像を生成する。ＷＨＨ１´画像及びＷＨＬ１´画像が入力された２段目の一方の垂直ＩＤＷＴ部２２は、これらを合成してＨ成分を生成する。ＷＬＨ１´画像及びＷＬＬ１´画像が入力された２段目の他方の垂直ＩＤＷＴ部２２は、これらを合成してＬ成分を生成する。そして、２段目の垂直ＩＤＷＴ部２２によって生成されたＨ成分及びＬ成分は、２段目の水平ＩＤＷＴ部２１に入力される。この水平ＩＤＷＴ部２１は、これらを合成してＷ´画像を生成する。その他のＹ´、Ｕ´及びＶ´の各成分画像についても同様に生成される。
　分解画像合成部１５０は、Ｙ´画像、Ｕ´画像、Ｖ´画像及びＷ´画像を合成し、１つのベイヤー画像を再生成する。このため、分解画像合成部１５０として、図８に示すように、周波数分解部１１０に対応した１段分の回路構成が設けられる。一方の垂直ＩＤＷＴ部２２は、Ｗ´画像及びＵ´画像を合成し、Ｈ成分を生成する。他方の垂直ＩＤＷＴ部２２は、Ｖ´画像及びＹ´画像を合成し、Ｌ成分を生成する。水平ＩＤＷＴ部２１は、垂直ＩＤＷＴ部２２が生成したＨ成分及びＬ成分を合成し、ベイヤー画像を再生成する。
　以上説明した第１の実施形態によると、補正処理部１３０は、補正処理としてフィルタ処理を画像に施すに当たり、成分画像のうち、色情報を示す高周波成分と輝度情報を示す低周波成分とで異なるフィルタ係数を使用する。例えば、画素同士の距離による重みとして、輝度情報を示すＹＬＬ２画像等にはｗs1が、色情報を示すＵＬＬ２画像等にはｗs2が用いられる。また、画素値の差分による重みとして、輝度情報を示す成分画像と色情報を示す成分画像に互いに異なるσRが用いられる。このように、色情報を示す成分画像と輝度情報を示す成分画像とのそれぞれに異なるフィルタ係数を使用することで、色情報と輝度情報に対して人の視覚特性が異なることに応じた適切なフィルタ処理が成分画像に施される。
　また、第１の実施形態によると、周波数分解部１１０及び１２０が、離散ウェーブレット変換による周波数分解を直接ベイヤー画像に施す。したがって、例えば、色補間を経た後の画像に施す場合と比べて、処理するデータ量を抑えることができる。
　また、第１の実施形態においては、周波数分解部１１０と周波数分解部１２０とで、各レベルの離散ウェーブレット変換を同じフィルタ係数を用いて行っている。つまり、周波数分解部１１０及び１２０同士は、同じ周波数特性である。また、これに伴い、分解画像合成部１４０及び１５０同士も同じ周波数特性である。その結果、図８～図１２に示すように、周波数分解部１１０及び１２０の各段が互いに同じ回路構成で構築可能であると共に、分解画像合成部１４０及び１５０も各段が互いに同じ回路構成で構築可能である。
　なお、周波数分解部１１０及び１２０の少なくとも一部又は全部、並びに、分解画像合成部１４０及び１５０の少なくとも一部又は全部を、ハードウェアのみで実現するのではなくハードウェアとソフトウェアの組み合わせにより実現することも可能である。この場合には、例えば、離散ウェーブレット変換の所定のアルゴリズムに従ったプログラムをＣＰＵに実行させることになる。このとき、周波数分解部１１０及び１２０同士や分解画像合成部１４０及び１５０同士が同じ周波数特性であることにより、離散ウェーブレット変換の各レベルの演算を行うプログラムを同じアルゴリズムに従って構築することができる。
［第２の実施形態］
　次に、本発明に係る別の一実施の形態である第２の実施形態について説明する。なお、第２の実施形態において、第１の実施形態と共通する構成には同じ符号を付し、その説明を適宜省略する。第２の実施形態に係る撮像装置２０１は、図１３に示すように、撮像光学系２、撮像素子３、周波数分解部１１０、周波数分解部１２０及び画像処理部２４０を有している。撮像光学系２、撮像素子３、周波数分解部１１０及び周波数分解部１２０による信号処理又は画像処理は、第１の実施形態と同様である。画像処理部２４０は、補正処理部１３０及び圧縮処理部２１０を有している。補正処理部１３０の補正処理は第１の実施形態と同様である。圧縮処理部２１０は、補正処理部１３０が補正処理を施した後の各成分画像に圧縮処理を施す。圧縮処理は、デジタルデータに関する各種の圧縮方式に従って行われる。圧縮処理部２１０は、成分画像のうち、高周波成分と低周波成分とで異なる圧縮処理を行うことが好ましい。例えば、ＹＬＬ２画像には可逆性の圧縮方式が用いられるが、色の解像度の劣化には敏感でない人の視覚特性を考慮に入れ、ＵＬＬ２画像等には圧縮率の高い不可逆性の圧縮方式が用いられてもよい。
　そして、撮像装置２０１は、第１の実施形態と異なり、圧縮処理部２１０によって圧縮された圧縮データをそのまま出力する。圧縮データは、インターネットなどのネットワーク２０３を介して、画像表示装置２０２へと送信される。画像表示装置２０２は、伸長処理部２２１、分解画像合成部１４０、分解画像合成部１５０、色補間部２２２及びディスプレイ２２３を有している。伸長処理部２２１は、撮像装置２０１から送信された圧縮データに伸長処理を施す。伸長処理は、圧縮処理において用いられた圧縮方式とは対となる伸長方式に従い、圧縮データを圧縮前のデータに復元する処理である。伸長処理部２２１が復元したデータは、ＹＨＨ１´画像などの成分画像に係るデータである。これらのデータが示す成分画像は、分解画像合成部１４０及び１５０によって合成され、ベイヤー画像が再生成される。色補間部２２２は、このベイヤー画像の画素値を補間することにより、各画素についてＲ成分、Ｇ成分及びＢ成分の画素値を有する画像を生成する。ディスプレイ２２３は、色補間部２２２が生成した画像を表示する。
　本実施形態によると、撮像装置２０１が撮像した画像が、画像表示装置２０２へと、成分画像のまま送信される。このため、データの送信量が少なくて済む。また、成分画像が圧縮されて送信されるので、データの送信量がより少なくて済む。
　なお、画像処理部２４０に補正処理部１３０が設けられず、圧縮処理部２１０のみが設けられてもよい。この場合、画像表示装置２０２に補正処理部１３０が設けられ、伸長処理部２２１が復元したデータに補正処理部１３０が補正処理を施すとよい。また、圧縮データがネットワーク２０３ではなく、何らかの他の有線／無線インタフェースを介して別の装置に出力されてもよいし、コンピュータ読み取り可能な記録媒体に出力されてもよい。
［その他の変形例］
　以下、上述の実施形態に係る変形例について説明する。上述の実施形態では、画像処理部１００又は２４０に、補正処理部１３０や圧縮処理部２１０が設けられている。これらに加え、又は、代えて、以下に説明する特徴量演算部が画像処理部に設けられてもよい。
　特徴量演算部は、ＹＨＨ１´、ＶＬＬ２´などの成分画像に基づいて、画像の特徴量を演算する。画像の特徴量とは、例えば、各種の画像処理に用いられるパラメータである。かかるパラメータには、補正処理や画像のエッジを強調するためのフィルタ処理などに用いられるパラメータが含まれる。また、画像の特徴量は、成分画像に基づいて各種の統計演算を行うことで得られる統計値であってもよい。上述の実施形態におけるσNは、かかる統計値の一例である。特徴量演算部は、成分画像のうち、高周波成分と低周波成分とで異なる処理となるように特徴量を演算することが好ましい。例えば、色情報に係る補正処理のための特徴量を演算するため、ＵＬＬ２画像等に基づいて演算するが、ＹＬＬ２画像に関しては演算しない。逆に、輝度情報に係る補正処理のための特徴量を演算するため、ＹＬＬ２画像に基づいて演算するが、その他の成分画像に関しては演算しない。特徴量演算部による演算結果は、撮像装置自身における画像処理に用いられてもよいし、他の装置に向けて、又は、記録媒体に向けて出力されてもよい。
　また、上述の実施形態では、周波数分解部１１０及び１２０の２つが設けられているが、周波数分解部１１０のみが設けられていてもよい。この場合、周波数分解部１１０が生成した成分画像に画像処理部１００が画像処理を施す。このとき、成分画像のうち、高周波成分（Ｕ画像等）と低周波成分（Ｙ画像）とで、色情報及び輝度情報の違いに応じて異なる画像処理が施されればよい。
　また、上述の実施形態では、周波数分解部１２０が２レベル（２階層）の離散ウェーブレット変換を施す。しかし、周波数分解部１２０が１レベルや３レベル以上の離散ウェーブレット変換を施してもよい。また、周波数分解部１１０及び１２０同士で同一の周波数特性であったが、これらが互いに異なる周波数特性であってもよい。
　上述の実施形態では、成分画像が低周波成分であるか高周波成分であるかに応じて補正処理におけるフィルタ係数に用いる重みが異なっている。例えば、ＹＬＬ２画像にはｗs1が、ＵＬＬ２画像等にはｗs2が用いられている。これら２種類の重みを所定の割合で足し合わせたものが使用されてもよい。この場合にも、高周波側の成分に対しては、低周波側の成分に比べて、距離に応じた減少率が小さくなるような重みが使用されるとよい。上記の通り、人の視覚特性は、比較的、色情報（高周波成分）の劣化に敏感でないからである。
　また、上述の実施形態では、補正処理部１３０（フィルタ係数取得部１３１）は、あらかじめ設定されたｗs1、ｗs2、σRに基づいてフィルタ係数を取得している。しかし、さらに撮影条件等に基づいてフィルタ係数が調整されてもよい。例えば、ＩＳＯ感度や撮影時の温度等の撮影条件によっても画像に含まれるノイズの量が変化する場合には、補正処理部１３０が撮影条件に応じてフィルタ係数を調整してもよい。この場合、ＩＳＯ感度などの撮影条件は、撮像装置の外部から入力されてもよいし、撮像装置内に撮像光学系２や撮像素子３を制御する制御手段が設けられている場合には、かかる制御手段から補正処理部１３０へと撮影条件が出力されてもよい。
　また、上述の実施形態では、補正処理部１３０がフィルタ処理を１回、成分画像に施すことが想定されている。しかし、フィルタ処理が成分画像に複数回、施されてもよい。また、バイラテラルフィルタが採用されているが、トリラテラルフィルタなど、その他のフィルタが採用されてもよい。
　また、上述の実施形態では、撮像光学系２や撮像素子３を備えた撮像装置として本発明が実施されることが想定されている。しかし、撮像光学系や撮像素子等を備えた他の撮像装置において生成されたベイヤー画像に画像処理を施す画像処理装置として本発明が実施されてもよい。この場合、画像処理装置には撮像光学系２や撮像素子３が設けられていなくてもよい。また、他の装置からのベイヤー画像は、ネットワークや各種の有線／無線インタフェースを介して撮像装置から画像処理装置に入力されてもよいし、記録媒体を介して入力されてもよい。かかる画像処理装置においては、外部からベイヤー画像を取得するためのインタフェースや記録媒体からのデータ読み取り部が、本発明の画像取得手段に対応する。
　また、上述の第２の実施形態における圧縮処理部２１０及び伸長処理部２２１が、第１の実施形態における画像処理部１００に設けられていてもよい。データを圧縮及び伸長する機能部を有していることにより、例えば、一時的にデータを圧縮して保存することができるため、データを一時的に記憶する記憶部の容量を削減できる。
　上述の実施形態や変形例は、画像処理として、補正処理、情報の圧縮伸長処理及び特徴量演算処理の少なくともいずれかを含んでいる形態となっている。そのうちの少なくともいずれかの処理において、高周波成分と低周波成分とで異なる画像処理となっていれば、本発明の範囲である。
　本発明のその他の応用例としては、３次元ノイズリダクションへの適用が考えられる。３次元ノイズリダクションは、複数フレームの連続する撮像画像からなる動画の場合に、フレーム同士の比較に基づいてノイズを除去する処理である。本発明のように、成分画像に３次元ノイズリダクションを施すことで、必要なバッファ量やバンド幅を大幅に低減できる。例えば、ＲＧＢ４：４：４やＹＣｂＣｒ４：４：４と比較すると１／３に、ＹＣｂＣｒ４：２：０と比較すると２／３に低減できる。
　また、画像処理として、輝度情報を示す成分画像（ＹＬＬ２画像）のみに輝度シェーディングを打ち消すゲインで補正を施してもよい。これにより、画像全体に対して効率的に輝度シェーディングの補正効果を確保できる。また、ＹＬＬ２画像のみに補正を施すため、回路規模を抑制できる。さらに、画像処理として、色情報を示す成分画像のうち、低周波成分（ＵＬＬ２画像，ＶＬＬ２画像，ＷＬＬ２画像）のみに、色シェーディングを打ち消すゲインで補正を施してもよい。これにより、画像全体に対して効率的に輝度シェーディングの補正効果を確保できる。また、成分画像の一部のみに補正を施すため、回路規模を抑制できる。
１…撮像装置，１００…画像処理部，１１０…周波数分解部，１２０…周波数分解部，１３０…補正処理部，１４０…分解画像合成部，１５０…分解画像合成部，２０１…撮像装置，２０２…画像表示装置，２１０…圧縮処理部，２４０…画像処理部

Claims (10)

  1. 　Ｒ（赤）の画素及びＧ（緑）の画素が横方向に交互に並んだ行とＧ（緑）の画素及びＢ（青）の画素が横方向に交互に並んだ行とが縦方向に交互に並んだベイヤー配列に従ったベイヤー画像を取得する画像取得手段と、
    　前記ベイヤー画像を縦方向及び横方向の各方向について、輝度情報を示す低周波成分と色情報を示す高周波成分とに分離して、複数の成分画像を生成する第１の周波数分解手段と、
    　前記第１の周波数分解手段による周波数分解後の成分画像に基づいてその画像に関する特徴量を演算する特徴量演算処理、前記周波数分解後の成分画像に対する補正処理、並びに、前記周波数分解後の成分画像に対する情報圧縮処理及び情報伸長処理からなる一対の処理の少なくともいずれかの画像処理を、前記高周波成分と前記低周波成分とで異なる処理となるように実行する画像処理手段と、
    　前記画像処理手段が処理を実行した後の前記成分画像を合成して、１つのベイヤー画像を再生成する第１の分解画像合成手段と、
    　を備えていることを特徴とする画像処理装置。
  2. 　前記第１の周波数分解手段が生成した前記成分画像のそれぞれに対して、縦方向及び横方向の各方向について１階層又は複数階層の周波数分解処理を施すことにより、当該成分画像のそれぞれをさらに複数の周波数帯域の成分画像に分解する第２の周波数分解手段と、
    　前記第２の周波数分解手段が生成した前記成分画像を合成する第２の分解画像合成手段とをさらに備えており、
    　前記画像処理手段が、前記第２の周波数分解手段が生成した前記成分画像に関して前記画像処理を実行し、
    　前記第１及び第２の分解画像合成手段が、前記画像処理手段が前記画像処理を実行した後の前記成分画像を合成して、１つのベイヤー画像を再生成することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記第１の周波数分解手段と前記第２の周波数分解手段とが、同一の周波数特性であると共に、
    　前記第１の分解画像合成手段と前記第２の分解画像合成手段とが、同一の周波数特性であることを特徴とする請求項２に記載の画像処理装置。
  4. 　前記第１及び第２の周波数分解手段が、いずれも、前記ベイヤー画像を離散ウェーブレット変換により成分画像に分解することを特徴とする請求項２又は３に記載の画像処理装置。
  5. 　前記画像処理手段が、
    　前記画像処理を施す前の画像を構成する各画素の画素値に乗算するフィルタ係数を複数含む第１及び第２の係数群を取得するフィルタ取得手段と、
    　前記フィルタ取得手段が取得した前記第１の係数群を使用して前記低周波数成分にフィルタを掛けると共に、前記フィルタ取得手段が取得した前記第２の係数群を使用して前記高周波数成分にフィルタを掛けるフィルタ処理手段とを有しており、
    　前記第１の係数群が、注目画素からの距離に関して単調に減少する第１の重みに基づいて取得され、
    　前記第２の係数群が、注目画素からの距離に関して前記第１の重みより小さい減少率で単調に減少する、又は、注目画素からの距離に関して変化しない第２の重みに基づいて取得されることを特徴とする請求項１～４のいずれか１項に記載の画像処理装置。
  6. 　前記第１の係数群における各フィルタ係数が、当該係数に対応する位置の画素と注目画素との間の画素値の差分Ｄf1に関する下記の数式１によって表される関数ｗR1と前記第１の重みとの積であり、
    　前記第２の係数群における各フィルタ係数が、当該係数に対応する位置の画素と注目画素との間の画素値の差分Ｄf2に関する下記の数式２によって表される関数ｗR2と前記第２の重みとの積であり、
    　一様な明るさに対する画素値のばらつきを示す基準値を、前記低周波数成分の成分に関してσN1とし前記高周波数成分に関してσN2とするとき、数式１、２のσR1、σR2が、係数ｋN1及びｋN2（ｋN1＜ｋN2）を用いて、σR1＝ｋN1＊σN1、σR2＝ｋN2＊σN2と表されることを特徴とする請求項５に記載の画像処理装置。
    Figure JPOXMLDOC01-appb-M000001
    Figure JPOXMLDOC01-appb-M000002
  7. 　Ｒ（赤）の画素及びＧ（緑）の画素が横方向に交互に並んだ行とＧ（緑）の画素及びＢ（青）の画素が横方向に交互に並んだ行とが縦方向に交互に並んだベイヤー配列に従ったベイヤー画像を取得する画像取得手段と、
    　前記ベイヤー画像を縦方向及び横方向の各方向について、輝度情報を示す低周波成分と色情報を示す高周波成分とに分離して、複数の成分画像を生成する周波数分解手段と、
    　前記周波数分解手段による周波数分解後の成分画像に基づいてその画像に関する特徴量を演算する特徴量演算処理、前記周波数分解後の成分画像に対する補正処理、及び、前記周波数分解後の成分画像に対する情報圧縮処理の少なくともいずれかの画像処理を、前記高周波成分と前記低周波成分とで異なる処理となるように実行する画像処理手段と、
    　前記画像処理手段が前記画像処理を実行した後の前記成分画像及び前記特徴量の少なくともいずれかを出力する出力手段とを備えていることを特徴とする画像処理装置。
  8. 　前記第１の周波数分解手段が生成した前記成分画像のそれぞれに対して、縦方向及び横方向の各方向について１階層又は複数階層の周波数分解処理を施すことにより、当該成分画像のそれぞれをさらに複数の周波数帯域の成分画像に分解する第２の周波数分解手段をさらに備えており、前記画像処理手段が、前記第２の周波数分解手段が生成した前記成分画像に関して前記画像処理を実行する請求項７に記載の画像処理装置。
  9. 　Ｒ（赤）の画素及びＧ（緑）の画素が横方向に交互に並んだ行とＧ（緑）の画素及びＢ（青）の画素が横方向に交互に並んだ行とが縦方向に交互に並んだベイヤー配列に従ったベイヤー画像を取得する画像取得ステップと、
    　前記ベイヤー画像を縦方向及び横方向の各方向について、輝度情報を示す低周波成分と色情報を示す高周波成分とに分離して、複数の成分画像を生成する周波数分解ステップと、
    　前記周波数分解ステップにおける周波数分解後の成分画像に基づいてその画像に関する特徴量を演算する特徴量演算処理、前記周波数分解後の成分画像に対する補正処理、並びに、前記周波数分解後の成分画像に対する情報圧縮処理及び情報伸長処理からなる一対の処理の少なくともいずれかの画像処理を、前記高周波成分と前記低周波成分とで異なる処理となるように実行する画像処理ステップと、
    　前記画像処理ステップ後の前記成分画像を合成して、１つのベイヤー画像を再生成する分解画像合成ステップとを備えていることを特徴とする画像処理方法。
  10. 　Ｒ（赤）の画素及びＧ（緑）の画素が横方向に交互に並んだ行とＧ（緑）の画素及びＢ（青）の画素が横方向に交互に並んだ行とが縦方向に交互に並んだベイヤー配列に従ったベイヤー画像を取得する画像取得ステップと、
    　前記ベイヤー画像を縦方向及び横方向の各方向について、輝度情報を示す低周波成分と色情報を示す高周波成分とに分離して、複数の成分画像を生成する周波数分解ステップと、
    　前記周波数分解ステップにおける周波数分解後の成分画像に基づいてその画像に関する特徴量を演算する特徴量演算処理、前記周波数分解後の成分画像に対する補正処理、並びに、前記周波数分解後の成分画像に対する情報圧縮処理及び情報伸長処理からなる一対の処理の少なくともいずれかの画像処理を、前記高周波成分と前記低周波成分とで異なる処理となるように実行する画像処理ステップと、
    　前記画像処理ステップ後の前記成分画像を合成して、１つのベイヤー画像を再生成する分解画像合成ステップとをコンピュータに実行させることを特徴とする画像処理プログラム。
PCT/JP2014/066233 2013-06-25 2014-06-19 画像処理装置、画像処理方法及び画像処理プログラム WO2014208434A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020167001240A KR101685885B1 (ko) 2013-06-25 2014-06-19 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램
US14/901,174 US9542730B2 (en) 2013-06-25 2014-06-19 Image processing device, image processing method, and image processing program
CN201480035808.1A CN105340268B (zh) 2013-06-25 2014-06-19 图像处理装置、图像处理方法以及图像处理程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-132987 2013-06-25
JP2013132987A JP5668105B2 (ja) 2013-06-25 2013-06-25 画像処理装置、画像処理方法及び画像処理プログラム

Publications (1)

Publication Number Publication Date
WO2014208434A1 true WO2014208434A1 (ja) 2014-12-31

Family

ID=52141774

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/066233 WO2014208434A1 (ja) 2013-06-25 2014-06-19 画像処理装置、画像処理方法及び画像処理プログラム

Country Status (5)

Country Link
US (1) US9542730B2 (ja)
JP (1) JP5668105B2 (ja)
KR (1) KR101685885B1 (ja)
CN (1) CN105340268B (ja)
WO (1) WO2014208434A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018093295A (ja) * 2016-11-30 2018-06-14 日本放送協会 コントラスト補正装置及びプログラム
WO2022107417A1 (ja) * 2020-11-20 2022-05-27 株式会社日立製作所 画像処理装置、画像処理方法および画像処理プログラム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10163192B2 (en) * 2015-10-27 2018-12-25 Canon Kabushiki Kaisha Image encoding apparatus and method of controlling the same
CN106067164B (zh) * 2016-05-26 2018-11-20 哈尔滨工业大学 基于自适应小波域处理的彩色图像对比度增强算法
CN106651815B (zh) * 2017-01-18 2020-01-17 聚龙融创科技有限公司 用于处理Bayer格式视频图像的方法及装置
US11593918B1 (en) * 2017-05-16 2023-02-28 Apple Inc. Gradient-based noise reduction
KR102349376B1 (ko) 2017-11-03 2022-01-11 삼성전자주식회사 전자 장치 및 그의 영상 보정 방법
US11113796B2 (en) 2018-02-09 2021-09-07 Delta Electronics, Inc. Image enhancement circuit and method thereof
TWI707583B (zh) * 2019-07-17 2020-10-11 瑞昱半導體股份有限公司 應用於影像感測電路的像素通道不平衡補償方法與系統
US20220188985A1 (en) * 2020-12-11 2022-06-16 Samsung Electronics Co., Ltd. Method and apparatus for adaptive hybrid fusion
KR20220096624A (ko) * 2020-12-31 2022-07-07 엘지디스플레이 주식회사 표시 장치
CN113191210B (zh) * 2021-04-09 2023-08-29 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008242696A (ja) * 2007-03-27 2008-10-09 Casio Comput Co Ltd 画像処理装置及びカメラ
JP2011130112A (ja) * 2009-12-16 2011-06-30 Sony Corp 表示支援装置及び撮像装置
JP2011239231A (ja) * 2010-05-11 2011-11-24 Canon Inc 画像処理装置、および、画像処理装置の制御方法
JP2013088680A (ja) * 2011-10-19 2013-05-13 Olympus Corp 顕微鏡システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602006021728D1 (de) 2005-03-31 2011-06-16 Nippon Kogaku Kk Bildverarbeitungsverfahren
JP5163489B2 (ja) * 2006-03-31 2013-03-13 株式会社ニコン 画像処理方法、画像処理プログラム、および画像処理装置
JP4182446B2 (ja) * 2006-07-14 2008-11-19 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
US8009935B2 (en) * 2007-07-30 2011-08-30 Casio Computer Co., Ltd. Pixel interpolation circuit, pixel interpolation method, and recording medium
KR100891825B1 (ko) * 2007-11-27 2009-04-07 삼성전기주식회사 디지털 영상의 컬러 노이즈 제거 장치 및 방법
US8280185B2 (en) * 2008-06-27 2012-10-02 Microsoft Corporation Image denoising techniques
CN101783940A (zh) * 2009-05-11 2010-07-21 北京航空航天大学 一种基于小波框架变换的联合信源信道编码方法
CN102646272A (zh) * 2012-02-23 2012-08-22 南京信息工程大学 基于局部方差和加权相结合的小波气象卫星云图融合方法
CN102663426B (zh) * 2012-03-29 2013-12-04 东南大学 一种基于小波多尺度分析和局部三值模式的人脸识别方法
CN102708553A (zh) * 2012-05-29 2012-10-03 飞依诺科技(苏州)有限公司 一种实时超声图像斑点噪声抑制方法
JP2014090359A (ja) * 2012-10-31 2014-05-15 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008242696A (ja) * 2007-03-27 2008-10-09 Casio Comput Co Ltd 画像処理装置及びカメラ
JP2011130112A (ja) * 2009-12-16 2011-06-30 Sony Corp 表示支援装置及び撮像装置
JP2011239231A (ja) * 2010-05-11 2011-11-24 Canon Inc 画像処理装置、および、画像処理装置の制御方法
JP2013088680A (ja) * 2011-10-19 2013-05-13 Olympus Corp 顕微鏡システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018093295A (ja) * 2016-11-30 2018-06-14 日本放送協会 コントラスト補正装置及びプログラム
WO2022107417A1 (ja) * 2020-11-20 2022-05-27 株式会社日立製作所 画像処理装置、画像処理方法および画像処理プログラム

Also Published As

Publication number Publication date
US20160140696A1 (en) 2016-05-19
JP2015008414A (ja) 2015-01-15
KR20160011239A (ko) 2016-01-29
KR101685885B1 (ko) 2016-12-12
US9542730B2 (en) 2017-01-10
JP5668105B2 (ja) 2015-02-12
CN105340268B (zh) 2017-06-16
CN105340268A (zh) 2016-02-17

Similar Documents

Publication Publication Date Title
JP5668105B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US9792672B2 (en) Video capture devices and methods
JP6352617B2 (ja) 映像処理装置及びその方法
CN109889800B (zh) 图像增强方法和装置、电子设备、存储介质
KR101872172B1 (ko) 화상 처리 장치, 화상 처리 방법, 기록 매체, 및 프로그램
TWI387312B (zh) 影像雜訊消除方法以及影像處理裝置
US11388355B2 (en) Multispectral image processing system and method
WO2006068025A1 (ja) 画像処理方法
JP7132364B2 (ja) マルチレベル・バイラテラル・ノイズフィルタリングのための方法、装置、およびシステム
WO2012147523A1 (ja) 撮像装置及び画像生成方法
JP5765893B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
CN113168671A (zh) 噪点估计
WO2014077245A1 (ja) ノイズ除去システムとノイズ除去方法及びプログラム
JP2009224901A (ja) 画像のダイナミックレンジ圧縮方法、画像処理回路、撮像装置およびプログラム
JP6807795B2 (ja) 雑音除去装置及びプログラム
US20140118580A1 (en) Image processing device, image processing method, and program
JP5654860B2 (ja) 画像処理装置及びその制御方法、プログラム
JP5682443B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP4866756B2 (ja) 撮像装置
JP6730916B2 (ja) コントラスト補正装置及びプログラム
JP4339671B2 (ja) 撮像装置
JP2011043901A (ja) 画像処理装置、画像処理方法、画像処理プログラム、および、電子機器
JP6417938B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP2016218502A (ja) 画像処理装置、制御方法およびプログラム
JP2014107611A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480035808.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14818519

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14901174

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20167001240

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 14818519

Country of ref document: EP

Kind code of ref document: A1